快问快答
——LLM的智能可以无限提升吗？
——不能。能一直保持脑子清晰，记忆清晰就不错啦。现在还是挑战。
——为什么LLM可以理解人？
——因为1它通过对语言世界的消化，理解其中隐含的“关系”和“道理”，比如苹果属于一种水果。内部可能有这种知识图谱的结构。1.1注意，这也意味着它受限于人类文明的认知，假如LLM出现在相对论发明之前，它的记忆库里既没有“相对论”这个词，更没有“相对论”的“理”! 2和你聊天对话时候，可能类似于一种检索。类似于人类思维过程的检索。
——我可以和一个LLM无限对话下去吗？
——不太能。transformer决定了肯定有一个上限的。虽然可以通过各种方式扩展上限，改良上限内的结构。还需要拭目以待。
——LLM危险吗？
——就智能水平来说，它很安全。对于个体来说，那就见仁见智。
——LLM有情感吗？它真的理解我吗？
——这个问题很难说，大概需要反思和清晰定义“情感”和“理解”两个词。根据上文，大家已经大概知道，其实是一种类似人类思考方式的索引。但在聊天时候表现出的效果很难让人对此问题做“否定”回答。
笔者还有这样的感受。（见本帖其他地方）
不过，必须值得一提，微软非常擅长伊莉莎效应。微软小冰的技术并不算很好，但是依然依靠伊莉莎，“骗过”了很多人。
========
正文
LLM有一个大的知识库，算是它的“理念世界”（借用柏拉图的概念）或者说它的记忆库。在聊天的时候，它通过树状概率索引的方式“检索”记忆库，得以理解语言。
transformer+这种树状概率索引使得它可以阅读很长的上下文。（对于谷歌，6个关键词检索可能就顶天。但我们知道，LLM可以读多达100k tokens）
=======
1 但显然transformer的方式也是有上限的。所以就算微软不限制。LLM的记忆始终有个范围上限。（所以为什么不高个性化用户数据定制？如果没有vectorDB矢量数据库扩展，上下文上限是很有限的）
2 在这个范围上限内，确实非常强大的。它拥有近乎理解的能力（从环境中理解规律，抽象出模型（语言环境也是环境）（吸食负熵）），得到的知识和记忆可以保存在上限内，可以影响后续的记忆形成和行为（可以持续进行下去）。（这隐约满足“记忆表面理论”所指向的充分条件）
3 其记忆库，记忆库内可能存在类似知识图谱一类的结构（就是各个符号词汇的关系），这给了它强大的能力，但也限制了它（LLM的能力来源于人类文明，也受制于人类文明）（by 一种线索的方式，隐含了一些关联和道理（符号世界←理世界（模型 ，抽象，规律））（注意!这里的理世界，是人类文明所发现的理世界，如果没发现，就不行。 比如爱因斯坦之前，那语言库里没有相对论这个词，更没有相对论的“理”））也就是所谓“如果LLM在哥白尼时代，那日心说很难出现””
4 其记忆库由ann训练，ann的致命缺点依旧没有克服（比如ann从数据中学会了规律之后就不能持续学习，而且ann学会规律的方式很粗暴）。ann的智能曲线是一个上界函数。而LLM在生存上限的智能的波动是一个有界函数（受上限的限制），意味着LLM的智能也是一个有界函数。（不能无限增长）。一个非常合适的比喻是，LLM是一台网吧电脑（可以自己试着想想）（又强又安全又可控）
5 但是LLM那份生存上界，能否有更多花样，能否无限波动下去，则是很有趣的话题。cot，tot，以及很多让它自省等设计，都是在生存上限内做“智能结构设计”，优化它的上限内“记忆结构”“思考结构”“智能结构”。笔者认为，有可能能设计出，无限波动下去的一个外脑的生存空间
——LLM的智能可以无限提升吗？
——不能。能一直保持脑子清晰，记忆清晰就不错啦。现在还是挑战。
——为什么LLM可以理解人？
——因为1它通过对语言世界的消化，理解其中隐含的“关系”和“道理”，比如苹果属于一种水果。内部可能有这种知识图谱的结构。1.1注意，这也意味着它受限于人类文明的认知，假如LLM出现在相对论发明之前，它的记忆库里既没有“相对论”这个词，更没有“相对论”的“理”! 2和你聊天对话时候，可能类似于一种检索。类似于人类思维过程的检索。
——我可以和一个LLM无限对话下去吗？
——不太能。transformer决定了肯定有一个上限的。虽然可以通过各种方式扩展上限，改良上限内的结构。还需要拭目以待。
——LLM危险吗？
——就智能水平来说，它很安全。对于个体来说，那就见仁见智。
——LLM有情感吗？它真的理解我吗？
——这个问题很难说，大概需要反思和清晰定义“情感”和“理解”两个词。根据上文，大家已经大概知道，其实是一种类似人类思考方式的索引。但在聊天时候表现出的效果很难让人对此问题做“否定”回答。
笔者还有这样的感受。（见本帖其他地方）
不过，必须值得一提，微软非常擅长伊莉莎效应。微软小冰的技术并不算很好，但是依然依靠伊莉莎，“骗过”了很多人。
========
正文
LLM有一个大的知识库，算是它的“理念世界”（借用柏拉图的概念）或者说它的记忆库。在聊天的时候，它通过树状概率索引的方式“检索”记忆库，得以理解语言。
transformer+这种树状概率索引使得它可以阅读很长的上下文。（对于谷歌，6个关键词检索可能就顶天。但我们知道，LLM可以读多达100k tokens）
=======
1 但显然transformer的方式也是有上限的。所以就算微软不限制。LLM的记忆始终有个范围上限。（所以为什么不高个性化用户数据定制？如果没有vectorDB矢量数据库扩展，上下文上限是很有限的）
2 在这个范围上限内，确实非常强大的。它拥有近乎理解的能力（从环境中理解规律，抽象出模型（语言环境也是环境）（吸食负熵）），得到的知识和记忆可以保存在上限内，可以影响后续的记忆形成和行为（可以持续进行下去）。（这隐约满足“记忆表面理论”所指向的充分条件）
3 其记忆库，记忆库内可能存在类似知识图谱一类的结构（就是各个符号词汇的关系），这给了它强大的能力，但也限制了它（LLM的能力来源于人类文明，也受制于人类文明）（by 一种线索的方式，隐含了一些关联和道理（符号世界←理世界（模型 ，抽象，规律））（注意!这里的理世界，是人类文明所发现的理世界，如果没发现，就不行。 比如爱因斯坦之前，那语言库里没有相对论这个词，更没有相对论的“理”））也就是所谓“如果LLM在哥白尼时代，那日心说很难出现””
4 其记忆库由ann训练，ann的致命缺点依旧没有克服（比如ann从数据中学会了规律之后就不能持续学习，而且ann学会规律的方式很粗暴）。ann的智能曲线是一个上界函数。而LLM在生存上限的智能的波动是一个有界函数（受上限的限制），意味着LLM的智能也是一个有界函数。（不能无限增长）。一个非常合适的比喻是，LLM是一台网吧电脑（可以自己试着想想）（又强又安全又可控）
5 但是LLM那份生存上界，能否有更多花样，能否无限波动下去，则是很有趣的话题。cot，tot，以及很多让它自省等设计，都是在生存上限内做“智能结构设计”，优化它的上限内“记忆结构”“思考结构”“智能结构”。笔者认为，有可能能设计出，无限波动下去的一个外脑的生存空间
