回答:不能。能保持一直头脑清晰,记忆清晰就不错啦。现在还是个挑战。
======
LLM有一个大的知识库,算是它的“理念世界”(借用柏拉图的概念)或者说它的记忆库。在聊天的时候,它通过树状概率索引的方式“检索”记忆库,得以理解语言。
transformer+这种树状概率索引使得它可以阅读很长的上下文。(对于谷歌,6个关键词检索可能就顶天。但我们知道,LLM可以读多达100k tokens)
=======
1 但显然transformer的方式也是有上限的。所以就算微软不限制。LLM的记忆始终有个范围上限。(所以为什么不高个性化用户数据定制?如果没有vectorDB矢量数据库扩展,上下文上限是很有限的)
2 在这个范围上限内,确实非常强大的。它拥有近乎理解的能力(从环境中理解规律,抽象出模型(语言环境也是环境)(吸食负熵)),得到的知识和记忆可以保存在上限内,可以影响后续的记忆形成和行为(可以持续进行下去)。(这隐约满足“记忆表面理论”所指向的充分条件)
3 其记忆库,记忆库内可能存在类似知识图谱一类的结构(就是各个符号词汇的关系),这给了它强大的能力,但也限制了它(LLM的能力来源于人类文明,也受制于人类文明)(by 一种线索的方式,隐含了一些关联和道理(符号世界←理世界(模型 ,抽象,规律))(注意!这里的理世界,是人类文明所发现的理世界,如果没发现,就不行。 比如爱因斯坦之前,那语言库里没有相对论这个词,更没有相对论的“理”))也就是所谓“如果LLM在哥白尼时代,那日心说很难出现””
4 其记忆库由ann训练,ann的致命缺点依旧没有克服(比如ann从数据中学会了规律之后就不能持续学习,而且ann学会规律的方式很粗暴)。ann的智能曲线是一个上界函数。而LLM在生存上限的智能的波动是一个有界函数(受上限的限制),意味着LLM的智能也是一个有界函数。(不能无限增长)。一个非常合适的比喻是,LLM是一台网吧电脑(可以自己试着想想)(又强又安全又可控)
5 但是LLM那份生存上界,能否有更多花样,能否无限波动下去,则是很有趣的话题。cot,tot,以及很多让它自省等设计,都是在生存上限内做“智能结构设计”,优化它的上限内“记忆结构”“思考结构”“智能结构”。笔者认为,有可能能设计出,无限波动下去的一个外脑的生存空间
======
LLM有一个大的知识库,算是它的“理念世界”(借用柏拉图的概念)或者说它的记忆库。在聊天的时候,它通过树状概率索引的方式“检索”记忆库,得以理解语言。
transformer+这种树状概率索引使得它可以阅读很长的上下文。(对于谷歌,6个关键词检索可能就顶天。但我们知道,LLM可以读多达100k tokens)
=======
1 但显然transformer的方式也是有上限的。所以就算微软不限制。LLM的记忆始终有个范围上限。(所以为什么不高个性化用户数据定制?如果没有vectorDB矢量数据库扩展,上下文上限是很有限的)
2 在这个范围上限内,确实非常强大的。它拥有近乎理解的能力(从环境中理解规律,抽象出模型(语言环境也是环境)(吸食负熵)),得到的知识和记忆可以保存在上限内,可以影响后续的记忆形成和行为(可以持续进行下去)。(这隐约满足“记忆表面理论”所指向的充分条件)
3 其记忆库,记忆库内可能存在类似知识图谱一类的结构(就是各个符号词汇的关系),这给了它强大的能力,但也限制了它(LLM的能力来源于人类文明,也受制于人类文明)(by 一种线索的方式,隐含了一些关联和道理(符号世界←理世界(模型 ,抽象,规律))(注意!这里的理世界,是人类文明所发现的理世界,如果没发现,就不行。 比如爱因斯坦之前,那语言库里没有相对论这个词,更没有相对论的“理”))也就是所谓“如果LLM在哥白尼时代,那日心说很难出现””
4 其记忆库由ann训练,ann的致命缺点依旧没有克服(比如ann从数据中学会了规律之后就不能持续学习,而且ann学会规律的方式很粗暴)。ann的智能曲线是一个上界函数。而LLM在生存上限的智能的波动是一个有界函数(受上限的限制),意味着LLM的智能也是一个有界函数。(不能无限增长)。一个非常合适的比喻是,LLM是一台网吧电脑(可以自己试着想想)(又强又安全又可控)
5 但是LLM那份生存上界,能否有更多花样,能否无限波动下去,则是很有趣的话题。cot,tot,以及很多让它自省等设计,都是在生存上限内做“智能结构设计”,优化它的上限内“记忆结构”“思考结构”“智能结构”。笔者认为,有可能能设计出,无限波动下去的一个外脑的生存空间