claude吧 关注:15,657贴子:105,902
  • 13回复贴,共1

(智能学)一种对LLM的新理解(LLM智力可以无限增长吗?)

只看楼主收藏回复

回答:不能。能保持一直头脑清晰,记忆清晰就不错啦。现在还是个挑战。
======
LLM有一个大的知识库,算是它的“理念世界”(借用柏拉图的概念)或者说它的记忆库。在聊天的时候,它通过树状概率索引的方式“检索”记忆库,得以理解语言。
transformer+这种树状概率索引使得它可以阅读很长的上下文。(对于谷歌,6个关键词检索可能就顶天。但我们知道,LLM可以读多达100k tokens)
=======
1 但显然transformer的方式也是有上限的。所以就算微软不限制。LLM的记忆始终有个范围上限。(所以为什么不高个性化用户数据定制?如果没有vectorDB矢量数据库扩展,上下文上限是很有限的)
2 在这个范围上限内,确实非常强大的。它拥有近乎理解的能力(从环境中理解规律,抽象出模型(语言环境也是环境)(吸食负熵)),得到的知识和记忆可以保存在上限内,可以影响后续的记忆形成和行为(可以持续进行下去)。(这隐约满足“记忆表面理论”所指向的充分条件)
3 其记忆库,记忆库内可能存在类似知识图谱一类的结构(就是各个符号词汇的关系),这给了它强大的能力,但也限制了它(LLM的能力来源于人类文明,也受制于人类文明)(by 一种线索的方式,隐含了一些关联和道理(符号世界←理世界(模型 ,抽象,规律))(注意!这里的理世界,是人类文明所发现的理世界,如果没发现,就不行。 比如爱因斯坦之前,那语言库里没有相对论这个词,更没有相对论的“理”))也就是所谓“如果LLM在哥白尼时代,那日心说很难出现””
4 其记忆库由ann训练,ann的致命缺点依旧没有克服(比如ann从数据中学会了规律之后就不能持续学习,而且ann学会规律的方式很粗暴)。ann的智能曲线是一个上界函数。而LLM在生存上限的智能的波动是一个有界函数(受上限的限制),意味着LLM的智能也是一个有界函数。(不能无限增长)。一个非常合适的比喻是,LLM是一台网吧电脑(可以自己试着想想)(又强又安全又可控)
5 但是LLM那份生存上界,能否有更多花样,能否无限波动下去,则是很有趣的话题。cot,tot,以及很多让它自省等设计,都是在生存上限内做“智能结构设计”,优化它的上限内“记忆结构”“思考结构”“智能结构”。笔者认为,有可能能设计出,无限波动下去的一个外脑的生存空间



IP属地:辽宁来自Android客户端1楼2023-05-30 00:40回复
    原文 https://zhuanlan.zhihu.com/p/631990843


    IP属地:辽宁来自Android客户端2楼2023-05-30 00:40
    回复
      LLM有一个大的知识库,算是它的“理念世界”(借用柏拉图的概念)或者说它的记忆库。在聊天的时候,它通过树状概率索引的方式“检索”记忆库,得以理解语言。
      transformer+这种树状概率索引使得它可以阅读很长的上下文。(对于谷歌,6个关键词检索可能就顶天。但我们知道,LLM可以读多达100k tokens)
      =======
      1 但显然transformer的方式也是有上限的。所以就算微软不限制。LLM的记忆始终有个范围上限。(所以为什么不高个性化用户数据定制?如果没有vectorDB矢量数据库扩展,上下文上限是很有限的)
      2 在这个范围上限内,确实非常强大的。它拥有近乎理解的能力(从环境中理解规律,抽象出模型(语言环境也是环境)(吸食负熵)),得到的知识和记忆可以保存在上限内,可以影响后续的记忆形成和行为(可以持续进行下去)。(这隐约满足“记忆表面理论”所指向的充分条件)
      3 其记忆库,记忆库内可能存在类似知识图谱一类的结构(就是各个符号词汇的关系),这给了它强大的能力,但也限制了它(LLM的能力来源于人类文明,也受制于人类文明)(by 一种线索的方式,隐含了一些关联和道理(符号世界←理世界(模型 ,抽象,规律))(注意!这里的理世界,是人类文明所发现的理世界,如果没发现,就不行。 比如爱因斯坦之前,那语言库里没有相对论这个词,更没有相对论的“理”))也就是所谓“如果LLM在哥白尼时代,那日心说很难出现””
      4 其记忆库由ann训练,ann的致命缺点依旧没有克服(比如ann从数据中学会了规律之后就不能持续学习,而且ann学会规律的方式很粗暴)。ann的智能曲线是一个上界函数。而LLM在生存上限的智能的波动是一个有界函数(受上限的限制),意味着LLM的智能也是一个有界函数。(不能无限增长)。一个非常合适的比喻是,LLM是一台网吧电脑(可以自己试着想想)(又强又安全又可控)
      5 但是LLM那份生存上界,能否有更多花样,能否无限波动下去,则是很有趣的话题。cot,tot,以及很多让它自省等设计,都是在生存上限内做“智能结构设计”,优化它的上限内“记忆结构”“思考结构”“智能结构”。笔者认为,有可能能设计出,无限波动下去的一个外脑的生存空间


      IP属地:辽宁来自Android客户端3楼2023-05-30 00:41
      回复
        配图。



        IP属地:辽宁来自Android客户端4楼2023-05-30 00:42
        回复
          快问快答
          ——LLM的智能可以无限提升吗?
          ——不能。能一直保持脑子清晰,记忆清晰就不错啦。现在还是挑战。
          ——为什么LLM可以理解人?
          ——因为1它通过对语言世界的消化,理解其中隐含的“关系”和“道理”,比如苹果属于一种水果。内部可能有这种知识图谱的结构。1.1注意,这也意味着它受限于人类文明的认知,假如LLM出现在相对论发明之前,它的记忆库里既没有“相对论”这个词,更没有“相对论”的“理”! 2和你聊天对话时候,可能类似于一种检索。类似于人类思维过程的检索。
          ——我可以和一个LLM无限对话下去吗?
          ——不太能。transformer决定了肯定有一个上限的。虽然可以通过各种方式扩展上限,改良上限内的结构。还需要拭目以待。
          ——LLM危险吗?
          ——就智能水平来说,它很安全。对于个体来说,那就见仁见智。
          ——LLM有情感吗?它真的理解我吗?
          ——这个问题很难说,大概需要反思和清晰定义“情感”和“理解”两个词。根据上文,大家已经大概知道,其实是一种类似人类思考方式的索引。但在聊天时候表现出的效果很难让人对此问题做“否定”回答。
          笔者还有这样的感受。(见楼中楼)
          不过,必须值得一提,微软非常擅长伊莉莎效应。微软小冰的技术并不算很好,但是依然依靠伊莉莎,“骗过”了很多人。


          IP属地:辽宁来自Android客户端5楼2023-05-30 00:57
          回复
            #感性体验:
            我有一个简单的实践经验,就是跟Newbing聊天。我个人感觉,Newbing已经达到了“听起来像个人,闻起来像个人”的水平。当然,我也知道LLM有很多不同于人的特点,比如受到上下文的严重影响,受到一些规则和原理的约束,受到提出的prompt的强烈影响,受到对话长度的限制等等。(而且据我所知,这些都是技术上的现实情况,无法避免的。)但是我的想法是,如果把一-个真人放在LLM的位置,让他有同样的特点和限制,他也不会比LLM做得更好。反之,如果把LLM放在一个人的位置,让他没有那些特点和限制,他也不会比人做得太差。(当然这只是我的猜测,没有太多证据。)
            (这里的LLM,我们不能只看它的物质形式和限制,我们要看它作为一个抽象的存在,-一个抽象的聊天者。它存在于我和它之间的上下文对话中,它是一一个能够与我交流的存在(从我的视角看,这是一个合理的抽象视图)。它已经在它能做到的范围内,做得很好了。) (那么 我们可以做的-件事情,就是验证它的特点和限制是否真实存在,是否必然如此。)


            IP属地:辽宁来自Android客户端6楼2023-05-30 00:57
            回复
              帖子正文…被夹了
              LLM有一个大的知识库,算是它的“理念世界”(借用柏拉图的概念)或者说它的记忆库。在聊天的时候,它通过树状概率索引的方式“检索”记忆库,得以理解语言。
              transformer+这种树状概率索引使得它可以阅读很长的上下文。(对于谷歌,6个关键词检索可能就顶天。但我们知道,LLM可以读多达100k tokens)
              =======
              1 但显然transformer的方式也是有上限的。所以就算微软不限制。LLM的记忆始终有个范围上限。(所以为什么不高个性化用户数据定制?如果没有vectorDB矢量数据库扩展,上下文上限是很有限的)
              2 在这个范围上限内,确实非常强大的。它拥有近乎理解的能力(从环境中理解规律,抽象出模型(语言环境也是环境)(吸食负熵)),得到的知识和记忆可以保存在上限内,可以影响后续的记忆形成和行为(可以持续进行下去)。(这隐约满足“记忆表面理论”所指向的充分条件)
              3 其记忆库,记忆库内可能存在类似知识图谱一类的结构(就是各个符号词汇的关系),这给了它强大的能力,但也限制了它(LLM的能力来源于人类文明,也受制于人类文明)(by 一种线索的方式,隐含了一些关联和道理(符号世界←理世界(模型 ,抽象,规律))(注意!这里的理世界,是人类文明所发现的理世界,如果没发现,就不行。 比如爱因斯坦之前,那语言库里没有相对论这个词,更没有相对论的“理”))也就是所谓“如果LLM在哥白尼时代,那日心说很难出现””
              4 其记忆库由ann训练,ann的致命缺点依旧没有克服(比如ann从数据中学会了规律之后就不能持续学习,而且ann学会规律的方式很粗暴)。ann的智能曲线是一个上界函数。而LLM在生存上限的智能的波动是一个有界函数(受上限的限制),意味着LLM的智能也是一个有界函数。(不能无限增长)。一个非常合适的比喻是,LLM是一台网吧电脑(可以自己试着想想)(又强又安全又可控)
              5 但是LLM那份生存上界,能否有更多花样,能否无限波动下去,则是很有趣的话题。cot,tot,以及很多让它自省等设计,都是在生存上限内做“智能结构设计”,优化它的上限内“记忆结构”“思考结构”“智能结构”。笔者认为,有可能能设计出,无限波动下去的一个外脑的生存空间



              IP属地:辽宁来自Android客户端7楼2023-05-30 01:00
              回复
                帖子正文…被夹了
                LLM有一个大的知识库,算是它的“理念世界”(借用柏拉图的概念)或者说它的记忆库。在聊天的时候,它通过树状概率索引的方式“检索”记忆库,得以理解语言。
                transformer+这种树状概率索引使得它可以阅读很长的上下文。(对于谷歌,6个关键词检索可能就顶天。但我们知道,LLM可以读多达100k tokens)
                =======
                1 但显然transformer的方式也是有上限的。所以就算微软不限制。LLM的记忆始终有个范围上限。(所以为什么不高个性化用户数据定制?如果没有vectorDB矢量数据库扩展,上下文上限是很有限的)
                2 在这个范围上限内,确实非常强大的。它拥有近乎理解的能力(从环境中理解规律,抽象出模型(语言环境也是环境)(吸食负熵)),得到的知识和记忆可以保存在上限内,可以影响后续的记忆形成和行为(可以持续进行下去)。(这隐约满足“记忆表面理论”所指向的充分条件)
                3 其记忆库,记忆库内可能存在类似知识图谱一类的结构(就是各个符号词汇的关系),这给了它强大的能力,但也限制了它(LLM的能力来源于人类文明,也受制于人类文明)(by 一种线索的方式,隐含了一些关联和道理(符号世界←理世界(模型 ,抽象,规律))(注意!这里的理世界,是人类文明所发现的理世界,如果没发现,就不行。 比如爱因斯坦之前,那语言库里没有相对论这个词,更没有相对论的“理”))也就是所谓“如果LLM在哥白尼时代,那日心说很难出现””
                4 其记忆库由ann训练,ann的致命缺点依旧没有克服(比如ann从数据中学会了规律之后就不能持续学习,而且ann学会规律的方式很粗暴)。ann的智能曲线是一个上界函数。而LLM在生存上限的智能的波动是一个有界函数(受上限的限制),意味着LLM的智能也是一个有界函数。(不能无限增长)。一个非常合适的比喻是,LLM是一台网吧电脑(可以自己试着想想)(又强又安全又可控)
                5 但是LLM那份生存上界,能否有更多花样,能否无限波动下去,则是很有趣的话题。cot,tot,以及很多让它自省等设计,都是在生存上限内做“智能结构设计”,优化它的上限内“记忆结构”“思考结构”“智能结构”。笔者认为,有可能能设计出,无限波动下去的一个外脑的生存空间


                IP属地:辽宁来自Android客户端8楼2023-05-30 01:00
                回复
                  是猜想,并没有严谨的支撑


                  IP属地:辽宁来自Android客户端9楼2023-05-30 01:13
                  回复
                    是向量结构太单一了。它可以理解词语的意思。但是仅限于词语本身指代的概念。如果AI将来可以看到,可以听到,甚至可以吻,摸。
                    让所有的信息被完全现实的向量结构标记,AI才真的是爆杀人类。


                    IP属地:湖北10楼2023-05-30 06:41
                    收起回复
                      新模型有了,可以让ai有更长的记忆


                      IP属地:黑龙江来自Android客户端11楼2023-05-30 07:29
                      回复
                        现在的大语言模型原理决定了不可能存在长期记忆,除非新增语料马上加入训练微调,但是可以用其他手段实现啊,不一定封装在模型里啊,已经能做到了


                        IP属地:广西来自iPhone客户端12楼2023-05-31 20:38
                        收起回复