AI和机器学习在过去几年中取得了巨大进展，包括最近推出的ChatGPT和art generators，但有一点仍然很明显，那就是采用与人脑相当的形式，以一种节能方式来生成和存储长期和短期的记忆。圣路易斯华盛顿大学（Washington University in St. Louis）McKelvey工程学院的一组研究人员开发了一种在微小芯片上巩固长期记忆的节能方法。
Preston M.绿色电气和系统工程系的Clifford W. Murphy教授Shantanu Chakrabartty和他的实验室成员开发了一种相对简单的器件，模拟大脑突触的动态，神经元之间的连接允许信号传递信息。许多现代AI系统中使用的人工突触相对简单，而生物突触由于不同化学路径之间的微妙相互作用，可能会存储复杂的记忆。Chakrabartty团队表明，他们的人工突触也可以模仿其中的一些动态，这些动态可以让AI系统不断学习新任务，而不会忘记如何执行旧任务。该研究结果发表在1月13日的《神经科学前沿》杂志上。
为了做到这一点，Chakrabartty的团队建造了一个新器件，它像两个耦合的电子池（reservoirs of electrons）一样工作，其中电子可以通过一个连接或人工突触在两个腔室之间流动。为了创建这种结，他们使用了量子隧道，这种现象允许电子神奇地穿过障碍。具体来说，他们使用了Fowler-Nordheim (FN)量子隧道，其中电子跳过一个三角形的障碍，并在这个过程中改变障碍的形状。FN隧道提供了比现有方法简单得多且更节能的连接，现有方法对于计算机建模来说过于复杂。
Chakrabartty说，“这项技术的美妙之处在于，我们可以控制一个电子，因为我们精确地设计了这个量子力学屏障。”
Chakrabartty和博士生Mustafizur Rahman和Subhankar Bose在不到1毫米大小的芯片上设计了包含128个沙漏器件（hourglass device）的原型阵列。
“我们的工作表明，就突触寿命和特定的巩固特性而言，FN突触的操作接近最佳，”Chakrabartty说。“这种人工突触器件可以解决或实现一些连续学习任务，器件不会忘记之前所学的内容。现在，它允许在同一个器件上进行长期和短期记忆。”
Chakrabartty说，由于该器件一次只使用几个电子，所以总体上使用的能量很少。
“这些用于机器学习任务的计算机大多从电池中穿梭出大量电子，将其存储在电容器中，然后将其倾倒出去，不进行回收利用。”Chakrabartty说，“在我们的模型中，我们事先固定了电子的总量，不需要注入额外的能量，因为电子是由物理本身流出的。通过确保一次只有几个电子流，我们可以让这个器件长时间工作。”
这项工作是Chakrabartty和他的实验室成员正在进行的研究的一部分，以使AI更具可持续性。当前AI计算所需的能量呈指数增长，下一代模型需要近200万亿焦耳来训练一个系统。这些系统甚至还没有达到人脑的容量，人脑有近1000万亿个突触。
“现在，我们还不确定训练系统是否有5000亿个参数，目前的方法也不是能源可持续的，”他说。“如果我们保持目前的轨迹，要么必须发生一些新的事情来提供足够的能量，要么我们必须找出如何使用这些高能效的动态记忆器件来训练这些大型模型。”
Preston M.绿色电气和系统工程系的Clifford W. Murphy教授Shantanu Chakrabartty和他的实验室成员开发了一种相对简单的器件，模拟大脑突触的动态，神经元之间的连接允许信号传递信息。许多现代AI系统中使用的人工突触相对简单，而生物突触由于不同化学路径之间的微妙相互作用，可能会存储复杂的记忆。Chakrabartty团队表明，他们的人工突触也可以模仿其中的一些动态，这些动态可以让AI系统不断学习新任务，而不会忘记如何执行旧任务。该研究结果发表在1月13日的《神经科学前沿》杂志上。
为了做到这一点，Chakrabartty的团队建造了一个新器件，它像两个耦合的电子池（reservoirs of electrons）一样工作，其中电子可以通过一个连接或人工突触在两个腔室之间流动。为了创建这种结，他们使用了量子隧道，这种现象允许电子神奇地穿过障碍。具体来说，他们使用了Fowler-Nordheim (FN)量子隧道，其中电子跳过一个三角形的障碍，并在这个过程中改变障碍的形状。FN隧道提供了比现有方法简单得多且更节能的连接，现有方法对于计算机建模来说过于复杂。
Chakrabartty说，“这项技术的美妙之处在于，我们可以控制一个电子，因为我们精确地设计了这个量子力学屏障。”
Chakrabartty和博士生Mustafizur Rahman和Subhankar Bose在不到1毫米大小的芯片上设计了包含128个沙漏器件（hourglass device）的原型阵列。
“我们的工作表明，就突触寿命和特定的巩固特性而言，FN突触的操作接近最佳，”Chakrabartty说。“这种人工突触器件可以解决或实现一些连续学习任务，器件不会忘记之前所学的内容。现在，它允许在同一个器件上进行长期和短期记忆。”
Chakrabartty说，由于该器件一次只使用几个电子，所以总体上使用的能量很少。
“这些用于机器学习任务的计算机大多从电池中穿梭出大量电子，将其存储在电容器中，然后将其倾倒出去，不进行回收利用。”Chakrabartty说，“在我们的模型中，我们事先固定了电子的总量，不需要注入额外的能量，因为电子是由物理本身流出的。通过确保一次只有几个电子流，我们可以让这个器件长时间工作。”
这项工作是Chakrabartty和他的实验室成员正在进行的研究的一部分，以使AI更具可持续性。当前AI计算所需的能量呈指数增长，下一代模型需要近200万亿焦耳来训练一个系统。这些系统甚至还没有达到人脑的容量，人脑有近1000万亿个突触。
“现在，我们还不确定训练系统是否有5000亿个参数，目前的方法也不是能源可持续的，”他说。“如果我们保持目前的轨迹，要么必须发生一些新的事情来提供足够的能量，要么我们必须找出如何使用这些高能效的动态记忆器件来训练这些大型模型。”
