研究发现，使用ChatGPT做练习题的学生考试成绩反而下降，原因可能在于他们过于依赖AI，而未能培养解决问题的能力。

AI真的能帮助学生学习吗？最近在一所高中进行的实验给出了警示。
宾夕法尼亚大学的研究人员发现，使用ChatGPT做数学练习题的土耳其高中生，在随后的数学考试中成绩不如没有使用ChatGPT的学生。虽然使用ChatGPT的学生在练习题中正确率提高了48%，但他们的最终考试成绩却低了17%。
另一组学生使用了一个改进版的ChatGPT，它更像是一名导师，提供提示而不直接给出答案。这些使用AI导师的学生在练习题中的表现显著提高，正确率增加了127%。然而，在随后的考试中，这些AI辅导的学生并没有取得更好的成绩。那些单纯依靠自己做练习题的学生，成绩反而与AI辅助的学生相当。
研究人员在论文中明确指出，“生成式AI会损害学习”，提醒家长和教育者，当前的AI聊天机器人可能会“显著阻碍学习”。即使是经过调试的导师版ChatGPT，也未必能真正帮助学生。
研究人员认为，问题在于学生将ChatGPT作为“拐杖”使用。在分析学生输入的问题时，研究人员发现，学生常常只是直接询问答案，而没有通过解决问题来培养相关技能。

此外，ChatGPT的错误也可能是影响因素之一。这个聊天机器人只正确回答了一半的数学问题。其中8%的算术计算错误，而更大的问题是它在解释如何解决问题时有42%的步骤是错误的。而导师版ChatGPT则直接接收了正确答案，从而减少了这些错误。
这项实验的初稿于2024年7月发布在SSRN网站上(原名为社会科学研究网络)。该论文尚未在同行评议的期刊上发表，可能会有进一步的修订。
尽管这只是一个在另一个国家的实验，且还需要更多研究来验证其发现，但这项实验规模较大，涵盖了近千名9到11年级的学生。研究在2023年秋季进行，教师首先在课堂上复习了之前教授的课程，然后将学生随机分配到三种不同的练习方式：使用ChatGPT、使用由ChatGPT驱动的AI导师，或完全不使用任何高科技辅助工具。每个年级的学生都做了相同的练习题，之后进行测试，以评估他们对概念的掌握情况。研究人员进行了四个循环，每个循环给学生四次90分钟的练习时间，涵盖了四个不同的数学主题，旨在了解AI是否帮助、损害或没有影响。
ChatGPT还似乎增加了学生的过度自信。在实验的调查中，学生表示他们并不认为ChatGPT让他们学得更少，尽管实际情况相反。使用AI导师的学生认为他们在考试中表现得更好，然而事实并非如此。(这也提醒我们，很多时候我们对自己学习多少的认知可能是错误的。)
作者将使用ChatGPT学习的问题比作自动驾驶。他们提到，正是由于对自动驾驶的过度依赖，美国联邦航空管理局建议飞行员尽量减少使用这项技术，以确保在自动驾驶失灵时，飞行员仍然具备操纵飞机的能力。
ChatGPT并不是第一个在教育中带来利弊的技术。打字机和计算机减少了手写的必要性，计算器降低了对算术的需求。当学生有机会使用ChatGPT时，他们可能会答对更多题目，但学习到的却更少。答对一道题并不能帮助他们解决下一道题。