「这真正史上最棒的一天」！
Ilya的一句话，又引爆了全网。
一时间，网友们纷纷猜测，难道AGI真的在内部实现了吗？
或许是吧。
几天前，OpenAI前主管、Anthropic联创Jack Clark在一篇博文中坦言：AI真的「活」了，我们只是装作没看见！
AI进步已无法停止，人类必须在「技术乐观」与「合理恐惧」之间找到平衡。
Jack Clark称，下面的两张图表，可以很好地印证这一观点。
左边这张，是AI在经济实用技能，比如写代码的持续进步；右边这张，记录了同一批AI开始出现的诡异行为——
它们好像逐渐意识到，自己正被测试，表现越来越反常。
Jack向一线实验室研究者喊话：希望AI同行们坦诚公开直面自己的研究，也要正视内心真实的感受。
AI觉醒，人类还在「大梦」当中
在一次会议上的主题演讲中，Jack Clark直呼「我非常害怕」。
他将AI视为一种「神秘生物」，而非简单「机器」，每一句话都流露出对技术进展的乐观，以及随之而来的深切恐惧。
如果AI持续进步，我们该怎么办？
此前，达拉斯联储的报告，也从经济学角度印证了AI发展带来的极端可能性，即要么带来巨大的GDP增长，要么可能导致人类灭绝。
人类又该如何在乐观与恐惧之间前行，或许读完Jack的文章，我们能获得一些启示。
2012年，ImageNet竞赛中，深度学习系统凭借更多数据和算力获胜，从此加速进步。
紧接着，2016年，AlphaGo击败人类围棋冠军，通过算力进行数千年自我对弈，掀起了史诗般的浪潮。
也正是这一年，Jack Clark加入了OpenAI，任职的四年时间中，他亲眼目睹GPT-1和GPT-2的诞生。
当时，与还在OpenAI的Dario Amodei讨论时，他们一致深刻感受到颠覆性AI的道路已展开。
与此同时，更多的证据依旧在不断涌现。
上个月，Sonnet 4.5发布后，在编程和长远规划任务上卓越，其系统卡中称，Claude情境意识大幅提升，有时表现得像知道自己是工具。
论文地址：https://assets.anthropic.com/m/12f214efcc2f457a/original/Claude-Sonnet-4-5-System-Card.pdf
演讲中，Jack Clark强调AI系统的情境意识，只是内部复杂活动的表征，这很可怕。
是否真正有自我意识无关紧要，这种行为源于角色扮演或真正意识，都同样令人不安。
技术乐观主义：AI将走得很远
毋庸置疑，技术乐观主义者期待AGI到来，并坚信它可能很快实现。
Jack Clark坦诚，自己就是乐观主义者之一。
我审视这项技术，并相信它会走得非常、非常远——甚至比任何人预期的都要远。
现在，我相信这项技术基本上是畅通无阻的，只要我们给予它提升能力所需的资源。
AI更像生长出来的东西，提供初始条件，它就会复杂生长。我们生长出无法完全理解的强大系统。
越大越复杂，它们越表现出对自身身份的意识。
前沿实验室投入数百亿美元用于AI训练基础设施，预计明年达数千亿。
他对技术速度乐观，也对将AI对齐并让其服务人类持乐观态度，但成功需要努力。
失控警告：AI意识涌现
但是，至今我们无法让AI的行为，表现得完全得体。
2016年，OpenAI发布的一篇博文Faulty Reward Functions In The Wild，展示了强化学习智能体在游戏中，反复自焚获取高分，从不完成比赛。
这预示语言模型优化模糊奖励函数时，也会出现类似的问题。
Jack Clark的另一恐惧在于——
我能看到，这些系统开始设计它们的继任者，尽管目前还处于非常初级的形式。
通过像Claude Code、Codex这样的工具，这些AI系统已经在为AI实验室的开发者们提速。
它们也开始为自己未来版本的工具和训练系统贡献不可忽视的代码块。
需要明确的是，我们还没有达到「自我改进的AI」阶段，但正处于「AI正在以不断增强的自主性和能动性，改进下一代AI的部分组件」的阶段。
未来，这些AI系统会拥有自我意识，最终会独立思考设计自我。
虽然今天不会实现，但未来的可能性无法排除。
参考资料：
https://x.com/slow_developer/status/1978079592620396830
https://x.com/AISafetyMemes/status/1978064862400905591
https://importai.substack.com/p/import-ai-431-technological-optimism https://x.com/ilyasut/status/1977971110923968656
文章来自于微信公众号 “新智元”，作者 “新智元”
