作者 | 理查德·萨顿（Richard Sutton）
原标题 | OaK 架构：一个源于经验的超级智能构想
来源 | RLC 2025 会议文章（youtu.be/gEbbGyNkR2U）
编译 | 王启隆
出品丨AI 科技大本营（ID：rgznai100）
随着人工智能发展成为一个庞大的产业，它在很大程度上已经迷失了方向。
我们需要什么才能重回正轨，去探寻真正的智能？
我们需要能够持续学习的智能体、世界模型和规划能力，以及学习高层次知识和通过元学习掌握泛化的能力。
OaK 架构正是对所有这些需求的一个系统性回应。从整体上看，它是一个基于模型的强化学习架构，并具备三个鲜明特点：
1）其所有组件都能持续学习；
2）每一个学习到的权重，都配有一个专门的步长参数，该参数通过在线交叉验证进行元学习；
3）状态和时间上的抽象概念，通过一个我们称之为 FC-STOMP 的五步演进路径被持续创造出来，即：特征构建（
OaK 架构的内容相当丰富。在本文中，我们将勾勒其轮廓，并阐明那些为这一宏大构想——即超级智能如何从智能体的经验中涌现——做出贡献的诸多既有和同期的研究工作。
【活动分享】2025 全球机器学习技术大会（ML-Summit）北京站将于 2025 年 10 月 16-17 日在北京威斯汀酒店举办。大会共 12 大主题、50+ 海内外专家，聚焦大模型技术和应用变革。详情参考官网：https://ml-summit.org (或点击原文链接）。
