当卡帕西在今年 5 月预言 “未来的图形用户界面（GUI）将是为每个用户量身打造的流动、魔幻、可交互的 2D 画布” 时，或许没人想到，这一构想会如此迅速地照进现实！
由滑铁卢大学和加拿大国家研究委员会的 5 位研究人员（其中 4 位为华人）联合开发的 NeuralOS，
通过神经网络直接模拟操作系统界面，实现了 “根据用户操作预测下一帧屏幕图像” 的核心能力，为下一代人机交互系统开辟了全新路径！
突破传统：用神经网络 画”出操作系统
传统操作系统的界面由固定代码逻辑驱动，按钮位置、窗口样式都是预设的；而 NeuralOS 彻底颠覆了这一模式 :它不依赖硬编码的界面规则，而是通过 AI 学习操作系统的运行逻辑，直接生成动态变化的屏幕画面。
其核心由两个模块协同工作：
- 循环神经网络（RNN）：像 “系统记忆” 一样，实时跟踪计算机的状态变化，包括当前打开的软件、鼠标位置、光标状态等，确保对用户操作的响应连贯不脱节。
- 基于扩散的神经渲染器（Renderer）：根据 RNN 记录的状态和用户操作（如点击 “浏览器” 图标、拖动窗口），生成对应的屏幕图像，包括窗口弹出、菜单展开、图标变色等视觉细节。
简单来说，当你移动鼠标时，RNN 会 “记住” 光标位置，渲染器则立刻生成光标移动后的画面；点击 “关机” 按钮时，RNN 捕捉到这一操作，渲染器便生成关机确认窗口 —— 整个过程如同 AI 在 “实时手绘” 操作系统界面。
实测表现：逼真度拉满，但仍有短板
目前，NeuralOS 的实测效果已展现出惊人潜力：
- 画面逼真：连续操作时，界面从桌面到打开文件夹、再到关闭窗口的变化，与真实系统几乎无异。
- 鼠标响应精准：移动鼠标时，光标位置与操作完全同步；点击图标（如 “关机” 按钮）能触发正确的反馈窗口。
- 状态转换可靠：启动应用、切换窗口等系统状态变化逻辑清晰，不会出现 “点计算器却弹出浏览器” 的混乱情况。
不过，它仍有明显局限：对键盘精细操作的处理能力较弱，尤其是快速打字时，可能出现字母顺序错乱或显示延迟。这也意味着，NeuralOS 目前更擅长处理视觉交互，对文本输入的实时性支持还需优化。
NeuralOS 的意义，远不止于 “模拟一个操作系统”。它证明了AI 可以动态生成符合用户习惯的交互界面，打破了传统操作系统 “界面固定、逻辑硬编码” 的桎梏。
未来，这种 “生成式神经接口” 或许能实现：
- 根据用户使用习惯自动调整界面布局（如频繁使用的软件图标自动前置）；
- 为残障用户生成适配其操作方式的特殊界面；
- 甚至让 “操作系统” 摆脱屏幕限制，在 AR/VR 环境中生成三维交互空间。
目前，团队已推出在线体验版，用户可在蓝色框内通过鼠标点击、键盘输入与系统交互，并支持切换 “RNN 模式”“自动帧生成” 等功能。
在线Demo：https://neural-os.com/
开源地址：
https://huggingface.co/papers/2507.08800
