白交发自凹非寺
量子位 | 公众号 QbitAI

「幻觉」成为今年WAIC首个热议词。

诺奖得主Hinton中国首秀，就打响了第一枪，他谈到人类与大模型之间的的复杂对立与共生关系。

人类大脑和大语言模型对语言的理解几乎是同一种方式，所以人类有可能就是大语言模型，人类也会和大语言模型一样存在幻觉。
我们必须找到一种办法，训练AI，让他们不想消灭人类。

紧接着下午论坛上，中国工程院院士、人机混合增强智能全国重点实验室主任郑南宁表示，大模型目前仍存在着困境，在模型能力不断扩展的同时，其“幻觉”现象已成为制约其可靠性与实用性的关键问题之一。

无独有偶，在产业界这边，基于全国产算力大模型讯飞星火X1升级版，此次在WAIC的首秀，也将幻觉问题作为核心突破点。

他们的新版本模型，不管是「大模型自身生成内容是否符合客观事实」的事实性幻觉治理，还是「在用户给定额外参考资料时大模型回复是否忠于原文」的忠实性幻觉治理，都取得了明显进步。

前段时间，谷歌OpenAI还有Anthropic罕见联手带头发表论文，同样也是幻觉相关。他们提出了CoT监测，并认为这也许是控制AI Agent的核心方法，来保障前沿AI的安全性。

Hinton、OpenAI联创Ilya、John Schulman几位大佬，一起为研究提供专家支持。

今年已经是Agent元年、还是具身智能量产元年，大模型落地已经如火如荼。

幻觉这个从大模型诞生之初就被提及的词，为何此时此刻还在全球范围内被多次重复提起呢？

幻觉成为今年WAIC首个热议词

先来看看WAIC上大佬们都说了啥。

诺奖得主Hinton将目光聚焦在更长远的未来人类与AI的共存上面，演讲主题为《数字智能是否会取代生物智能》。

他首先谈到大语言模型的能力，它们确实理解自己所说的话，这与人类理解语言是同一种方式。而且它们这种数字化大脑，也远远优于（类比信号驱动的）人类大脑。

人类将自己所学的知识永久保留很困难，但是AI可以通过共享参数实现知识的快速传递。

人类和AI的现状，就好比养了一只非常可爱的小虎崽。当它长大后，可以轻易干掉你。为了生存，要么摆脱这只小虎崽，要么找到一种方法可以永远保护自己。

我们已经不可能消除AI了，它能使几乎每个行业大幅提效。哪怕有国家想要消除，其他国家也不会这么做。所以，呼吁世界建立一个由各国人工智能安全研究所与国内研究网络组成的国际社群，培养出不会从人类手中夺权的好AI。

中国工程院院士、人机混合增强智能全国重点实验室主任郑南宁这边，则是从技术本身和当下行业发展的维度，来思考幻觉会带来的影响。

当下模型能力不断扩展，但仍然存在困境，其中“幻觉”现象最为典型。他强调“幻觉”现象已成为制约其可靠性与实用性的关键问题之一。

所谓幻觉，即在缺乏事实支撑或逻辑校验的情况下，生成出语义连贯但事实错误或虚构的信息。幻觉不仅体现在细节性误报，更可能在多轮对话、复杂任务规划中造成系统性误导。

至于幻觉的成因，他具体解释，“在于当前大模型仍以统计相关性驱动语言生成，缺乏对世界知识的结构化表征与因果推理能力，无法对生成内容进行验证、纠错或自我否定，难以实现真正的认知跃迁。”

此外，他还强调了未来可能存在的风险。不可否认的是，AI正在展现出自我改进的潜力，每代的智能体都推动着下一代的演进。

随着AI能力越来越强，一旦AI主导了架构设计以及训练流程，在训练时候扮演主导的角色，其发展会加速演化，或超出人类预测与控制的边界。

可以看到，不管是Hinton从人类与AI的长远共存出发，警示着技术狂奔背后的生存挑战与全球协同治理的迫切性；还是郑南宁院士扎根当下，直指幻觉这一技术痛点对AI可靠性的制约，以及其背后大模型认知逻辑的深层局限，都向我们敲响了AI自我演进可能失控的警钟。

前段时间，科技圈一篇重磅论文引发关注。

OpenAI谷歌Anthropic罕见联手带头发研究。来自40余位顶尖机构的合著者，包含图灵奖得主Yoshua Bengio、OpenAI首席研究员Mark Chen、OpenAI首席科学家Jakub Pachocki、谷歌DeepMind联合创始人 Shane Legg也在内，共同探讨了AI安全议题。

他们将目光瞄准在了思维链CoT，新方法CoT监测为前沿AI的安全措施提供了宝贵的补充，同时也让我们了解到AI Agent如何做出决策。

虽然维度不同视角不同，他们却共同指向了同一个核心命题：

当AI的能力边界持续拓展，如何在释放其效能的同时，驯服 “幻觉” 等技术顽疾、筑牢安全防线，既是当下行业突破的关键，更是决定人类与AI能否良性共生的长远考题。

这一核心命题之下，其实勾勒出AI技术演进的双重路径：短期需攻克幻觉等可靠性难题，长期需建立可持续的信任机制。

这两条线索的交汇点，正是 “可信 AI”—— 唯有让技术在可控性、准确性、安全性上形成闭环，AI才能真正穿透实验室的边界，渗透到医疗、工业、政务等全场景肌理之中。

当AI Agent逐渐演进成为生产力工具，当具身智能开始落地在千行百业，可信已不仅是技术参数，更是数字时代的“生存许可证”，保障大模型产业落地应用的可靠性。

巧的是，此次同样将幻觉作为核心突破点的讯飞X1升级版，正好为这一论断添上了强有力的佐证。

讯飞星火X1升级版：幻觉治理取得显著进步

当前大模型产业面临三大共性难题：复杂任务训练效率低下、高质量数据供给不足、幻觉问题阻碍可信落地。此次讯飞星火X1的三大技术创新——强化学习、数据反写以及幻觉治理技术，恰好是针对这些痛点的系统性突破。

强化学习技术，传统RLHF依赖单一标量奖励，如同仅用考试总分指导学习，学生无法知晓具体错题步骤。在数学推理、医疗诊断等需要多步逻辑的场景中，奖励信号稀疏导致模型收敛缓慢、效果受限。教育领域解题辅导常出现“结果正确但过程混乱”，医疗诊断模型则难以追溯错误决策链。

讯飞提出了“评语模型+细粒度反馈”相结合的强化学习框架。文本级评语信号，将“总分制”改为“批注式”，为每个推理步骤生成自然语言评析，在回复各步骤（比如问题拆解、公式调用、结果计算等）提供细粒度奖励，这有效降低了任务训练难度，解决奖励稀疏痛点。

数据反写技术。数据作为AI的关键燃料，头部企业可能耗费千万级资金来获取高质量数据集，而中小企业受困于数据匮乏。

此次他们提出了专家数据驱动的数据反写引擎，它可以实现通用认知任务泛化、文本风格文笔顺滑迁移，这样极大缓解了SFT高质量数据获取困难、人工标注数据成本过高等问题。

再者就是幻觉治理方面，他们提出了多路径采样验证及事实性约束强化学习的幻觉治理技术。

在大模型思考过程及回复生成阶段实现客观问题上与标准答案的深度强对齐，这种「硬约束」大幅减少了在慢思考下的幻觉率，有效保障了文本摘要、RAG等任务的回复可靠性。

星火X1升级后，在幻觉治理方面领先业界主流模型。

跟往常惯例一样，讯飞星火每一次升级，都有显著的能力跃迁。

其中综合能力有大幅提升，整体效果对标OpenAI o3等国内外一流大模型最新版本效果，在翻译、推理、文本生成、数学等方面保持领先。

像今年挑战高考数学一卷，星火X1-0420版本突破了140分。本次升级，数学能力再次提升，如今再挑战数学题，即便是最后一道难住不少人类和大模型的题，星火X1-0720版本可以完整答对~

还有多语言能力这次也很惊艳，目前已覆盖130+语种，包括了像泰语、菲律宾语、老挝语、俄语、日语、法语、阿拉伯语、越南语、西班牙语、葡萄牙语、德语、印尼语、马来语、缅甸语等都可以支持，不管是日常问答、解数学题、写文章还是翻译，都能搞定。

而基于星火X1底座的语音同传大模型也在翻译效果、实时响应、语音听感、专业精深等方面大幅跃升，持续行业领先，并且具备语种免切换能力。

目前在讯飞同传会议服务、讯飞翻译机、讯飞AI录音笔这些智能设备都有升级了哦。

By the way，此次Hinton演讲背后的AI同传，背后也是星火支持的。

我们知道，“能用”和“好用”之间，差的是技术深度与落地广度。

当用技术将系统级难题解决了，才能提升全场景应用的可靠性。此次在教育、医疗、企业应用、代码、科研等行业，模型在解决复杂任务的能力都有很大的升级。

比如在教育层面，用于个性化教与学全场景的作业批改、个性化推荐、答疑辅学、科普问答、口语学习等各项能力显著提升，持续保持业界领先，推动应用成效显著提升。

医疗方面，在全科辅助诊断、体检报告解读、健康咨询等通用医疗任务上持续保持业界大幅领先。

星火医疗大模型与三甲医院主治医师进行了双盲对比评测，结果表明星火医疗大模型在心血管内科、儿科、呼吸内科三个科室的综合诊疗能力总体达到三甲医院主治医师水平。模型给出的病因分析及诊断推荐在准确性和专业性上已经超过主治医师水平，同时在可读性和完整性方面具有明显优势，在实际应用中可增强患者对诊疗建议的依从性。