AI热点 3月前 90 阅读 0 评论

Anthropic警告:距离无人干涉的 “AI员工” 时代,只剩一年了!

作者头像

AI技术专栏作家 | 发布了 246 篇文章

站长之家(ChinaZ.com) 4月23日 消息:人工智能公司 Anthropic 的首席信息安全官杰森・克林顿(Jason Clinton)就企业运营方式的重大转变发出了警告:到明年,完全自主的 “AI员工” 可能就会开始替代各大企业的人类员工。这些 AI 将不再是简单的工具或助手,而是拥有自己的账户、记忆、且在公司组织中承担专门职责的虚拟员工。

克林顿表示,相较于如今功能单一的 AI 系统,这些即将出现的 AI 主体将会有质的飞跃。虽然,目前的AI工具已经能够处理特定的安全检查、以及一些简单的人物,但下一代 AI 将能在公司的各个系统中独立运行 —— 无需人类监督,就能做出复杂决策,并完成多步骤的工作流程。

“我们说的是虚拟员工,而不只是(普通的)AI 智能体”, 克林顿解释道。这种区别意味着未来的这些 AI 主体将更像是人类同事,而非我们如今所使用的 AI 工具。

这一警告给那些已经在为基础网络安全问题而困扰的企业带来了更加严重的安全隐患。那些在管理人类员工账户和密码方面存在困难的公司,很快将面临更大的挑战 —— 即如何确保拥有网络访问权限的人工智能身份的安全。

安全专家们已开始提出一些棘手的问题:公司应该如何管理人工智能的密码?“AI员工” 应该访问哪些系统?当“AI员工” 犯错或出现意外行为时,该由谁来承担责任?诸如此类。

不过,最令人担忧的或许是,AI 系统存在被入侵的可能性,并且可能会获取对公司关键基础设施(如代码测试和部署平台)的访问权限。根据克林顿的警告,这些风险在很大程度上仍未得到解决。

值得一提的是,Anthropic 公司的规模急剧扩大,从 2021 年的仅 7 名员工发展到 2025 年的 1000 多名员工。该公司承认自己在应对这些挑战方面负有责任 —— 他们表示,针对潜在的攻击,正在对其人工智能模型 Claude 进行全面测试,并积极监测因滥用可能引发的安全问题。

据估计,Anthropic 今年的收入将达到 22 亿美元,这意味着,即使AI领域存在持续的担忧,但仍实现了爆发式增长。

大型 AI 公司的现任和前任员工也表达了对伦理问题的担忧,他们呼吁提高人工智能能力和风险方面的透明度。并警告称,如果没有适当的监督,先进的 AI 系统可能会加剧不平等,并传播错误信息。

(举报)

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!