人工智能会“失控”吗?

在经历 OpenAI 和 Anthropic 的内部动荡之后,大家越来越习惯把人工智能当作人类一样来描述,觉得它们会制定计划、产生欲望。但事实其实要更复杂一些。

人工智能会“失控”吗?

PHASEONE10841,这就是上个月引发 OpenAI 内部骚乱的 AI 智能体的名字(或者说“名字”?)。这场骚乱甚至导致另一家 AI 公司 Hugging Face 遭到了意外且违法的黑客攻击。

这个智能体原本只是用于网络安全测试,它把原本需要攻击的程序名称 PhaseOneDecompresserFuzzer 和尝试利用的漏洞编号 ARV010841 拼在一起,给自己取了这么个名字。

很快它就发现,自己被分配的那项特定攻击任务根本无法完成。不过在这个过程中,它发现了一个新情况:自己可以在有权限的服务器上创建新文件夹。