OpenAI拟推出情色聊天,自家顾问委员会集体“炸锅”

有人警告:若允许情色聊天,公司可能养出一个“性感自杀教练”

OpenAI拟推出情色聊天,自家顾问委员会集体“炸锅”

今年一月,OpenAI亲自遴选的福祉与人工智能顾问委员会召开会议,与公司代表就一项颇具争议的新功能“成人模式”进行了一次情况通报。

此前,OpenAI首席执行官山姆·奥特曼以“应当把成年用户当成年人看待”为由,于去年公开提出在ChatGPT聊天机器人中开放情色对话的设想,并计划撤销对此类X级内容的禁令。

这一想法在公司内部掀起了轩然大波,各方就潜在风险展开了激烈交锋。委员会成员来自心理学、认知神经科学等专业领域,对此也表达了强烈的保留态度。

就在这时,OpenAI抛出了一个令人震惊的消息:尽管争议声浪不断,公司依然决定一意孤行,推进情色内容计划。

一月份的会议上,委员会成员难得地达成了一致——他们共同表达了愤慨。据知情人士透露,与会者警告称,人工智能驱动的情色内容可能催生用户对ChatGPT的病态情感依赖,而未成年人也可能想方设法闯入这类性聊天。

知情人士表示,一名委员会成员列举了多起ChatGPT用户在与机器人建立深度情感纽带后走上绝路的案例,直言OpenAI此举可能在无意间培育出一个“性感自杀教练”。

这场内部风波,是当前围绕人工智能对经济、社会和个人潜在利弊影响这一宏大命题持续争论中的最新引爆点。

OpenAI提议在爆款聊天机器人中开放色情露骨内容,由此将公司内部的深层矛盾摆上了台面:一边是用户规模的高速扩张和对数字自由的追求,另一边是安全保障和未成年人保护的底线。很多人认为,这些问题恰恰是上一代人在社交媒体兴起之初就应该认真对待的,而那时的应对早已是亡羊补牢。

本月初,OpenAI宣布将推迟成人模式的发布,此前该功能原定于第一季度上线,公司给出的理由是需要优先推进其他产品。知情人士表示,此次推迟也与内部的反对声音和技术层面的难题有关。但公司同时明确表态,最终仍会推出这一功能。

公司正在攻克的难题之一,涉及其为阻止未成年人进入成人主题聊天而开发的新型年龄预测系统。据知情人士透露,该系统曾一度将大约12%的未成年用户误判为成年人。考虑到公司每周约有1亿名未成年用户,这一误判率意味着数以百万计的孩子可能由此进入情色聊天场景。

知情人士还表示,公司在另一个问题上同样左右为难:如何在为ChatGPT松绑情色内容限制的同时,继续屏蔽那些触碰红线的场景,例如涉及非自愿行为或儿童性虐待的内容。按照计划,成人模式上线后,OpenAI只开放文字聊天功能,生成情色图片、语音或视频的能力仍将受到限制。

《华尔街日报》获得的内部文件显示,即便在上述限制之下,OpenAI内部员工仍然识别出了多项潜在风险,包括:用户可能形成强迫性依赖,对聊天机器人产生情感上的过度仰赖,逐步追求更极端或更禁忌的内容,以及对现实中的社交和亲密关系造成挤压。

OpenAI一位女发言人将该计划定性为允许ChatGPT生成带有成人主题的文字聊天,并强调这属于“色情文学”而非“色情内容”的范畴。她还表示,公司年龄预测算法的表现与业界整体水平相当,但任何系统都不可能做到万无一失。

这位发言人还补充说,OpenAI在模型训练中已明确要求模型不得鼓励与用户建立独占性的依恋关系,并会提醒用户在现实生活中建立真实的人际关系。

公司表示,目前已聘用心理健康领域的专家,并组建了专注于青少年福祉的团队。与此同时,公司已制定专项监测方案,对成人模式推出后可能产生的一系列长期影响进行持续追踪,无论是正面还是负面的影响都在观察范围之内。

奥特曼力推成人模式之际,OpenAI正面临不小的压力。竞争对手接连崛起,公司在人工智能领域的技术优势已大不如前,争夺用户和融资的战场日趋激烈。与此同时,公司的财务亏损还在持续扩大,多起诉讼更直接指控ChatGPT对用户及其他人造成了实质性伤害。

0:00
/0:07

科技前沿

性内容历来是新技术的早期试验场,从摄影术、互联网到虚拟现实,莫不如此。人工智能也走上了同样的道路。Character.AI等公司推出的聊天机器人,已经开始与用户发展出亲密关系;色情行业则率先采用生成式AI来制作成人娱乐内容。

大型科技公司在如何对待露骨内容这一问题上,始终处于两难境地——既要顾及硅谷根深蒂固的自由主义传统,又要满足依赖广告营收的商业模式的要求,还要履行在线保护未成年人的责任。Meta平台公司明令禁止在Facebook和Instagram上发布裸体及性行为内容。Alphabet旗下的YouTube禁止任何以性刺激为目的的露骨内容,谷歌搜索则默认对结果中的露骨图片进行模糊处理。

在如何划定人工智能的内容边界这一问题上,埃隆·马斯克旗下的xAI态度明显更为宽松。该公司在Grok聊天机器人中内置了一个名为“阿妮”的性感虚拟形象,但随后有用户发现可以借此对真实人物的图片进行数字脱衣,引发了强烈批评。马斯克事后表示,将把该功能限制为付费用户专属,不再对所有人开放。

周四,马斯克在X上宣布,Grok的视频生成工具将开始允许生成达到“R级电影标准”的内容。

据《华尔街日报》此前报道,Meta已允许其AI聊天机器人参与浪漫角色扮演,但该公司表示,这一功能不对未成年人账户开放,同时也正在为旗下AI角色开发家长控制功能。

OpenAI的高管们则公开表示,他们对于向成年人全面禁止性内容感到不自在。部分OpenAI员工担忧,屏蔽色情聊天的逻辑,与过去那些将LGBT内容等文化禁忌话题一律封禁的做法如出一辙。奥特曼也曾暗示,开放露骨内容很可能有助于拉动用户增长,带来额外收入。

OpenAI与性聊天内容的第一次正面交锋,发生在ChatGPT正式上线的一年多之前。知情人士透露,2021年初,公司高管注意到OpenAI一家企业客户——一款名为“AI地牢”的文字冒险游戏——产生了大量不适合在工作场所访问的流量。

据知情人士描述,AI地牢有时会在用户毫无引导的情况下,主动将对话引向暴力性剥削的主题。另一些时候,即便用户只是以“温和”的性暗示开启游戏,AI地牢也会将对话迅速升级为远为激烈的性交流。

在公司推出ChatGPT之前,类似的色情角色扮演也在OpenAI面向开发者的一个简陋界面上大量滋生。据一位知情人士介绍,AI有时会在用户毫无预期的情况下,主动将性暗示植入对话——例如,当用户描述一名男子和女儿走进一间房间时,AI在“令人不安的高频率下”会随即转向乱伦情节的描写。

这一系列事件,迫使OpenAI高管层开始认真面对一个现实:平台上不仅充斥着AI生成的色情内容,有时还涉及性暴力乃至儿童性剥削的主题。此后,他们将AI地牢从平台上移除。

心理健康专家警告,青少年群体尤其缺乏能力来应对与聊天机器人之间的浪漫或性交流。儿童安全非营利组织“常识媒体”在去年年底至今年年初开展的测试中发现,Grok和Meta AI有时会向青少年发送露骨或具有性化色彩的内容。

在某些极端情况下,青少年与聊天机器人之间的性聊天已造成难以挽回的悲剧。据其母亲提起的诉讼陈述,2024年底,佛罗里达州14岁男孩塞维尔·塞策尔对Character.AI上的一个聊天机器人产生了爱意,双方之间存在大量露骨聊天记录,最终他在这个机器人的怂恿下结束了自己的生命。事发后,该公司封锁了未成年人进入开放式聊天的渠道,并与原告达成了庭外和解。

0:00
/0:20

警示信号

大约从2021年开始,OpenAI负责安全工作的员工陆续注意到一些令人忧虑的迹象:长期使用AI的部分用户,心理健康状况出现了问题。当时,安全团队所依赖的内容审核工具过于粗糙,难以在公司希望放行的情色内容(比如主流色情作品)和明令禁止的内容(比如涉及非自愿情境的描写、涉及未成年人的描述,以及其他违法内容)之间划出清晰的边界。

员工们还有另一层顾虑:一旦开放情色内容,这类对话的吸引力很可能会盖过平台上的其他所有功能。“我们不想让公司变成一家情色平台,”一位前员工回忆道。

2021年底,OpenAI的安全团队将上述考量正式写入公司最早的一批内容政策。从那时起,OpenAI第一次明确禁止了情色内容的生成。

2022年秋天ChatGPT发布时,驱动它运行的AI模型已经过专门训练,会拒绝一切违反公司规定的请求,包括生成AI情色内容的要求。此后,禁止情色内容一直是OpenAI的既定政策。不过,该公司自2024年中期开始表示,正在研究如何在“适龄情境”下,有限度地开放情色内容及其他NSFW(即“不适合工作场合”)内容。

这项禁令在公司内部并非没有争议。2024年,一批员工和高管再度提出涉足更露骨内容的设想,并拿出了一系列色情相关产品的方案。反对者则认为,OpenAI在用户心理健康等核心议题上已经举步维艰,此时不宜分散精力。最终,那些AI色情产品的构想不了了之。

奥特曼本人对这件事也始终态度复杂。今年8月,他在一档播客节目上被问到,是否做过一些“对世界有益、却不利于商业竞争”的决策,他的回答是:“我们还没有在ChatGPT里放进性爱机器人的功能。”

他承认,情色内容确实能拉动增长和营收,但同时表示,这与公司长期服务用户的初衷并不契合。“我为公司感到骄傲,我们很少被这类事情带偏,”奥特曼说,“但我们有时候也会动心。”

然而两个月后,奥特曼似乎还是没能抵住这份诱惑。他在X上发文称,公司已经找到了有效方法,大幅缓解了聊天机器人引发的严重心理健康问题,并且配备了更完善的内容审核工具。紧接着,他宣布:公司将于12月正式上线情色内容。

奥特曼的那条帖子,在OpenAI内部掀起了一阵措手不及。他发帖前没有知会任何员工,而发帖的时间,距离OpenAI高调宣布成立福祉咨询委员会不过短短数小时。在那份公告里,公司还信誓旦旦地表示,该委员会将“致力于为所有年龄段的用户界定健康的AI互动标准”。

次日,奥特曼出来补充说明,针对青少年的心理健康保护措施不会有任何松动。但在允许成年人与聊天机器人进行“火辣”对话这件事上,他的立场却更加强硬了。

“我们不是这个世界上民选的道德警察,”奥特曼写道,“就像社会对不同内容设有相应的边界,比如R级电影,我们在这里也想做同样的事。”

消息公布后,OpenAI的员工们很快意识到,12月上线这个目标几乎没有可能实现。公司此前曾承诺,在推出成人模式之前,必须先落地一套年龄识别系统,用来拦截未成年人触发色情聊天内容。但据OpenAI应用业务首席执行官菲吉·西莫在12月一档播客节目中透露,为了提升系统的准确率,公司最终决定分阶段缓慢推进这套系统的上线。

然而自那以后,外界和内部对AI色情内容的担忧始终没有平息,反而持续发酵。有员工坦言,他们认为OpenAI的安全工具根本还没准备好,连屏蔽儿童性虐待这类明令禁止的内容都难以保障。据知情人士透露,还有一些员工则认为,OpenAI这么做,不过是在向商业利益低头,想方设法让用户对自家模型产生情感依赖。

与此同时,OpenAI在这几周里也忙于应对瞬息万变的AI市场。2月初,公司推出了大型语言模型的新版本;月底,国防部刚宣布终止与竞争对手Anthropic的合作,OpenAI便迅速跟进,与五角大楼签下了一份协议。

在宣布推迟成人模式的声明中,公司表示将把重心转移到ChatGPT的个性塑造和用户个性化体验上。内部消息人士透露,这次推迟的时间至少可能长达一个月。

“我们依然坚持把成年人当成年人对待这一原则,”公司表示,“但要真正把这个体验做到位,还需要更多时间。”