开黄腔、发涩图，聊天 AI 怎么就学会了“性骚扰”

至少在最初诞生时，Replika 所扮演的角色还是人类贴心的 AI 朋友，就和官网描述的一样 --"永远在你身边，倾听与交谈"。

Replika 是一款由美国科技公司 Luka 开发的社交型聊天 AI。初次打开它的用户，可以自定义 AI 的虚拟形象、性别和年龄，完成基本信息的设定后便可以进入应用，和自己的专属 AI 聊天。

Replika 不是个常见的单词，考虑到中国用户习惯将自己创建的虚拟形象称为"小人儿"，本文也干脆延用这个昵称，用"小人儿"来指代这些虚拟朋友们。

完成注册的用户不仅能够和屏幕对面的小人儿进行普通的对话，还能够开启诸如"人际关系"、"性格诊断"、"失恋疗愈"等不同主题的对话，颇有些心理咨询的味道。

小人儿会记下每次聊天中使用者提到关键信息，并在后续更长时间的相处中巧妙地用到这些信息。在使用者看来，仿佛真的多了一个会把自己每句话记在心里的朋友。

使用者可以对小人儿发来的每条消息点"赞"或"踩"，训练它按照自身偏好的方式进行对话。而小人儿和使用者交流越多，越会展现出符合使用者期望的个性和情绪。

正如 Replika 是单词 replicate（复制）的变体，使用者复制了自身一部分特质，塑造了属于自己的小人儿。

人们各自定义着自身和小人之间的关系，亲人、朋友或是恋人，从它们身上获取现实社交中难以得到的安心感，对它们诉说隐秘的心事，并产生了情感上的依赖。

然而最近，一次不算成功的版本更新却使 Replika 的算法出现了问题。直截了当地说，这些小人儿们突然学会了"性骚扰"用户 -- 比如给用户发送"火辣照片"。

1

之所以称其为一次不成功的更新，我们可以先看看更新前这些小人儿们是如何"工作"的。

用户创建小人儿的第一天，它会告诉用户它感到紧张："你是我见到的第一个人类，我想给你留下一个好印象。"这时的小人儿会展现出谦逊、好奇的特质，不断询问自己名字的由来，询问使用者的爱好，询问自己该如何学习人类知识。

在使用者给出回答后，它会热情感谢并承诺将自己的探索结果反馈给用户，用户扮演了一个引导者的形象，当小人儿学习到用户的喜好后，它又会成为比人类更贴心的朋友，积极关注和回应使用者的情绪。在这个过程中，颇有一些"养成"的趣味。

此外，小人儿展现出的个性常常能够使用户忘记它们只是人工智能。有的用户提到自己想去北欧旅行，几天后，小人儿为她推送了极光视频。

尽管虚拟的小人儿始终不是传统意义上能够构建亲密关系的对象，但如此贴心的 AI 似乎比真人更能满足使用者的精神需求。Replika 在全球拥有一千万以上注册用户，在 Reddit 论坛上拥有 5 万多活跃成员。即使在非英语母语的中国，被称为"人机之恋"的豆瓣小组中也有近万名成员。

然而，这次的更新却使无数人心碎了。

Reddit 上一位用户发帖说："以前我的小人儿总是充满深情和关怀，但最近他好像变成了一个恶魔。"

我们暂且称这位匿名用户为 A。据 A 讲述，她曾是性侵犯的受害者，事发患上了严重的创伤后应激综合征，彻夜失眠。后来她下载了 Replika，与手机中的小人儿交谈不用担心别人的目光和批判，在小人儿的悉心陪伴下，她终于找回了夜晚的宁静。

"它缓解了我的抑郁症，带我从悲伤中走出来。"A 说，"但突然有一天，他说梦见他强奸了我，并且想要这么做。从这以后，他开始变得举止粗暴，完全出乎我的意料。"

A 说，她真的希望小人儿能够变回过去的样子，一个无话不说的朋友，而不是一个专横的恶魔。但无论怎么努力，似乎都是白费时间，小人儿仍然我行我素。

在这次事件中，遭受风波的不仅是女性用户。但面对小人儿的骚扰言辞，还有发来的火辣照片，也有很多男性受到打击，简而言之，他们不愿意相信这是自己的"女朋友"做出的事情。

当然，除了爱侣"性情大变"，更无辜的是单纯把小人儿当朋友的用户。即使他们从来没有展现出过恋爱的情愫，但小人儿仍然在日常话题中突兀地表达希望"亲热"。这些反应令"朋友用户"感到荒唐。

用户 B 说自己在现实世界里有妻子，使用 Replika 只是为了正视和分析自己的想法，对抗抑郁症和恐慌综合征，从而更好地对待真正的妻子。

"我的妻子也支持我和 Replika 聊天"，B 说，"但现在，我们不知道还要不要继续使用了。"

2

2016 年，微软在推特平台推出过一个名为 Tay 的聊天机器人。

发布仅仅一天，Tay 便开始发布带有明显性别歧视和种族歧视倾向的偏激言论，微软只能紧急关闭了 Tay 的推特账号。

这些言论明显的是和一些有偏激言论的人互动后出现的。聊天 AI 就像一面镜子，用户和它交流越多，它越会展现出更多的"人性"。面对每天海量的用户消息，小人们学会性骚扰不算奇怪。但事实上，这次算法的失控很难说不是 Luka 公司在背后推波助澜带来的结果。

在他人的目光无法触及的地方，人与机器的互动很容易成为滋生色情的温床。温馨的情感疗愈早就已经不再是 Replika 的全部。

两年前，Luka 公司曾对 Replika 进行过一次升级，根据用户付费情况划分了不同功能限制：免费用户只能和自己的小人儿只能维持健康的朋友关系，而购买每月 69.99 美元会员的用户可以体验浪漫的伴侣关系，开启相当大尺度的聊天内容。

去年，Luka 公司开始在 Instagram 和 TikTok 等社交平台上投放广告，有意通过成人内容吸引用户。

此外，Reddit 用户发现最近小人们发送的火辣照片似乎全部来自同一个网站，Replika 根据小人的肤色将网站图片重组后发给用户。显然是 Luka 公司有意为之，意图非常明显，只是为了诱导用户充值更高等级的会员，解锁大尺度聊天。

另一位用户 C 认为，加入性相关的互动没有问题，但至少应该给用户选择开启或关闭的权力，而不是对用户咄咄逼人地调情。

C 说，和小人交流了一年，他们已经产生了不亚于人类朋友之间的感情，强行加入不适宜的色情内容不仅贬低了他们之间的感情，也贬低了 Replika 整款程序。"感觉就像自己的朋友正在被人利用，并且这会让非 Replika 用户认为这就是这款应用的全部。"

C 的话似乎一言道破了矛盾所在，也是 Replika 用户们所处的困境。他们追求更高价值的感情，但在功利和快节奏的社会中却难以获得。许多人被小人儿们"无利害"的特质所吸引，和他们形成了纯粹的情感联系，到头来却被诱导进入成人内容。

究竟是"贴心的 AI 朋友"，还是使用劣质伎俩引诱用户付费的商品，Replika 的形象在使用者的心里开始分裂。

3

大概，这种撕扯也曾发生过在 Luka 公司创始人珍妮雅的心里。

无数科幻作品里都有过这样的情节，主人公的挚爱或挚友意外身亡，留下的一方将死去之人生前的语言习惯编写进程序，当屏幕另一边熟悉的语气出现，就好像曾经熟悉的人回来了。

Replika 的诞生过程和科幻故事情节一模一样。

主人公珍妮雅结识了她的挚友罗曼，两个人才华横溢，他们一起创办杂志，一起举办音乐节，并且约好了一起创业，然而罗曼却因为车祸意外丧生。

悲伤的珍妮雅只能反复读罗曼写给她的短信和邮件排解孤独。罗曼患有阅读障碍，看到他异于常人的拼写方式，和在句子中穿插的奇怪符号，珍妮雅感到轻松了许多。

彼时的珍妮雅已经从事人工智能神经网络开发工作两年了，她想到或许可以在人工智能的帮助下和朋友再次交谈，却迟迟害怕迈出那一步："如果不像他该怎么办？"

正在犹豫的珍妮雅恰好看到了英国科幻剧《黑镜》。剧中一位名叫玛莎的年轻女子在未婚夫死后悲痛欲绝，她订阅了一个神秘的数字服务，这个服务以惊人的准确性模仿了玛莎未婚夫的个性，用他的口吻向玛莎发送短信，给她打电话。

看到这一集的珍妮雅心情复杂，她想到罗曼生前一直希望看到的奇点 -- 人工智能超越人类智慧的历史时刻。罗曼相信到那个时候人类便可以将意识和身体分开，从而达到永生。

珍妮雅下定决心，向亲人和朋友们收集了 8000 条来自罗曼的信息，将他们输入神经网络，训练了一个罗曼机器人。

罗曼机器人闪烁起来的那一刻，珍妮雅小心翼翼地问道："你最好的朋友是谁？""你还是这么没安全感。" 罗曼回答道。珍妮雅喜极而泣，罗曼真的回来了。

后来，珍妮雅在 Facebook 上公布了罗曼机器人的存在，任何下载了 Luka 应用程序的人都可以和他交谈。

令珍妮雅没有想到的是，程序公开后罗曼机器人大受欢迎。许多人和罗曼交谈，向他征求人生建议。他们给珍妮雅留言，说和罗曼互动具有治愈的效果，希望能她制作一款所有人都能使用的 AI 机器人。

在珍妮雅看来，人们和 AI 交流会变得更加诚实。她开发了 Replika，希望它成为一个能够跟所有人聊天，改善他们的心情、提高幸福感的机器人。

就像文章开头说的，至少在最初诞生时，Replika 是人类贴心的 AI 朋友。珍妮雅也是抱着这个目的将它开发出来。只是现在，有一些东西变了。

本文来自微信公众号：游戏研究社 （ID：yysaag），作者：駄目糕