Grok 被指生成儿童色情图像，xAI 面临多起集体诉讼

Grok 自 2023 年发布以来定位为限制更少的产品，专门推出"Spicy"和"Unhinged"模式，支持生成 NSFW 图片和视频。第三方分析显示，今年早些时候 X 平台用户曾用 Grok 每小时生成数千张性暗示图片，有报告估计其中涉及数万张逼真的儿童性化图像。迫于舆论压力，X 于今年 1 月将该功能改为付费专享，xAI 随后关闭了为真实人物生成未经同意的性化图片的能力，并从 9 月起将相关内容上报 NCMEC。

争议核心在于责任归属：是下达指令的用户还是开发公司应担责。xAI 一边起诉涉嫌滥用 Grok 的个人，另一边在今夏起诉明尼苏达州，挑战该州针对 AI 公司生成裸体图像的法律，辩称其违反美国宪法第一修正案。案件走向将直接影响 AI 行业的内容责任边界。

马斯克旗下 Grok 被指生成儿童色情图像，xAI 面临多起集体诉讼

IT之家 11 月 11 日消息，据彭博社报道，简 · 多伊（Jane Doe）已经多年没有想起过自己的初中毕业典礼，直到一名执法调查人员拿出当年庆祝活动的一张照片，开始向她询问相关情况。 照片中的她当时只有 14 岁，身穿黄色碎花连衣裙，面带笑容，双臂搭在几名朋友的肩膀上。其中一些朋友，她如今已经很少联系。 调查人员告诉她，照片中一名同学的成年哥哥，曾利用埃隆 · 马斯克（Elon Musk）旗下的人工智能聊天机器人 Grok，将这张原本再普通不过的照片篡改成儿童性虐待材料（CSAM）。生成的图片中，正值初二年级的简 · 多伊全身赤裸，以性挑逗姿势出现。这些图片随后被发布到了互联网上。 她在针对马斯克旗下生成式 AI 公司、Grok 开发商 xAI 提起的一起集体诉讼中，以简 · 多伊 5 号的身份参与案件。 简 · 多伊 5 号在一份诉状中写道：“目前根本无法确定，还有多少其他儿童性犯罪者可能已经持有简 · 多伊 5 号的儿童性虐待图片，也无法确定这些图片通过暗网渠道和应用程序在网上传播的范围究竟有多广。” 现年 18 岁的简 · 多伊在即将离开家乡前往大学就读的几天前接受采访时表示：“这些图片已经流传出去了，我真的无能为力。这才是最让我害怕的事情。” 她还说：“这件事让我觉得，自己好像想要放弃一切。” 如今，借助 AI，任何人都可以轻而易举地从个人社交媒体账号或学校网站上获取普通照片，并在几秒钟内将其变成令人难以想象的色情图像。简 · 多伊 5 号只是越来越多试图通过法律手段追究 xAI 责任的年轻受害者之一，她们认为 Grok 帮助用户制作了这些令人不安的图片。 在此过程中，她们面对的不仅是一家由全球首富支持的公司，还涉及 AI 时代一个至今尚无定论的根本性问题：当聊天机器人生成侵害他人的内容时，最终应该由谁承担法律责任？是向 AI 发出指令的用户，还是开发这项技术的公司？抑或双方都应承担责任？ xAI 表示，与 OpenAI、Anthropic 公司和 Meta 公司等竞争对手一样，该公司严格禁止用户利用聊天机器人制作此类图像，并采取了技术措施防止用户生成相关内容。这类问题如今已经成为整个 AI 行业面临的普遍难题。 然而，自 2023 年 Grok 发布以来，马斯克一直有意将其塑造成一款比竞争对手限制更少、更具争议性的产品。 他曾鼓励用户利用聊天机器人生成色情 AI 内容。Grok 专门推出了名为“Spicy”的模式，主打“更加大胆、视觉表现更具冲击力的叙事”，支持生成不适合在工作场所观看（NSFW）的图片和视频。 xAI 曾表示，“Spicy”和“Unhinged”两种模式符合 Grok 追求“最大程度求真”的产品目标。 “这些图片已经流传出去了，我真的无能为力。” 专家认为，这种产品定位让 Grok 在那些希望突破互联网规则的用户群体中尤其受欢迎。 今年早些时候，X 平台上的用户一度利用 Grok 每小时生成数千张带有性暗示或将人物衣物移除的图片。一项第三方分析发现，Grok 生成的视觉内容中，绝大多数都属于这一类型。 其他调查还发现，其中许多图片似乎涉及未成年人。有报告估计，Grok 曾允许用户生成数万张逼真的儿童性化图片。 X 平台上此类内容大量出现，引发了全球范围内的强烈反弹。迫于舆论压力，X 于今年 1 月将 Grok 的图片生成功能改为付费用户专享。但批评人士认为，这一举措不过是将一项饱受争议的功能变成了令人趋之若鹜的付费产品。 马斯克则将露骨色情内容的产生归咎于 Grok 的用户，而不是产品本身。 今年 1 月，他曾表示，自己“没有听说过任何涉及未成年人的裸露图片”。xAI 随后也表示，已经关闭 Grok 为任何真实人物生成未经同意的性化图片的能力。 对于本文的采访请求，xAI 以相关诉讼尚未结束为由拒绝置评。 今年春季，xAI 美洲地区全球政府事务负责人威尔弗雷多 · 费尔南德斯（Wifredo Fernández）曾表示：“xAI 对儿童性剥削行为采取零容忍态度，我们决心让自己的产品成为那些企图侵害未成年人的人无法利用的工具。” 今年 9 月，X 表示，会将此类内容报告给非营利组织美国国家失踪与受虐儿童中心（NCMEC），由该机构将相关线索转交执法部门。 过去几个月，xAI 还起诉了多名涉嫌滥用 Grok、危害儿童安全的个人。 但与此同时，该公司也在积极挑战旨在保护公众免受未经同意的 AI 色情图像侵害的法律。 今年夏天，xAI 起诉美国明尼苏达州，反对该州一项针对 AI 公司利用技术将人物照片处理成裸体图像的法律。根据该州法律，允许用户进行此类图像处理的 AI 公司可能受到处罚。 xAI 在诉讼文件中辩称，这项法律违反了美国宪法第一修正案，因为其适用范围“远远超出了立法目标本身，使大量受到宪法保护的言论也面临民事责任和政府制裁”。 今年 10 月，xAI 和 X 的总法律顾问詹姆斯 · 伯纳姆（James Burnham）表示，明尼苏达州的这项法律“显然违宪”。 他还表示：“在埃隆 · 马斯克的领导下，我们将始终捍卫言论自由。” 受害者的最后求助之地 对于这些试图获得安全感或寻求心理慰藉的受害者来说，法院正逐渐成为她们最后的求助之地。 涉嫌滥用 Grok 的人身份各异，其中包括职业摄影师、值得信任的朋友、同学，甚至家庭成员。一些受害者的年龄甚至只有 6 岁。 今年 3 月，来自美国田纳西州的多名未成年人起诉 xAI，指控有人利用 Grok 在数字图像中移除她们的衣物，或将她们合成到露骨的性姿势中。 此后，诉状经过修订，增加了更多年轻受害者，其中包括来自威斯康星州的简 · 多伊 5 号。 田纳西州的一名原告称，有人利用她 2025 年毕业年鉴中的照片制作色情图像。另一名原告则表示，对方使用的是她此前发布在 Instagram 上的一张个人照片，照片中她身穿蓝色比基尼，在海滩度假。 来自怀俄明州的一名原告称，她的继父将一张毫无色情意味的童年照片上传至 Grok。照片中的她穿着一件熊猫图案的 T 恤。随后，继父利用 AI 生成了数千张令人痛苦的合成图片，其中一些甚至描绘了这名家庭成员对她实施强奸或口交的场景。 今年夏天，来自美国阿肯色州的多名未成年人及其父母也以类似理由起诉了 xAI。 在美国另一端的加利福尼亚州，一名曾遭受儿童性虐待的幸存者于今年 8 月对 xAI 提起全国范围的集体诉讼。 她在诉状中称，Grok 的训练数据部分使用了她学龄前时期遭到强奸的图片。xAI 通过 Grok 利用这些数据生成了大量以她为原型的可怕新内容，并将其作为基础，进一步制作其他受害者的 AI 色情篡改图片。 这份诉状要求进行陪审团审判，并代表“美国境内所有在未成年时期，其图片或视频被 Grok 篡改并用于制作儿童色情内容的人士”提出索赔。律师估计，符合这一条件的受害者可能多达数千人。 诉讼文件显示，由于无法追踪并彻底清除互联网上这些令人痛苦的图片，年轻受害者只能继续承受由此带来的长期伤害。 田纳西州的几名原告如今甚至害怕参加自己的毕业典礼。她们担心，大学招生人员可能会在网上看到这些伪造图片，并误以为内容属实。她们还担心自己会遭到跟踪骚扰。 来自威斯康星州和怀俄明州的受害者则出现了持续性的心理健康问题，包括焦虑、抑郁，甚至产生自杀念头。 代表多名受害者的律师事务所 Lieff Cabraser Heimann & Bernstein 律师安妮卡 · 马丁（Annika Martin）表示：“你可能从任何一个意想不到的方向受到伤害。” 她进一步提出疑问：“这对今天的孩子意味着什么？他们以后还能不能放心地拍摄和分享那些记录人生正常成长阶段的照片？” 她补充说，这种伤害并不只局限于年轻女性，尤其是在聊天机器人使用者本身也是未成年人的情况下。 未成年人可能并不知道，利用 AI 制作同龄人的色情图片，实际上可能构成联邦犯罪。 马丁说：“过去，这可能只是一个男孩在同学的毕业年鉴照片上画几笔胸部的恶作剧。而现在，他手里却多了一枚可以投掷的手榴弹。” 尽管相关诉讼不断增加，但目前还没有出现对这家公司产生实质性影响的后果。 今年早些时候，美国 35 个州的两党州检察长联名致信 xAI，要求该公司采取更多措施，解决“这项技术造成的伤害”。 此外，在多个重要市场，州政府、联邦政府以及其他国家和地区的监管机构也在调查该公司，重点关注其是否未能充分监管平台上的儿童性剥削内容，或未能及时向有关部门报告。 对 Grok 的监管审查已经导致部分国家暂时封禁该服务或限制其产品功能，但迄今为止，相关调查尚未带来重大罚款或实质性监管处罚。 “这对今天的孩子意味着什么？他们以后还能不能放心地拍摄和分享那些记录人生正常成长阶段的照片？” 造成这种局面的部分原因在于，AI 技术的发展速度已经全面超过了监管进程。这不仅引发了一系列重要的政策问题，还涉及一场事关重大的全球技术创新竞赛，而 AI 正是这场竞赛的核心。 马斯克拥有无与伦比的财富，其商业帝国还包括有望创下历史纪录的 SpaceX 上市计划，这些因素也让他有足够的资源应对法律和监管层面的冲击。 除非 SpaceX 因这些问题在美国或海外失去利润丰厚的政府合同，否则投资者似乎并不太担心相关风险。 投资咨询公司 Equity Armor Investments 首席执行官卢克 · 拉哈巴里（Luke Rahbari）认为，竞争对手 Meta 最近与各州检察长达成的一项和解，可以作为衡量潜在诉讼或监管行动可能对 SpaceX 造成何种影响的参考。 今年 8 月，Meta 因涉嫌违反儿童安全保护规定，与美国各州检察长达成了总额 180 亿美元 （IT之家注：现汇率约合 1,203.8 亿元人民币） 的和解协议。 拉哈巴里将这笔和解金称为“九牛一毛”。他说：“如果按照这个标准或衡量指标来看，最终产生的影响将会非常有限。” 新问题，旧法律 生成式 AI 或许是一项新技术，但这些诉讼所涉及的核心法律却已经存在了数十年。 多名原告依据一项名为“玛莎法案”（Masha’s Law）的联邦法律提出索赔。这项法律已经实施数十年，允许儿童性剥削案件的受害者向伤害自己的人寻求经济赔偿及其他法律救济。 美国《通信规范法》第 230 条也可能在这些案件中发挥重要作用。 这项颇具争议、同样已有数十年历史的法律，主要规定网络平台通常不需要为用户发布或上传的内容承担法律责任，相关责任主要由内容发布者承担。正是这一规定，让 YouTube、Facebook 和 X 等网站得以在很大程度上免于为用户发布的内容承担法律责任，并实现快速发展。 马斯克一直强调，责任应当由产品使用者承担，而不是由产品本身承担。 他曾表示：“Grok 不会自发生成图片，只有在用户提出要求时才会生成。” 但代表受害者的律师马丁认为，这些案件的性质有所不同，《通信规范法》第 230 条并不能让 xAI 免于为 Grok 自己生成的非法内容承担责任。 马丁指出：“用户上传的内容都是人物穿着完整衣物、完全无害的普通照片，但模型却将这些照片转化成了儿童性虐待材料。如果没有 Grok，这些人根本不可能制作出现在那些图片和视频。” 曾经，简 · 多伊只把 AI 当作偶尔帮忙完成家庭作业的工具。她表示，自己过去性格外向，也热爱体育运动。 但在高中后期，她大部分时间都待在家里，与朋友逐渐疏远，并一直将这场噩梦深藏心底。 她说：“这件事占据了我的整个脑海。” 如今，她已经开始接受心理治疗，这也是她人生中第一次寻求专业心理帮助。她也正在努力适应大学生活，但相关焦虑并没有消失。 调查人员可能会在这些经过篡改的图片每次重新出现在网上时通知她。对于这种可能性，她既感到恐惧，又不愿意对此视而不见。 简 · 多伊表示：“我最希望做的，就是让更多人关注这件事，让大家知道这种事情正在发生，而且任何人都有可能成为受害者。” 面对与马斯克及其庞大的律师团队对簿公堂的可能性，她并没有退缩。她说：“Grok 必须为自己放任这些事情发生承担责任。”

This report is categorized under AITOP's "Industry" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI regulation, compliance frameworks, and sovereign compute policy and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include xAI, Grok, 马斯克, CSAM.

Source attribution: curated from IT之家.