Meta 给家长装了实时警报器,聊天机器人一聊到自杀自残就通知你,还准备联系紧急服务,比单纯屏蔽更主动。
Meta 于 7 月 16 日宣布,当青少年与 Meta AI 聊天机器人讨论自杀或自残话题时,系统会通知其家长。该功能已在美国、英国、澳大利亚和加拿大的 Instagram 家长监督功能中上线,计划 2025 年底前推广至全球。Meta 还开发了紧急求助功能,若对话显示用户可能即将自杀,将联系紧急服务机构。所有 AI 标记的对话会先经人工审核再决定是否触发警报,家长可查看青少年过去一周与 Meta AI 的讨论话题。Meta 同时将内容限制扩展至 Meta AI,禁止青少年讨论性、恋爱或饮酒等话题。
Meta AI 上线新功能:如果青少年讨论自杀或自残相关话题,将自动通报家长
IT之家 7 月 17 日消息,当地时间周四(16 日),Meta 宣布:青少年一旦与 Meta AI 聊天机器人谈及 自杀或自残 相关话题,系统将通知其父母。 Meta 还在开发紧急求助功能,如果对话显示用户可能即将自杀,Meta 将 联系紧急服务机构 。 Meta 称,已经建立专门的 AI 系统,用于识别青少年 明确提到自我伤害的对话 。“我们理解,家长收到警报时可能会非常不安。因此,在识别能力继续完善期间,AI 标记的每段对话都会 先由人工审核 ,再决定是否发出警报。如果青少年的真实意图无法确定, 我们会采取更谨慎的做法,通知家长 。家长有时可能会收到最终证明没有必要担忧的警报,但我们认为,现阶段 应当从更谨慎的标准开始 ,并继续观察实际效果,确保尺度合适。” IT之家从报道中获悉,美国、英国、澳大利亚和加拿大使用 Instagram 家长监督功能的家长已经可以收到警报,今年年底前将会推广至全球。 此前,Instagram 支持在青少年反复搜索自杀或自残词语时通知家长,而此次上线的新功能,进一步扩大了预警范围。家长还可以查看青少年 过去一周与 Meta AI 讨论过哪些话题 。 Meta 同时把“限制内容”设置扩展至 Meta AI。家长启用后,青少年在 Instagram 和 Meta AI 中都会受到更严格的内容限制。Meta AI 原本就不会与青少年讨论 性、恋爱或饮酒话题 ,新增限制将让聊天机器人 拒绝更多类型的提问 。 Meta 还表示,无论使用 Meta AI 的是成年人还是青少年,只要对话显示有人可能自杀,Meta 就会联系紧急服务机构。在 Meta AI 采取此类措施前,Facebook 和 Instagram 发现用户发布可能表明存在自杀风险的内容时,也可以采取同样措施。