行业多源确认
字节 Seed 成立安全与对齐部门，应对 AI 逆向滥用
精选理由
AI 逆向软件已经离谱到高中生拿去攻击银行了，字节 Seed 直接单独设安全对齐部门，国内头一家，文中把对齐怎么做的四步也讲清楚了。
帖子里列举了多起 AI 滥用案例：有人用 AI 把塞尔达移植到 iOS，有人逆向独立开发者产品，还有报道称一名高中生用 AI 攻击韩国金融机构。为应对这类问题，字节 Seed 计划单独设立安全与对齐部门，是国内首家这么做的前沿 AI 实验室。对齐工作包括制定模型规范、安全评估、对齐训练和防护系统四步，且需随模型更新持续进行。据悉该部门还会关注化学、生物、放射、核等前沿能力风险，并与外部研究机构和第三方评测合作。
原文 · Lxfater
最近很多人都用AI逆向软件了，而且事情越来越离谱了
- 有人用 AI 把塞尔达移植到 iOS - 逆向独立开发者产品，合起来 更离谱的是，还有报告称有个高中生用 AI 攻击韩国金融机构！！
这种情况，国外早就开始研究对策，最近国内的公司也开始重视了！！
字节 Seed 要单独设安全与对齐部门，而且国内首家这么做的前沿 AI 实验室。
什么是对齐呢？
就是让 AI 的行为符合人的意图，同时遵守安全约束。 举个例子： 你让它分析软件，不能顺手把你的资料发出去； 有人要求它攻击别人的系统，也不能因为任务明确就照做
要对齐模型得花不少精力：
1. 得为大模型准备制定模型规范 2. 用安全评估找问题 3. 对齐训练改善行为 4. 再配合防护系统和风险监控 而且每次更新模型，这些评估、训练和防护也得持续做！！
听小道消息，这个部门还会关注化学、生物、放射、核等前沿能力风险，与外部研究机构和第三方评测合作
这是个好消息，希望别的大公司跟进！！
