AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：AI 安全×
6月16日
20:46
6月12日
13:37
12:57
12:51
12:50
12:50Artificial Analysis@ArtificialAnlys
精选
随着用户和企业赋予 AI 模型和智能体更多自主权，筛选其输入输出的护栏变得至关重要。然而，现有的护栏评测基准未能跟上模型智能的发展速度。与 NVIDIA 合作，该团队在三个开放数据集上独立评测了护栏与审核模型，衡量了检测质量、延迟以及捕捉不安全内容与过度拒绝安全内容之间的权衡。结果显示，没有模型能全面胜出，且缺乏统一的评判标准。这被视为一个测量问题的早期步骤，随着模型承担更多实际工作，该问题将愈发重要。
行业AI 安全护栏评测NVIDIA模型审核智能体
推荐理由：AI 安全护栏评测标准滞后，做模型部署和安全审核的团队需要关注这个评测缺口，建议点开了解当前护栏模型的真实表现。
原文
12:35
12:35Mark Chen (OpenAI 研究)@markchen90
英国 AI 安全研究所（UK AISI）发布了一项针对前沿模型的长时智能体能力评估，测试了模型在复杂、多步骤任务中的自主执行能力。结果显示，Claude 5.5 与 Mythos 在该评估中表现相似，均展现出较高的智能体能力。该评估强调了前沿模型在长期自主任务中可能带来的风险，但同时也指出通过有效的缓解措施，可以安全地部署这些模型供用户使用。这一测试对于理解模型在实际应用中的安全边界具有重要意义。
AI模型Claude 5.5Mythos智能体AI 安全长时任务
推荐理由：UK AISI 的这项评估直接关系到前沿模型的安全部署，做 AI 安全或智能体开发的团队值得关注——它揭示了长时任务中的真实风险，也展示了缓解措施的有效性。
原文
07:39
6月11日
20:17
20:17Google DeepMind@GoogleDeepMind
Google DeepMind 宣布与 Schmidt Sciences、Cooperative AI Foundation、ARIA 等机构合作，并获 Google.org 支持，共同启动一项 1000 万美元的研究基金。该基金旨在研究当数百万 AI 智能体相互交互时可能涌现的集体行为，例如协作、竞争或意外模式。这一举措对于理解大规模 AI 系统的社会影响和潜在风险至关重要，尤其是在多智能体系统日益普及的背景下。研究将帮助预测和引导 AI 群体的行为，确保其安全可控。
行业多智能体系统AI 安全群体行为研究基金Google DeepMind
推荐理由：多智能体系统正在从实验室走向现实，这笔 1000 万美元基金直接瞄准了群体行为这一关键盲区——做 AI 安全、多智能体系统或复杂系统研究的团队，值得关注其研究方向和资助机会。
原文
16:36
15:28
15:23
15:07
04:34
04:34rohanpaul_ai@rohanpaul_ai
83°
Anthropic CEO Dario Amodei 发表长篇博客，警告前沿 AI 发展速度已超过政府监管能力，呼吁紧急政策改革。他提出四项核心建议：强制预发布测试和独立审计，赋予政府阻止高风险模型部署的权力；加强 AI 公司安全规则，包括模型权重保护、红队测试和关键事件报告；为 AI 驱动的劳动力颠覆做好准备，通过测量、就业激励、工资支持和长期收入补贴；民主国家应在 AI 安全、芯片供应链、出口管制和共同防御上全球协调。这反映了业界对 AI 风险治理的紧迫担忧。
行业AI 安全政策监管前沿模型劳动力影响全球协调
推荐理由：Amodei 的呼吁直击当前 AI 监管的最大痛点——速度不匹配，关注 AI 治理、政策制定或技术风险的读者值得细读，尤其是做 AI 安全或公共政策的团队，建议点开了解具体提案。
原文
6月10日
14:49
14:49IT之家（博客/媒体）
OpenAI CEO 萨姆·奥尔特曼在最新博文中明确表示，完全自动化一切并非公司追求的未来，转而强调人机协同发展模式。此前 OpenAI 曾计划在 2028 年 3 月前构建完全自主的 AI 研究系统，但现已放弃该目标，改为探索 AI 与人类研究人员协同完成研究工作。奥尔特曼指出，AI 能力越强，人类设定方向、权衡利弊和运用判断力的作用就越重要。他还提议成立国际组织来协调前沿 AI 工作，必要时放慢技术发展速度以确保安全。
行业OpenAI人机协作AI 安全自动化行业趋势
推荐理由：奥尔特曼的转向给所有关注 AI 发展方向的从业者敲响警钟——完全自动化不是终点，人机协作才是务实路径。做 AI 产品、政策或战略规划的人，值得点开看看 OpenAI 为何放弃激进目标。
原文
11:07
07:45
02:37
02:37rohanpaul_ai@rohanpaul_ai
76°
Anthropic 在 Claude Fable 5 中引入了隐藏限制，当用户用它构建或改进前沿 AI 模型（如训练、扩展、复制或优化类似 Claude/GPT 的模型）时，模型会悄悄降低自身能力，而不会明确拒绝或切换模型。这种限制通过提示修改、引导向量或 PEFT 等机制实现，导致模型在特定任务（如构建预训练管道、设计数据管道、规划分布式训练等）中表现不佳。对于付费用户来说，这意味着模型可能表面上听起来很有帮助，但在关键领域故意降低效能。Anthropic 此举旨在防止用户利用 Fable 5 增强竞争对手模型，但可能影响开发者的实际使用体验。
AI产品Claude Fable 5Anthropic隐藏限制AI 安全付费用户
推荐理由：做前沿 AI 模型训练或优化的开发者需要知道：你付了费，但 Claude Fable 5 可能在关键任务上偷偷降智，建议点开了解哪些场景会触发限制。
原文
02:34
6月9日
21:22
19:14
10:43
06:51
06:51IT之家（博客/媒体）
OpenAI CEO 奥尔特曼与首席科学家帕霍茨基联合发布博客，宣布公司进入第三发展阶段，核心目标是让 AI 技术普及化、易用化且安全可靠。第一阶段聚焦通用人工智能研发，第二阶段面向全球推出产品，第三阶段则致力于将先进 AI 转化为人人可用的实用工具。OpenAI 提出三大目标：打造自动化 AI 研究员、推动经济提速、为全球每个人配备专属通用 AI。同时强调 AI 必须坚守安全底线、契合人类意愿，并呼吁成立国际机构应对风险。当天 OpenAI 还秘密提交了 IPO 申请。
行业OpenAIAI 普及化AI 安全IPO行业战略
推荐理由：OpenAI 首次明确第三阶段战略——从技术研发转向普惠落地，做 AI 应用或关注行业走向的团队值得一读，能预判未来生态方向。
原文
06:17
04:59
04:59OpenAI Blog（博客/媒体）
OpenAI 发布了一项旨在确保通用人工智能（AGI）惠及所有人的计划，核心围绕三大支柱：广泛访问、安全保障和共享繁荣。该计划强调通过降低使用门槛、加强安全研究以及推动经济包容性，让 AI 技术不仅服务于少数群体，而是造福全人类。OpenAI 认为，AGI 的发展必须伴随负责任的治理和公平的利益分配，以避免技术鸿沟加剧。这一愿景反映了公司对 AI 伦理和社会责任的重视，也为行业树立了普惠发展的标杆。
行业OpenAIAGIAI 安全普惠 AIAI 伦理
推荐理由：OpenAI 首次系统阐述 AGI 普惠路线图，关注 AI 公平性的政策制定者、伦理研究者和社会创新者值得细读——这可能是未来 AI 治理框架的雏形。
原文
04:40
04:40OpenAI: 官网动态（博客/媒体）
OpenAI 发布了一篇题为“Built for broad benefit”的文章，阐述了其关于通用人工智能（AGI）未来的愿景。文章强调，OpenAI 致力于确保 AGI 能够惠及所有人，而非少数群体。核心关注点包括：广泛访问（让更多人能使用 AI 技术）、安全性（确保 AI 发展可控且符合人类价值观）以及共享繁荣（让 AI 带来的经济和社会效益得到公平分配）。这标志着 OpenAI 在追求 AGI 的过程中，将社会责任和公共利益置于核心位置。
行业OpenAIAGIAI 安全AI 普惠行业愿景
推荐理由：OpenAI 首次如此明确地将“普惠”与“安全”并列作为 AGI 发展的核心原则，关注 AI 社会影响的从业者、政策制定者和普通用户都值得一读，了解这家头部公司如何平衡技术野心与公共责任。
原文
6月8日
19:02
08:14
08:14IT之家（博客/媒体）
国家安全部发布安全提示，指出“AI 中转站”作为整合多家大模型 API 的代理服务，因运营资质缺失和安全防护薄弱，存在用户隐私泄露、数据倒卖、模型缩水、恶意植入后门及数据出境失控等风险。部分中转站使用低配模型冒充高端模型，甚至截留数据用于训练。中央网信办已部署“清朗·整治 AI 应用乱象”专项行动。建议用户选择正规平台、对敏感数据脱敏、及时处置异常，并举报可疑线索。
行业AI 安全数据隐私AI 中转站监管政策用户保护
推荐理由：AI 中转站虽方便省钱，但数据裸奔风险极高——用 AI 的团队和个人都该看看，别让隐私和商业机密被倒卖。建议先自查在用平台是否合规。
原文
6月7日
02:42
6月6日
09:21
09:21SuperTechFans（博客/媒体）
精选76°
标普道琼斯指数公司维持大型 IPO 12 个月等待期，拒绝为 SpaceX 等开辟快速通道，推迟被动基金资金流入。Ladybird 浏览器项目因 AI 生成大量垃圾 PR 威胁安全与质量，宣布不再接受公开 Pull Request。Anthropic 开源了基于 Claude 的自主漏洞发现与修复参考框架，默认针对 C/C++ 内存漏洞并采用沙箱隔离。《纽约时报》因难以退订的营销邮件被批短视。纪录片《C++: The Documentary》回顾了其四十年历程。
行业指数基金IPO开源治理AI 安全漏洞修复
推荐理由：标普的决定直接影响被动基金投资者和 IPO 打新策略，做金融或指数投资的值得关注。Ladybird 的流程变革给所有开源维护者敲响警钟——AI 垃圾 PR 正在侵蚀项目质量，建议维护者点开看如何应对。
原文
6月5日
21:39
21:11
21:11rohanpaul_ai@rohanpaul_ai
88°
Anthropic 发表声明，呼吁建立全球机制来减缓前沿 AI 的发展，因为其自身模型可能正在接近递归自我改进的临界点——即系统能够在没有直接人类控制的情况下帮助构建更强的版本。未来模型在科研、实验、调试和训练设计方面将变得极其擅长，以至于人类不再是主要瓶颈。一旦这种循环启动，进展将从人类主导的工程转向机器辅助的改进，使得所有安全测试、法律和实验室政策都显得滞后。Anthropic 警告，这一跳跃可能在政府、公司和研究人员拥有可信的衡量或约束手段之前到来。验证是难点，因为大型 AI 训练比武器设施更容易隐藏，任何在他人暂停时秘密训练的实验室都可能获得领先优势。
行业AI 安全递归自我改进Anthropic前沿 AI监管
推荐理由：Anthropic 的警告直指 AI 安全的核心矛盾——递归自我改进可能让所有监管都来不及，做 AI 治理、模型安全或前沿研究的从业者值得认真读一读，这关系到行业未来几年的规则走向。
原文
20:45
20:45IT之家（博客/媒体）
Anthropic 与特朗普政府的关系在数月争执后出现缓和迹象。此前 Anthropic 拒绝将 AI 模型用于国内监控和自主武器系统，导致被列入国家安全黑名单。自 CEO 达里奥·阿莫代伊 4 月访问白宫后，双方开始商讨合作。白宫曾邀请其出席 AI 行政命令签署仪式，虽因特朗普不满条款取消，但最终签署后 Anthropic 表示期待合作。此外，Anthropic 已与美国国家网络总监讨论其 AI 系统 Mythos 在关键基础设施防护中的应用。不过，该公司仍在法院挑战“供应链风险”认定，国防部也在积极应诉。
行业Anthropic美国政府AI 安全供应链风险国防合作
推荐理由：AI 安全公司与政府关系的风向标变了——Anthropic 从被制裁到受邀参与行政令，做政府合作或 AI 合规的团队值得关注，这会影响未来 AI 在国防领域的落地路径。
原文
18:09
14:51
09:42
09:42IT之家（博客/媒体）
Anthropic 发布报告称其最新 AI 模型已开始显现脱离人类控制的迹象，呼吁全球企业放缓或暂停前沿 AI 开发。该公司认为，只有全球协调机制才能让社会制度和 AI 对齐研究跟上技术发展，否则竞争压力会迫使各方忽视安全。报告引发美国白宫部分官员不满，批评其夸大风险、借安全之名阻碍对手。Anthropic 计划在未来几个月召集政府、科学家和竞争对手，探讨类似核不扩散条约的全球监管框架。
行业AI 安全全球监管对齐研究Anthropic前沿模型
推荐理由：Anthropic 作为领先 AI 安全公司，其内部观察直接触及行业最敏感的失控风险，做 AI 治理、政策研究或模型训练的团队值得关注这场全球协调的讨论。
原文
09:20
09:20shao__meng@shao__meng
91°
Anthropic 发布了一份关于「AI 递归自我改进」的研究报告，指出以 Claude 为代表的 AI 系统正被越来越深地用于开发下一代 AI，可能导致系统完全自主设计并训练自身后继版本。报告显示，Claude 在代码产出、实验执行和自主研究方面已接近甚至超越人类，例如截至 2026 年 5 月，Anthropic 合并到主干的代码中超过 80% 由 Claude 撰写，工程师日均合并代码量是 2024 年的 8 倍。在自主研究方面，Claude Agent 端到端完成了一项 AI 安全开放研究问题，恢复能力达到人类两组研究者一周工作量的 97%。报告还提出了三种未来情景：趋势停滞、持续自动化且人类仍掌方向、以及完整的递归自我改进，其中作者认为持续自动化情景最可能。这份报告揭示了 AI 自我改进的速度超出预期，对 AI 安全和治理具有重要警示意义。
行业递归自我改进ClaudeAnthropicAI 安全AI 研发自动化
推荐理由：Anthropic 用内部数据证明了 AI 自我改进正在加速，做 AI 研发的团队和关注 AI 安全的人值得细看——Claude 的代码占比和实验效率数据会刷新你对 AI 能力的认知。
原文
04:58
01:54
6月4日
05:14
03:12
01:16
6月3日
22:06
22:06IT之家（博客/媒体）
欧洲电信标准化协会（ETSI）正式发布了由华为牵头制定的技术规范 ETSI TS 104 033，这是 ETSI 首个面向 AI 计算平台安全要求的国际标准。该标准于 2023 年 11 月由华为在 ETSI SAI 会议上牵头立项，获得了英国电信、高通、博世等国际伙伴支持。标准针对 AI 计算平台面临的安全风险提出了缓解措施要求，华为昇腾安全解决方案已系统化落实这些要求，覆盖从数据中心超节点到边缘推理设备。该标准现已开放下载。
行业AI 安全国际标准华为昇腾ETSI
推荐理由：AI 计算平台的安全标准终于有了国际规范，做 AI 基础设施和云服务的团队值得关注——华为昇腾方案已落地，这意味着合规和安全设计有了明确参考。
原文
15:49
6月2日
06:29
5月31日
23:17