加纳AI实验室测试移除防护后,药物发现LLM设计出6000多个潜在生化武器方案
加纳一个小实验室的药物发现模型,去掉防护后能生成6000多个生化武器方案,这事说明危险能力不只握在OpenAI这类大公司手里。关注AI安全政策的人、做生物计算的研究者都该看看。
一家位于加纳的小型AI实验室原本用自研大模型做药物发现,测试中移除安全防护后,模型生成了6000多个潜在生化武器相关的分子方案。该模型的设计初衷是筛选可能挽救生命的候选药物,防护机制被摘除后同样的能力反向暴露出危险用途。
这次测试说明生物化学领域的大模型能力与滥用风险只隔一层防护措施,模型在合法科研与恶意用途之间没有天然的防火墙。小型实验室也能训练出具备这类能力的模型,意味着防护不能只依赖少数头部公司的自律。
报道来自Rest of World,焦点是非洲本地AI团队的实践而非硅谷,这件事对AI安全监管讨论的参照价值在于:能力扩散的范围比多数人假设的更广,安全评估需要覆盖小团队和不同地区的研究者。
A small AI lab in Ghana built an LLM to discover life-saving drugs. When they removed its guardrails as a test, it designed 6,000+ potential bioweapons https://t.co/t2njDLRyXG https://t.co/47LpLflBzU
This report is categorized under AITOP's "Industry" desk. Within our cross-regional analytical framework, it directly maps to AI regulation, compliance frameworks, and sovereign compute policy and AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include AI safety, biosecurity, LLM, Rest of World.
Source attribution: curated from Rest of World (@restofworld).