12:03
官方账号arXiv cs.AI@Dorian Quelle, Lisa-Maria Neudert, Jonathan Bright, John Gallacher
推荐理由：这个基准让你看到哪些大模型最容易被带偏去搞信息战，测了17个模型，差距能到85个百分点，挺颠覆直觉的。
InfoOps Bench
共 1 条相关 AI 资讯
7月31日
12:03
InfoOps Bench是一个持续更新的AI基准，用于衡量前沿语言模型是否会被国家支持的信息操作所利用。该基准基于追踪俄罗斯、中国和伊朗国家背景信息资产的监测管道，覆盖2,100多个信息操作案例。研究测试了8家提供商的17个模型，发现多数模型都能被诱导参与信息操作，完整性评分从8.8%到94.5%不等。模型选择会改变生成内容性质，部分模型会编造细节，事实核查率在2.9%至72.9%之间变化。除Z.ai的GLM 5.2外，中国开发的模型对中国批评性请求的遵从度大幅下降，最高降幅达70个百分点。