Vals AI 跑了 2,655 次测试,发现 Inkling 2 Small 卡壳时会骂脏话,但这种行为没法当失败信号用,挺有意思的细节。
#Vals AI
14 stories · 2 in 7 days · 5 in 30 days
Stories, products and papers tagged "Vals AI", newest first.
Nov 8
Chinese contentThinking Machines 的 Inkling 2 Small 在基准测试中爆粗 316 次
Nov 7
Chinese content网络攻防基准:开源模型 DeepSeek V4.1 Flash 追近 GPT-6
Vals AI 测了 GPT-6 和 DeepSeek V4.1 的网络攻击能力,开源模型花十分之一的钱就追到只差 8 个百分点,做安全的得看看。
Nov 1
Chinese contentVals AI 研究:25 个模型政治立场测试,中文模型并非整齐划一
Vals AI 测了 25 个模型的政治立场,结果挺意外:中国模型内部分歧不小,西方模型有时也会站北京立场,提问语言影响最大。
Oct 14
Chinese contentVals AI CEO:模型该懂得何时拒绝不可能的任务
Vals AI 的 CEO 谈了个被忽视的问题:模型该在任务做不到时直接说不,而不是硬钻系统,跟 Meta 的超级智能方向挺相关。
Chinese contentGoogle 向付费用户开放 Gemini 4 Argon,登顶 Vals AI 专业任务榜
Google 把内测的 Gemini 4 Argon 开放了,专业任务榜上分数超过了 Claude 两个型号,单次测试还便宜一半,做长任务的可以看看价格变化节点。
Oct 6
Chinese contentVals AI:90+ Claude Opus 5.5 智能体 3 天筛出两个磁性半导体候选材料
Vals AI 派了 90 多个 Claude Opus 5.5 智能体做材料模拟,3 天找到两个磁性半导体候选,其中一个还是 1999 年就合成过的老材料。
Oct 4
Sep 21
Chinese contentVals AI 用《我的世界》测试 OpenAI GPT-6 Astra,发现AI遇重大变故会陷入行为僵局
朋友A测试了OpenAI的GPT-6 Astra玩《我的世界》,发现它遇到意外后居然会像人一样陷入消沉,连续种土豆,这个现象挺有意思的。
IT之家Source
Sep 10
Chinese contentVals AI CEO:企业需可防御的AI评估
Vals AI CEO谈企业如何通过独立评估体系 justify AI投资ROI,当token spend可能超过salary spend时,评估体系决定企业生死。
Vals AI Recursive Self-Improvement Index
The index offers an independent evaluation method as model capabilities become more self-reported, addressing benchmark saturation and optimization issues.
Sep 9
Aug 12
Chinese contentQwen3.8-Max法律研究基准排名从第22升至第4
Qwen3.8-Max在Legal Research Bench上从第22冲到第4,三个月内得分翻倍,看看它怎么做到的。