Tw93 用 AI 实测 611 款 Mac 软件的自动化操作并沉淀成脚本
Tw93 把 Mac 上 611 款软件的 AI 自动化实测做成了可查清单,关键发现是无障碍属性能让 AI 定位元素更准,独立开发者很该看看。
开发者 Tw93 把 Mac 软件的 computer use 实测从最初 300 个扩展到 549 个,再更新到 611 个,覆盖国内外日常软件并补齐了 App Store 版本和扩展插件,结果可在 mole.
fit/tested-apps 查询。他发现之前为视障用户添加的 VoiceOver 无障碍属性,让 AI 能通过脚本准确定位按钮等元素,测试效率和准确性大幅提升。
他认为这也是 Mac 上的 computer use 比 Windows 好用的重要原因之一,并建议独立开发者给自己的 App 兼容无障碍属性以方便 AI 自动化测试。
继续更新,我甚至把这个事情做成了产品化的感觉,甚至也沉淀成脚本了,后续有任何新增可在官网看到,当前实测软件到 611 个了,小伙伴来看看,你现在电脑装的软件在不在这个里面了。 假如不在,欢迎给我反馈提交,我再来继续测试验证补齐规则。 mole.fit/tested-apps Tw93 @HiTw93 给大伙同步一下这个“蠢事情”,这两天继续把已经从上次测试验证的 300 软件个增加到了 549 个,补充了 App Store 版本、扩展插件覆盖了我们平时国内外日常使用的大部分了。 对于强迫式我的自己 Mac 控制在 30 个软件,现在一下子变成了下面这个非常凌乱的页面了,哈哈给大伙瞅瞅,好在做完可以删除以及把残余清理得非常干净,不然就麻烦了。 一方面有了 computer use 能力以及当前大模型能力变强的加持,还有一方面我方向,有之前无心插柳带来的极大的收益,Mole 刚出来的前几个版本开始支持视觉障碍患者的使用,添加了非常多的无障碍属性能力,刚好 AI 可以非常好借助脚本去找到这些准确的元素、按钮的位置,给效率准确带来了极大的帮助,这或许也能够解释为了 Mac 上的 computer use 会比 Windows 好用太多的一个原因。 苹果考虑到任何人都可以使用,一开始很多地方会给视障患者提供很好的VoiceOver可用能力,考虑到每个人都是平等的,真好。 然后对于我们独立开发者同学,大伙开发的 App、网页,非常建议去兼容一下无障碍属性,可以让你的 AICoding 帮你去做,这样一方面是真的惠及到了视障患者的使用,另外一方面,真的会在很多时候默默的反向来帮助你,让你的 AI 测试自动化做得非常顺利,非常准确,或许之前不太可能的真实情况下业务场景自动化测试,慢慢也变成了可能。 🔗 View Quoted Tweet📊 14 ⚡
This report is categorized under AITOP's "How-to" desk, focusing on China's AI industry and domestic foundation model ecosystem. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Mole, computer use, VoiceOver, Mac.
Source attribution: curated from Tw93 (@HiTw93). Cross-source corroboration: 2 independent sources have covered this development (including 宝玉), confirming industry-wide signal strength.
- 宝玉09-21 04:53Source