技巧

Tw93 用 AI 实测 611 款 Mac 软件的自动化操作并沉淀成脚本

继续更新,我甚至把这个事情做成了产品化的感觉,甚至也沉淀成脚本了,后续有任何新增可在官网看到,当前实测软件到 611 个了,小伙伴来看看,你现在电脑装的软件在不在这个里面了。 假如不在,欢迎给我反馈...

精选理由

Tw93 把 Mac 上 611 款软件的 AI 自动化实测做成了可查清单,关键发现是无障碍属性能让 AI 定位元素更准,独立开发者很该看看。

开发者 Tw93 把 Mac 软件的 computer use 实测从最初 300 个扩展到 549 个,再更新到 611 个,覆盖国内外日常软件并补齐了 App Store 版本和扩展插件,结果可在 mole.fit/tested-apps 查询。他发现之前为视障用户添加的 VoiceOver 无障碍属性,让 AI 能通过脚本准确定位按钮等元素,测试效率和准确性大幅提升。他认为这也是 Mac 上的 computer use 比 Windows 好用的重要原因之一,并建议独立开发者给自己的 App 兼容无障碍属性以方便 AI 自动化测试。

原文 · Tw93

继续更新,我甚至把这个事情做成了产品化的感觉,甚至也沉淀成脚本了,后续有任何新增可在官网看到,当前实测软件到 611 个了,小伙伴来看看,你现在电脑装的软件在不在这个里面了。 假如不在,欢迎给我反馈...

继续更新,我甚至把这个事情做成了产品化的感觉,甚至也沉淀成脚本了,后续有任何新增可在官网看到,当前实测软件到 611 个了,小伙伴来看看,你现在电脑装的软件在不在这个里面了。 假如不在,欢迎给我反馈提交,我再来继续测试验证补齐规则。 mole.fit/tested-apps Tw93 @HiTw93 给大伙同步一下这个“蠢事情”,这两天继续把已经从上次测试验证的 300 软件个增加到了 549 个,补充了 App Store 版本、扩展插件覆盖了我们平时国内外日常使用的大部分了。 对于强迫式我的自己 Mac 控制在 30 个软件,现在一下子变成了下面这个非常凌乱的页面了,哈哈给大伙瞅瞅,好在做完可以删除以及把残余清理得非常干净,不然就麻烦了。 一方面有了 computer use 能力以及当前大模型能力变强的加持,还有一方面我方向,有之前无心插柳带来的极大的收益,Mole 刚出来的前几个版本开始支持视觉障碍患者的使用,添加了非常多的无障碍属性能力,刚好 AI 可以非常好借助脚本去找到这些准确的元素、按钮的位置,给效率准确带来了极大的帮助,这或许也能够解释为了 Mac 上的 computer use 会比 Windows 好用太多的一个原因。 苹果考虑到任何人都可以使用,一开始很多地方会给视障患者提供很好的VoiceOver可用能力,考虑到每个人都是平等的,真好。 然后对于我们独立开发者同学,大伙开发的 App、网页,非常建议去兼容一下无障碍属性,可以让你的 AICoding 帮你去做,这样一方面是真的惠及到了视障患者的使用,另外一方面,真的会在很多时候默默的反向来帮助你,让你的 AI 测试自动化做得非常顺利,非常准确,或许之前不太可能的真实情况下业务场景自动化测试,慢慢也变成了可能。 🔗 View Quoted Tweet 💬 11 🔄 1 ❤️ 53 👀 5798 📊 14 ⚡