12:22
官方账号arXiv cs.AI@Zizhao Hu, Nathan Elijah Segura, Mohammad Rostami, Jesse Thomason
推荐理由：这篇论文用HIVE工具对比语音和键盘输入的扰动，发现语音转写对模型影响更大，键盘错字反而扛得住。想知道输入方式怎么影响LLM表现可以看看。
键盘输入
共 1 条相关 AI 资讯
8月5日
12:22
论文提出HIVE（Human Input-Variation Engine）输入扰动测试套件，覆盖语音转写扰动和QWERTY键盘扰动。HIVE实验显示，语音转写扰动让所有被测指令微调模型的准确率下降，成本主要来自转写结构而非填充词。在HIVE的键盘扰动测试里，模型吸收大量QWERTY噪声后准确率才明显下降，两类扰动的影响都取决于问题中token被破坏的数量。七项发现中的第六项指出，思考预算能基本恢复键盘通道的准确率，但对语音转写无效。压缩语音在思考预算下反而更差，该结果来自HIVE的第七项发现。