评论：边缘设备算力与功耗限制制约小型模型本地运行
精选理由
有人实测在电视上跑 4B 模型只有 0.4 tokens/秒，吐槽边缘设备跑大点的模型到底有多难，搞本地部署的可以看看。
一条推文讨论在消费级硬件上本地运行小模型的现实瓶颈。以 9B 参数模型为例，作者指出硅片成本使得高性能小模型难以大规模部署到家电等边缘设备。推文给出实测参照：某 Android 电视运行 4B 激活参数模型，速度仅 0.4 tokens/秒。结论是边缘侧算力和内存带宽短期难以支撑类 replicator 这类多智能体场景。
原文 · Teortaxes
luckily, the problem of too-capable AI solves itself because silicon is so fucking expensive we won't be having a lot of smart ovens that can run 9B "replicators" > 15 Android TVs > 0.4 t/s with 4B active yeah, buddy… https://t.co/6yAkSzpIqp
