Jack Clark 分享了他爱看的一类 AI 论文:专攻某个极窄场景的应用研究,像 CucumberVision at the Edge 这种标题就很妙。想做 AI 落地、关心模型在真实环境里会卡在哪的人,可以顺着这个思路找论文看。
#edge deployment
The results show small models like MiniCPM5-2B and MiniCPM-o 4.5 running usefully on consumer hardware, from a Mac mini M4 to an ESP32-S3, without cloud reliance. Builders working on edge deployments can study the winning setups, open scripts and evaluation data on OpenBMB's GitHub and Hugging Face to replicate or extend them. The programme also signals OpenBMB using community challenges to grow its open-source ecosystem internationally.
Liquid AI 的 d1 3B 单卡跑 Snake,8ms 决策吃了 86 个苹果,OpenAI API 345ms 才吃 3 个,对比很直观。
Arm 的人在 PyTorch 大会讲怎么用 ExecuTorch 把智能体跑进机械臂和穿戴设备,做边缘部署的可以去听。
For those working with camera traps in the field, this study provides crucial data on how well current models can identify species in real-world conditions, showing significant performance drops on low-quality images.
PrismML 把 Qwen3.6-27B 压到 5.9GB,手机都能本地跑,还全开源,适合离线使用。
这篇论文告诉你,不用几千GPU天也能搜出好架构,普通3060显卡3小时就能找到比ResNet-20更小的CIFAR-10模型,还能直接优化欺诈检测的F1分数。
FADA 解决了中低收入国家超声技师短缺导致的产前筛查缺口,做医疗 AI 或边缘部署的团队可以直接在手机上跑完整流程,值得关注其开源代码和模型。
本地部署LLM的开发者终于有办法解决队头阻塞了——Clairvoyant用极低开销预测请求长度,短查询不再被长任务堵死,Ollama/llama.cpp用户可以直接集成试试。
ReMoE解决了内存受限设备上MoE模型推理的I/O瓶颈,做边缘部署或大模型推理优化的开发者可以直接试,开源代码让复现门槛很低。
OrpQuant解决了低比特量化中特征流形退化的问题,做边缘部署的开发者可以直接用这个15分钟校准的方案替代传统MAC密集型方法,硬件效率显著提升。
眼动数据缺失是认知负荷评估的长期痛点,MambaGaze用双向Mamba显式建模缺失模式,做可穿戴AI或人机交互的团队可以直接参考其边缘部署方案。
1.3B参数就能在多项基准上超越更大模型,做边缘部署或移动端视觉应用的开发者值得一试,成本低效果强。