AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：边缘部署×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月10日
11:32
11:32arXiv cs.AI@Mahmood Alzubaidi, Uzair Shah, Raden Muaz, Ines Abbes, Nader Mohammed, Abdullatif Magram, Khalid Alyafei, Mowafa Househ, Marco Agus
精选
FADA 是一个基于 Qwen3.5-VL 构建的统一视觉语言模型，能够通过单一流程完成胎儿超声图像的临床解读、分类、检测和分割，无需外部标签。它通过选择性蒸馏技术从四个领域专用基础模型中提取知识，在分割任务上达到 0.8820 平均 Dice，检测 mAP@0.50 为 0.7671，解读合规率 100%。专家验证显示，在 237 张图像上，临床指导模式下 73.5% 的解读获得满分。该系统可在单张消费级 GPU 上训练，并能在搭载骁龙 7 Gen 1 的智能手机上离线运行完整流程约 60 秒，为资源受限地区的产前超声筛查提供了可行方案。
AI模型FADAQwen3.5-VL胎儿超声视觉语言模型边缘部署
推荐理由：FADA 解决了中低收入国家超声技师短缺导致的产前筛查缺口，做医疗 AI 或边缘部署的团队可以直接在手机上跑完整流程，值得关注其开源代码和模型。
原文
6月8日
11:05
11:05arXiv: OpenAI@Aravind Sundaresan
72°
串行LLM推理后端（如Ollama）在混合工作负载下因FCFS调度导致队头阻塞（HOLB），短查询可能被长生成任务延迟数分钟。Clairvoyant是一个即插即用的侧车代理，通过19个轻量级词汇特征用ONNX导出的XGBoost分类器预测响应长度，单请求延迟仅0.029毫秒。它优化排序保真度，在自然对话数据集上达到62-96%分布内和52-66%跨分布准确率。在RTX 4090上，短请求的P50延迟在最大队列压力下降低70-76%，稳态泊松到达下降低17%。Clairvoyant开源且无需修改推理后端。
AI产品LLM推理调度优化队头阻塞开源/仓库边缘部署
推荐理由：本地部署LLM的开发者终于有办法解决队头阻塞了——Clairvoyant用极低开销预测请求长度，短查询不再被长任务堵死，Ollama/llama.cpp用户可以直接集成试试。
原文
5月27日
12:13
12:13arXiv: DeepSeek@Xiongwei Zhu, Xiaojian Liao, Tianyang Jiang, Yusen Zhang, Liang Wang, Limin Xiao
精选
细粒度混合专家（MoE）模型在推理时只激活部分专家，但内存受限场景下只能缓存少量专家，未缓存的专家需从慢速外部存储获取，导致频繁换入换出和I/O开销。ReMoE提出一种路由器微调框架，通过偏向近期选中的专家来产生时间上稳定的路由，从而提升专家复用率，减少存储访问。实验表明，在DeepSeek和Qwen模型上，ReMoE将专家复用率提升26%，同时保持下游任务性能。在vLLM GPU-CPU专家卸载场景下，输出吞吐量提升8.4%；在Jetson Orin NX上使用llama.cpp时，TPOT降低43.6-49.8%，解码速度提升1.77-1.99倍。代码和模型已开源。
论文MoE模型推理优化路由器微调专家复用边缘部署
推荐理由：ReMoE解决了内存受限设备上MoE模型推理的I/O瓶颈，做边缘部署或大模型推理优化的开发者可以直接试，开源代码让复现门槛很低。
原文
5月26日
11:45
11:45arXiv cs.AI@Maoyang Xiang, Bo Wang, Tao Luo
精选
OrpQuant提出了一种名为正交残差投影（ORP）的算法-硬件协同设计框架，用于解决低比特Power-of-Two（PoT）量化中的低角度分辨率问题。该方法通过双基几何投影自适应合成更高分辨率的残差格点，仅使用移位和加法操作，避免了乘法器。在LLaMA-2-7B上，3比特量化（W3/A16）下困惑度达到6.10，与AWQ等MAC密集型方法相当，且全模型校准仅需约15分钟。在28nm工艺下，RTL综合表明ORP有效缓解了密集乘法器树的时序瓶颈。该工作适用于LLM和ViT的边缘部署。
论文量化边缘部署LLMViT硬件效率
推荐理由：OrpQuant解决了低比特量化中特征流形退化的问题，做边缘部署的开发者可以直接用这个15分钟校准的方案替代传统MAC密集型方法，硬件效率显著提升。
原文
5月22日
11:06
11:06arXiv cs.AI@Amir Mousavi, Mohammad Sadegh Sirjani, Erfan Nourbakhsh, Mimi Xie, Rocky Slavin, Leslie Neely, John Davis, John Quarles
精选
眼动追踪数据在实时认知负荷评估中面临两大挑战：眨眼和追踪失败导致的数据频繁缺失，以及长时程依赖的高效建模。MambaGaze框架通过显式缺失数据建模（XMD编码）和双向Mamba-2结构解决这些问题，在CLARE和CL-Drive数据集上分别达到76.8%和73.1%的准确率，超越CNN、Transformer等基线4-12个百分点。在NVIDIA Jetson边缘设备上实现43-68 FPS的实时推理，功耗低于7.5W，适合可穿戴认知负荷监测场景。该工作为安全关键应用（如驾驶员警觉监控、自动化驾驶舱辅助）提供了可行的AI方案。
论文认知负荷评估眼动追踪Mamba缺失数据建模边缘部署
推荐理由：眼动数据缺失是认知负荷评估的长期痛点，MambaGaze用双向Mamba显式建模缺失模式，做可穿戴AI或人机交互的团队可以直接参考其边缘部署方案。
原文