Liquid AI开源了两款小尺寸决策模型,最小只有600M还支持多模态,在边缘设备上几十毫秒就能出结果,做端侧Agent的可以试试。
#边缘计算
共 80 条 · 7 天 4 条 · 30 天 17 条
信息流里打上「边缘计算」标签的资讯、产品与论文,按刊登时间排,新的在上。
10月8日
Liquid AI开源d1-3B与d1-omni-600M决策模型,面向边缘设备毫秒级实时判断
10月7日
10月5日
Lola Vision Systems 想让在芯片上运行 AI 模型变得更简单
TechCrunch Battlefield 200 里的公司,做的是帮开发者把 AI 模型直接跑在芯片上,省去底层优化的麻烦。
10月1日
9月26日
微星推出 MS-C9ZA 无风扇边缘 AI 盒子,基于 Jetson Orin Nano 8GB
微星出了个巴掌大的无风扇 AI 盒子,装的是 Jetson Orin Nano 8GB,能在现场跑推理和视觉,工厂和机器人场景应该用得上。
9月24日
XFEON 发布物理 AI 矩阵:Xinghe S1 边缘芯片、AGLobe 大脑与 Xinghui Token 工作站
XFEON 一次发了三样东西:25W 就能跑 105 TOPS 的 Xinghe S1 芯片、具身智能大脑 AGLobe,还有 Token 工作站,做机器人的可以看看。
Microsoft Research:把 AI 推理移出机器人本体可提升任务成功率
Microsoft Research 研究说机器人不用把推理都塞进本体,放到外部算反而任务成功率更高、效率更好,做具身智能的可以看看。
9月23日
分形决策引擎 answerr:零权重实现 7ms 延迟的语言分类
这篇论文挺反常识的:不用任何权重、靠 Mandelbrot 分形坐标做语言决策,延迟只有 7ms 还能跑在单片机上,可以看看它怎么绕开 LLM 的。
9月22日
9月19日
9月17日
Infinigence AI 开源 APXInf 模型,边缘端推理延迟降至 26ms
朋友,Infinigence AI 开源了 APXInf 模型,能在 Jetson Thor 上把推理延迟降到 26ms,比原来快很多。
9月16日
D-Robotics 与 GigaAI 将 GigaBrain-0.7 集成到 Sunrise S600 边缘平台
D-Robotics 和 GigaAI 联合发布,将 GigaBrain-0.7 模型适配到 Sunrise S600 边缘平台,用于工业机器人部署,性能和部署场景有提升。
9月3日
9月1日
8月27日
8月11日
8月5日
8月4日
8月3日
Cloudflare Workers 和 Containers 支持入站 TCP 与 gRPC
Cloudflare 给 Workers 加了原生 TCP 入口,可以直接跑 gRPC 服务,不用再绕道别的协议了。
7月29日
7月28日
7月27日
7月26日
7月25日
在 8 美元 ESP32-S3 上运行近 2900 万参数 LLM,利用 Gemma Per-Layer Embeddings 将参数存于 Flash
别人用 8 美元的芯片跑大模型,靠的是 Gemma 的分层嵌入技巧。想低成本部署边缘 AI?这个开源项目就是参考答案。
7月24日
7月22日
Vercel 发布 AI Gateway,运行于自身平台并支持自建高速网关
Vercel 自己搞了个 AI Gateway,跑在自家平台,用 Fluid compute 和全球网络,又快又稳,你还能自己搭建。
7月21日
7月20日