Infinigence AI 开源 APXInf 模型，边缘端推理延迟降至 26ms
Infinigence AI Open-Sources APXInf for Embodied Edge Inference on Jetson Thor
精选理由
朋友，Infinigence AI 开源了 APXInf 模型，能在 Jetson Thor 上把推理延迟降到 26ms，比原来快很多。
Infinigence AI 与清华大学、上海交大联合开源 APXInf 模型，在 Jetson Thor 平台上实现 PI 0.5 FP8 精度，将端到端延迟从约 278ms 降低到约 26ms（约 38.46Hz），并支持 Orin/RTX 4090 等硬件。
原文 · pandaily
Infinigence AI Open-Sources APXInf for Embodied Edge Inference on Jetson Thor
Infinigence AI open-sources APXInf with Tsinghua and SJTU: PI 0.5 FP8 on Jetson Thor drops end-to-end latency from ~278 ms to ~26 ms (~38.46 Hz), with Orin/Thor/RTX 4090 support and a domestic-chip roadmap.
