Jetson

Jetson是NVIDIA推出的边缘计算平台，专注于AI推理和机器人应用。近期，Jetson在高效模型推理和实时认知评估方面取得进展。首先，ReMoE框架通过路由器微调，提升内存受限MoE模型在Jetson等边缘设备上的推理效率，实现了专家复用，从而在有限内存下优化性能。其次，MambaGaze方法利用双向Mamba模型处理眼动追踪中的缺失数据，实现认知负荷的实时评估，适用于Jetson等边缘硬件，为可穿戴设备提供了新的AI能力。此外，General Instinct公司正将前沿AI模型部署到Jetson等边缘硬件，帮助机器人团队在本地运行复杂模型，减少云端依赖。当前焦点在于如何进一步优化模型在资源受限的边缘设备上的运行效率，以及拓展Jetson在机器人、医疗等领域的实际应用。未来观察点包括：更高效的模型压缩技术适配Jetson，以及边缘AI与实时交互系统的深度集成。