AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

轻量Transformer

共 1 条相关 AI 资讯
6月2日
11:07
11:07官方账号arXiv cs.AI@Ümit Mert Çağlar, Alptekin Temizel
LALE 是一种专为遥感图像语义分割设计的轻量级Transformer架构,通过分辨率分叉编码器:轻量ConvMixer处理高分辨率局部特征,Transformer处理低分辨率全局上下文,将自注意力的二次复杂度限制在深层下采样特征图上。全MLP多尺度解码器结合RMSNorm和StarReLU进一步降低计算量和参数量。在ARAS400k基准上,最小变体(仅1.6M参数)在F1分数上仅比最佳基线UPerNet低2.6点,但参数量减少4.5倍,存储减少7倍,计算量减少17倍,吞吐量提升1.8倍。该工作为资源受限场景下的遥感分割提供了高效解决方案。
论文遥感分割轻量TransformerConvMixer效率优化ARAS400k

推荐理由:遥感图像分割从业者终于有了兼顾精度和效率的轻量方案——LALE用1.6M参数达到接近大模型的效果,做边缘部署或实时处理的团队可以直接参考。
原文
精选全部日报登录