#multimodal LLMs

10 stories · 0 in 7 days · 0 in 30 days

Stories, products and papers tagged "multimodal LLMs", newest first.

Aug 5

Papers11:00

Chinese content失败引导的图像自增强：FISA提升多模态大模型自我改进能力

这篇讲FISA，拿模型答错的题来造新训练图，比瞎做增强更准，还能和文本增强一起用。

#FISA #multimodal LLMs #recursive self-improvement #visual question answering

arXiv cs.AI@Chunyang Jiang et al. (12)Source

Jul 30

Papers10:34

Chinese content渐进式多模态对齐解决持续指令微调中的投影仪遗忘问题

这篇论文发现多模态模型持续微调时，投影仪会比主干更容易遗忘旧知识，并提出了PMA框架来解决，在两个基准上效果超过现有方法，值得做持续学习的读者看看。

#multimodal LLMs #PMA

arXiv cs.AI@Duzhen Zhang et al. (5)Source

Jul 27

Products17:12

Chinese content抖音未成年人模式升级：引入多模态大语言模型优化适龄推荐

抖音用多模态大模型给娃推内容，日均筛6000条优质视频，总量770万，还分年龄段推荐，家长可以放心了。

#Douyin #multimodal LLMs #recommendation algorithms

IT之家Source

Jul 1

Papers11:06

Chinese contentCoMet：多模态大语言模型不确定性估计的新方法

这篇论文提出了CoMet，能高效估计多模态语言模型的不确定性，比现有方法更准更快，很适合做AI可靠性的研究者看。

#CoMet #uncertainty estimation #multimodal LLMs #MLLM

arXiv cs.LG@Sanghyuk Chun et al. (4)Source

Jun 23

Papers11:03

Chinese contentGazer: 面向自回归视觉模型的免训练语义修正方法

这个框架不用重训模型，就能在图片和视频生成时自动修语义错，比之前的免训练方法更靠谱。

#Gazer #AVMs #multimodal LLMs

arXiv cs.AI@Junhao Chen et al. (5)Source

Jun 8

Papers09:28

Chinese content人类视角视频理解综述：MLLM 的观看、记忆与推理

做视频理解或 MLLM 研究的同学，这篇综述帮你把碎片化的方法统一到“观看-记忆-推理”框架下，省去自己梳理文献的时间，值得收藏作为 roadmap。

#multimodal LLMs #video understanding #surveys #AI inference

arXiv cs.AI@Jiahao Meng et al. (15)Source

Jun 2

Papers11:59

Chinese contentProtoAda：原型引导自适应适配器扩展与几何整合，用于多模态持续指令微调

做多模态持续学习的团队终于有了解决任务路由混乱的方案——ProtoAda通过原型感知输出结构，避免VQA和接地任务互相污染，建议关注论文中的几何整合细节。

#multimodal LLMs #continual learning

arXiv cs.LG@Yu-Cheng Shi et al. (4)Source

May 26

PapersSelected12:20

Chinese contentPrism：面向可扩展多模态持续指令调优的插件式可复现基础设施

Prism解决了MCIT研究中代码碎片化和复现难的问题，做多模态持续学习的团队可以直接用这个插件式框架加速实验，省去大量工程重复劳动。

#multimodal LLMs #continual learning #open-source and repositories #Prism

arXiv cs.LG@Jun-Tao Tang et al. (4)Source

Papers11:44

Chinese contentSqueeze MLLM: 多模态大模型驱动的主体驱动图像生成

做图像生成或AI绘画的开发者，这篇论文解决了主体身份保留与文本指令跟随的长期矛盾，提出的DLA模块和多阶段去噪策略可以直接参考，值得点开看看具体实现。

#multimodal LLMs #diffusion models #image generation

arXiv cs.AI@Shuhong Zheng et al. (5)Source

May 25

PapersSelected11:15

Chinese contentPGT：程序化生成任务提升MLLM视觉定位能力

PGT用低成本数据生成解决了MLLM细粒度视觉理解的瓶颈，做多模态模型训练或评估的团队可以直接用这个框架提升定位能力，值得一试。

#multimodal LLMs #visual localization #data augmentation #PGT

arXiv cs.AI@Rim Assouel et al. (4)Source