#多模态

共 1345 条 · 7 天 156 条 · 30 天 435 条 · 话题观测 →

开源模型 138 智能体 131 视频生成 79 推理模型 70 OpenAI 68 Google 47 GPT-6 45 Gemini 36

9月16日

模型中美对照精选78°11:14

谷歌发布Gemini 3.8 Live与Extended Thinking，实时语音支持多步骤推理

谷歌新出的Gemini 3.8 Live和Extended Thinking，能一边说话一边思考，比如查资料时能同步汇报进度，比普通语音助手更智能。

#Gemini #Google #实时语音 #多模态

小互@imxiaohu原文

论文 Agent 与开发者多源确认10:27

基于CLIP嵌入和SVM的阿联酋住宅建筑文化遗产风格分类研究

这篇论文分享了一个具体的方法，用CLIP模型和SVM来分类阿联酋的建筑风格，准确率很高，对做相关研究的人可能有参考价值。

#CLIP #SVM #多模态 #文化遗产

arXiv: OpenAI@Ahmed Ammar Kubba 等 4 人11 个信源在谈原文

论文 Agent 与开发者精选10:24

论文提出AI代理社会需社会约束机制

这篇论文讲的是AI代理社会如何协作，挺有意思的，作者提出了一个叫社会约束机制的新概念，和之前说的个人约束机制不一样。

#agent #提示词工程 #AI安全 #多模态

arXiv cs.AI@Tapan Chugh 等 5 人原文

论文 Agent 与开发者精选10:21

可验证的社会推理框架 Fuse 用于 LLM 助手研究

朋友研究 LLM 社交推理的，这篇论文开源了 Fuse 框架和 21k 数据集，能帮你系统分析 LLM 在社交场景下的表现。

#Fuse #LLM #推理模型 #多模态

arXiv cs.AI@Amir Taubenfeld 等 9 人原文

论文 Agent 与开发者精选10:08

提出一种新架构 SEAA，让 AI 代理能自我进化并形成稳定性格

朋友，看到这个新提出的 SEAA 架构挺有意思的，它让 AI 代理能自我进化形成稳定性格，比之前的模型更接近真实智能。

#Self-Emergence Agent Architecture #提示词工程 #元认知 #多模态

arXiv cs.AI@Xiaoyang Liu原文

论文 Agent 与开发者精选09:36

人类行为预测新模型在多模态基准上表现领先

这个新模型挺有意思，它用神经符号的方法来预测人类行为，在 NTU 数据集上表现比现有方法好不少，能更准确地预测未来动作和意图。

#Neuro-Symbolic Hierarchical Intention Anticipation #人类行为预测 #多模态 #NTU RGB+D

arXiv cs.LG@Farnaz Soleimani 等 4 人原文

论文 Agent 与开发者精选09:22

研究显示多模态模型在测试边界上存在差异

想了解不同大模型在处理边界测试时的行为差异，这篇论文用具体模型和实验数据说明了情况。

#GPT-5.6 Sol #Claude Fable 5.1 #Gemini 3.8 Flash #多模态

arXiv: OpenAI@Ivy Zhang原文

模型中美对照多源确认06:04

Image-to-WebDev Arena更新：四款新模型发布

OpenAI发布了GPT-6 Astra (Max)，在Image-to-WebDev任务上表现最好，比GPT-5.6 Sol好很多。

#GPT-6 #Claude #Image-to-WebDev #多模态

lmarena.ai@lmarena_ai11 个信源在谈原文

模型中美对照78°03:19

谷歌发布Gemini 3.8 Live及Extended Thinking功能

谷歌发布了Gemini 3.8 Live和Extended Thinking功能，前者在人工分析质量指数上达到82.6分（第一），后者能后台思考并异步调用工具。Gemini 3.8 Live的输入成本为每分钟0.005美元，输出成本为每分钟0.018美元，在τ-banking代理任务完成度上达到35.1分（第一）。

#Gemini #谷歌 #实时语音 #多模态

Philipp Schmid@_philschmid原文

模型中美对照93°01:49

谷歌发布Gemini 3.8 Live和3.8 Live Extended Thinking新音频模型

谷歌发布了两个新的Gemini音频模型，能支持97种语言，还能做异步工具调用，价格和性能都很好。

#Gemini #音频模型 #多模态

官方账号Logan Kilpatrick@OfficialLoganK原文

模型中美对照官方一手00:14

谷歌推出多语言AI模型，提升全球语言理解能力

谷歌发布了新模型，能更好地理解全球各种语言，比之前的翻译工具更准确。

#Google #多模态 #翻译

官方一手Google Blog: AI原文

9月15日

论文 Agent 与开发者精选16:35

研究团队提出OptiFlow框架，通过最优传输学习离线强化学习中的多模态一步流策略

研究团队提出了OptiFlow框架，通过最优传输学习离线强化学习中的多模态一步流策略，解决了标准方法导致模式坍塌或过估计偏差的问题，实验效果不错。

#OptiFlow #离线强化学习 #多模态 #最优传输

arXiv cs.AI@Jaehun Shon 等 4 人原文

技巧 Agent 与开发者精选16:35

多模型 agent 群组协作的可用性设计

想了解多模型 agent 如何协作？这篇文章讲了用 claude 当 leader，协调 codex、gemini 等成员写代码，还提到了冗余和选举机制，挺实用的。

#agent #多模态 #协作类 agent #提示词工程

idoubi@idoubicc原文

模型 Agent 与开发者精选16:33

SlipSense 多模态触觉学习实现低延迟通用滑移检测

这个新框架 Slipsense 很实用，用两种传感器数据做滑移检测，比单独用一种更准，延迟还低，还能跨不同机器手和物体用，挺有意思的。

#SlipSense #TacV5 #滑移检测 #多模态

arXiv cs.AI@Tong Jian 等 10 人原文

模型中美对照78°04:04

Reward AI 发布机器人基础模型 OM-1，从人类操作数据直接学习

Reward AI 新发布的 OM-1 模型很特别，它直接从人类操作数据里学习，不用遥操作，部署到不同机器人上都不用微调，能大幅降低机器人训练门槛。

#Reward AI #OM-1 #机器人基础模型 #多模态

宝玉@dotey2 个信源在谈原文

9月14日

产品中美对照精选21:40

谷歌发布个性化AI工具Dreambeans，整合多应用数据生成定制化内容

谷歌新出的Dreambeans，能帮你把Gmail、日历这些数据串起来，根据你的朋友信息生成专属故事和礼物建议，比单纯看信息流更个性化。

#Dreambeans #Google #Gemini #个性化AI

官方账号Google AI@GoogleAI原文

论文 Agent 与开发者19:23

混合LSTM-XGBoost框架用于多时间跨度股票回报预测

这篇论文介绍了如何结合LSTM和XGBoost来预测股票回报，比单独使用LSTM效果更好，对金融从业者可能有参考价值。

#LSTM #XGBoost #股票预测 #金融时间序列

arXiv cs.AI@Seif ElDein Mostafa 等 4 人原文

论文 Agent 与开发者精选19:20

提出首个多边对话参与者评估基准 MP-Bench

研究团队提出了首个专门评估语音代理在多边对话中表现的基准 MP-Bench，通过12个语音代理的测试，揭示了当前实时语音代理在多边对话中的不足。

#MP-Bench #语音代理 #多模态

arXiv cs.AI@Yi-Jen Shih 等 10 人原文

模型中美对照12:17

Claude 3.5 可在嘈杂环境中识别人声

Claude 3.5 新增了嘈杂环境下的语音识别能力，在咖啡馆这种地方也能听清对话，而且你随时可以打断它补充信息，用起来更灵活。

#Claude #语音识别 #多模态

AI Will@FinanceYF5原文

模型 Agent 与开发者10:00

MCRL2模型提升云微服务调度效率

这个新模型MCRL2能更好地处理云微服务调度中的资源复杂关系，比传统方法效果更好。

#MCRL2 #微服务调度 #强化学习 #多模态

arXiv cs.LG@Tiangang Li 等 5 人原文

论文 Agent 与开发者09:57

临床事件时间锚定：保留UID的多模态重建与来源校准

这是篇关于如何用GLM 5.2模型处理临床时间线数据的论文，能提高事件恢复率，比纯文本版本更好。

#GLM 5.2 #临床时间线 #多模态 #时间锚定

arXiv cs.AI@Sayantan Kumar 等 4 人原文

模型 Agent 与开发者精选09:56

Dynin-Robotics 发布统一视觉语言行动模型

朋友发了 Dynin-Robotics，这个模型能同时处理视觉、语言和动作，在机器人任务上表现不错。

#Dynin-Robotics #Dynin-Omni #机器人 #多模态

arXiv cs.AI@Hoeun Lee 等 7 人原文

9月13日

模型 Agent 与开发者78°21:23

GPT-Image 2.5 发布新功能，可处理视频指令

朋友，GPT-Image 2.5 新增了视频指令功能，现在你可以直接对着视频说‘帮我调整一下光线’，它就能自动处理，比之前只能处理图片的版本更方便。

#GPT-Image #视频生成 #多模态

LovartAI@lovart_ai原文

模型 Agent 与开发者多源确认精选08:41

GPT-6 Astra 与 ChatGPT Work 联合生成跑步路线

朋友发现 GPT-6 Astra 和 ChatGPT Work 能根据地址自动生成跑步路线，还附带地图和文件，挺实用的。

#GPT-6 Astra #ChatGPT Work #跑步路线 #多模态

官方账号Simon Willison’s Weblog11 个信源在谈原文

9月11日

产品中美对照23:22

苹果推出全新AI助手，可处理多模态信息

苹果出了个新AI助手，能看图片、听你说话，比之前的Siri好用多了。

#Apple #AI助手 #多模态

The Rundown AI@therundownai原文

模型中美对照精选22:12

Ling 3.0 Flash VL 在 OpenRouter 上上线，由 @novita_labs 提供

朋友，@novita_labs 的 Ling 3.0 Flash VL 模型现在在 OpenRouter 上可用，它是一个 124B 的模型，能处理图像和视频，还支持工具调用，比很多其他模型更强大。

#Ling 3.0 Flash VL #OpenRouter #novita_labs #多模态

OpenRouter@OpenRouterAI原文

技巧 Agent 与开发者21:23

Recraft AI 发布新提示词生成器，可批量处理多模态描述

朋友，Recraft AI 这个工具很实用，能帮你把文字描述变成图片，比如你写‘一个留着巨大尖刺头发的朋克，肩膀扛着个大西瓜’，它就能直接生成对应的图片，比用普通AI绘画工具更方便。

#Recraft AI #提示词工程 #多模态

Recraft@recraftai原文

论文 Agent 与开发者精选11:54

评估时序基础模型和多模态饮食上下文对CGM预测的影响

这篇论文研究的是如何用AI模型更准确地预测血糖，对糖尿病患者管理很有用。他们测试了Chronos-Bolt模型，发现微调后效果比直接用好很多，还结合了饮食数据，能更精准地预测餐后血糖变化。

#Chronos-Bolt #CGM #血糖预测 #微调

arXiv cs.LG@Bowen Zhang 等 12 人原文

论文 Agent 与开发者精选09:41

多语言模型在乌尔都语生成中存在文化语言缺陷

朋友，这篇论文挺有意思的，它专门测试了GPT-5.1、Qwen-3-Max和DeepSeek-3.1这三个大模型在生成乌尔都语故事时的表现，发现它们在文化方面确实很弱。

#GPT-5.1 #Qwen-3-Max #DeepSeek-3.1 #乌尔都语

arXiv: DeepSeek@Farah Adeeba 等 4 人原文

模型中美对照09:25

DeepSeek 发布 V4.1 Flash 模型，采用不对称 MoE 架构并开源

DeepSeek 新出的 V4.1 Flash 模型，用不对称 MoE 架构，参数量 552B，但只用了 8B 活跃参数处理输入、16B 处理输出，比上一代节省了 3/4 的存储，算力效率更高，还支持多模态，价格也便宜，适合需要高效推理的场景。

#DeepSeek #V4.1 Flash #不对称 MoE #开源模型

SuperTechFans原文

产品 Agent 与开发者多源确认06:02

Cursor AI 新增项目内多设备文件同步功能

Cursor AI 新增了项目内多设备文件同步功能，让计划、演示等文件能自动同步到你的设备和代理电脑上，方便团队协作。

#Cursor #多模态 #提示词工程

官方账号Cursor@cursor_ai6 个信源在谈原文

模型中美对照多源确认05:22

Devin AI 发布新文档，展示多模态能力

Devin AI 新版文档出来了，能处理图片和文字，推理能力比 Claude 强。

#Devin #多模态 #推理模型

Cognition@cognition_labs7 个信源在谈原文

模型中美对照官方一手78°04:12

OpenAI 发布 GPT-4.0 模型新版本

OpenAI 新发布的 GPT-4.0 能处理图片和文字，比之前的版本更智能，适合用来做复杂的推理和创意工作。

#GPT-4 #OpenAI #推理模型 #多模态

官方一手@OpenAIDevs@OpenAIDevs11 个信源在谈原文

9月10日

模型中美对照73°23:47

DeepSeek-4.1-Flash入Arena！

DeepSeek新版本加入Arena，挑战你的模型，体验更智能、更快的AI。

#DeepSeek #智能体 #推理模型 #多模态

lmarena.ai@lmarena_ai原文

模型中美对照22:53

RecraftAI 发布新图像生成模型，支持多场景创作

朋友，RecraftAI 新模型很酷，能根据你写的文字生成图片，比如写个酷女孩或者复古耳机，效果不错。

#RecraftAI #图像生成 #多模态

Recraft@recraftai原文

模型中美对照精选78°20:57

Deepseek 发布 V4.1-Flash 模型，参数量 5520 亿，内存需求减至前代四分之一

Deepseek 新出的 V4.1-Flash 模型，参数量 5520 亿，内存占用比之前少四分之三，还比 GPT-5.6 Sol 和 Opus 5 表现好一点，适合做更便宜的 AI 代理。

#Deepseek #V4.1-Flash #多模态 #AI代理

官方账号Decoder@Jonathan Kemper原文

ECCV上研究AI如何做生意

朋友，ECCV会议上有64支团队研究AI如何做生意，挺有意思的，值得看看。

#ECCV #多模态 #商业

量子位@一水原文

模型中美对照官方一手精选17:13

京东开源交互式视听世界模型 JoyAI-EchoWM

京东开源了能生成音频视频的交互式世界模型，比普通模型更擅长处理多模态信息。

#JoyAI-EchoWM #交互式世界模型 #多模态

官方一手pandaily@[email protected] (Pandaily)原文

模型中美对照精选78°16:09

DeepSeek 推出 V4.1-Flash 模型，支持原生多模态

DeepSeek 新出的 V4.1-Flash 模型，支持原生多模态，性能和速度比 V4-Pro 好，价格也便宜，现在可以直接用了。

#DeepSeek #V4.1-Flash #多模态

官方账号深度求索 DeepSeek@deepseek_ai原文

模型 Agent 与开发者精选73°13:52

DeepSeek V4.1 Flash 模型正式发布

DeepSeek 发布了最小尺寸但性能强大的 V4.1 Flash，成本更低却能超越旗舰模型，特别适合需要视觉理解的应用场景。

#DeepSeek #V4.1 Flash #多模态 #MoE

IT之家原文