AITOP

OpenAI o3

共 4 条相关 AI 资讯
7月31日
10:59
10:59官方一手arXiv: OpenAI@Daniel Silva, Renan Alves, Emanuel Dantas Filho, Ademar Sousa Neto, Mirko Perkusich, Danyllo Wagner Albuquerque, Kyller Gorgônio, Angelo Perkusich
该论文针对OpenAI o3生成的微服务分解提出基于静态依赖分析的自动验证流程，在PetClinic和Bookstore两个系统上比较零样本与少样本提示策略。使用依赖保持（TPD）和依赖违反（TVD）指标评估，并通过鲁棒性分析控制类到服务映射覆盖差异。标准化后两种策略的结构遵从性等价，TPD值分别为68.0%和83.3%。结果表明，结构评估需显式控制映射覆盖率，否则提示策略间的差异可能是方法偏差。
论文OpenAI o3PetClinicBookstore
事件专题
推荐理由：这篇论文用源码依赖实测OpenAI o3拆微服务的靠谱度，零样本和少样本结果差不多，TPD达到68%和83%。
原文
10:38
10:38官方一手arXiv: OpenAI@Danyllo Albuquerque, José Renan, Guillermo Rodríguez, Guillermo Rodríguez, Emanuel Dantas, Ademar França, Mirko Perkusich, Kyller Gorgônio, Angelo Perkusich
精选
一项研究评估了 OpenAI o3 仅凭文本需求生成微服务架构的能力，测试对象为 Bookstore 和 PetClinic 两个系统。少样本提示下服务识别 F1 达 0.97，显著高于零样本的 0.79；通信恢复 F1 从 0.61 提升至 0.82。盲审专家认为少样本输出在模块性、连贯性和合理性上优于零样本。研究者指出结论受限于两个小型系统，不能视为模型无关的普遍证明。
论文OpenAI o3微服务需求工程
事件专题
推荐理由：OpenAI o3 能直接从需求文档拆出微服务，少样本示例让 F1 从 0.79 涨到 0.97。想用 LLM 做架构设计的可以看这篇。
原文
6月23日
12:36
5月19日
12:55
12:55官方一手arXiv: OpenAI@Tanmay Asthana, Aman Saksena, Divyansh Sahu
精选76°
研究人员发布了针对深度研究代理（DRA）在管理咨询场景下的评测基准，包含42个专家撰写的任务，每个任务有平均13.8个确定性验证器和五维度0-3分专家评分。评测了Claude Opus 4.6、OpenAI o3-deep-research和Google Gemini 3.1 Pro，三者通过联合阈值（专家评分≥2.5且验证器通过率≥80%）的接受率均很低：Gemini 21.4%，o3和Claude仅9.5%。各模型失败模式不同：Claude输出最可靠但虚构最多，o3推理最清晰但遗漏章节和传播算术错误，Gemini表现两极分化。该基准通过嵌入认知陷阱来惩罚表面模式匹配，揭示了当前前沿DRA在专业分析任务上的严重不足。
论文评测基准深度研究代理管理咨询
事件专题
推荐理由：管理咨询团队和依赖AI做深度分析的开发者会震惊——三个最先进的DRA在专家级任务中通过率不到22%，且各有致命短板。想避免被AI的自信输出误导，建议仔细看这篇评测的失败模式分析。
原文