T5 相关 AI 资讯 · AI 热点

7月23日

11:31

11:31

官方账号arXiv cs.AI@Ahmad Pouramini, Mahsa Afsharzadeh

论文提出Maskability Index (MI)度量，基于DepthRank分数差异计算，用于判断在T5和BERT等预训练语言模型上，针对知识关系生成，masked-style提示是否优于prefix-style提示。在ATOMIC2020知识库补全基准上评估，MI与下游生成性能呈正相关。该指标在低资源场景下可辅助提示模板选择与适配策略。

论文 Maskability Index T5 BERT

推荐理由：这篇论文搞了个叫Maskability Index的指标，帮你省掉试不同提示的功夫，直接判断填空提示还是前缀提示更管用，在ATOMIC2020上验证过了。

5月19日

11:26

11:26

官方账号arXiv cs.AI@Luu Huu Phuc, Ratan Bahadur Thapa, Mojtaba Nayyeri, Jingcheng Wu, Evgeny Kharlamov, Steffen Staab

精选

本文提出GA-S2S框架，将T5-small编码器-解码器与关系图注意力网络（RGAT）结合，用于知识图谱链接预测。现有Seq2Seq模型仅依赖实体和关系的文本描述，最多将查询实体的邻域展平为线性序列，丢失了图结构信息。GA-S2S同时编码文本特征和查询实体周围的完整k跳子图拓扑，通过融合原始编码器输出与RGAT的关系感知嵌入，捕获更丰富的多跳关系模式和文本信息。在CoDEx数据集上的初步实验表明，GA-S2S相比竞争性的Seq2Seq基线模型，链接预测准确率最高提升19%。

论文知识图谱链接预测图神经网络

推荐理由：做知识图谱推理或链接预测的团队，GA-S2S用图结构补上了Seq2Seq模型的盲区，效果提升明显，值得在CoDEx等数据集上复现试试。