论文精选

统计特征新方法:COM和RLM用于字符串相似度计算与分类

Proposal and study of statistical features for string similarity computation and classification

精选理由

做文本相似度、抄袭检测或代码比对的开发者,可以关注这种不依赖语言的新统计特征——它比传统方法更鲁棒,且直接可用。

AI 摘要

该论文将视觉计算领域的共现矩阵(COM)和游程长度矩阵(RLM)特征改编用于通用字符串(单词、短语、代码、文本)的相似度计算。这些特征纯统计且不依赖语言信息,适用于任何语言或语法结构。实验表明,在合成数据集上,COM和RLM特征优于最长公共子序列、编辑距离等传统统计方法;在3/4的案例中,其统计显著性显著高于基于距离的第二佳方法(P值<0.001)。在真实文本抄袭数据集上,RLM特征取得了最佳结果。

AI 翻译 · 中文

该论文将视觉计算领域的共现矩阵(COM)和游程长度矩阵(RLM)特征改编用于通用字符串(单词、短语、代码、文本)的相似度计算。这些特征纯统计且不依赖语言信息,适用于任何语言或语法结构。实验表明,在合成数据集上,COM和RLM特征优于最长公共子序列、编辑距离等传统统计方法;在3/4的案例中,其统计显著性显著高于基于距离的第二佳方法(P值<0.001)。在真实文本抄袭数据集上,RLM特征取得了最佳结果。

arXiv cs.LGAdaptations of features commonly applied in the field of visual computing, co-occurrence matrix (COM) and run-length matrix (RLM), are proposed for the similarity computation of strings in general (words, phrases, codes