基于Levenshtein和TFRSF的文本相似度计算方法

doi:10.3969/j.issn.10062475.2018.04.016

计算机与现代化

基于Levenshtein和TFRSF的文本相似度计算方法

(1.东北师范大学信息科学与技术学院，吉林长春130117; 2.智能信息处理吉林省高校重点实验室，吉林长春130117)

出版日期:2018-04-28 发布日期:2018-05-02
作者简介:藏润强(1990)，男，黑龙江佳木斯人，东北师范大学信息科学与技术学院硕士研究生，研究方向：数据挖掘，大数据分析; 通信作者：孙红光(1970)，女，吉林长春人，东北师范大学信息科学与技术学院、智能信息处理吉林省高校重点实验室副教授，硕士生导师，博士，研究方向：智能信息处理，文本信息挖据; 杨凤芹(1978)，女，副教授，硕士生导师，博士，研究方向：机器学习，数据挖据; 冯国忠(1983)，男，讲师，博士，研究方向：大数据检索与推荐; 尹良亮，男，硕士研究生。
基金资助:
国家自然科学基金青年科学基金资助项目(11501095); 吉林省科技创新人才培育计划项目(20170520051JH); 吉林省科技发展计划项目(20170204002GX); 吉林省发改委引导项目(2015Y056)

Text Similarity Calculation Method Based on Levenshtein and TFRSF

(1. School of Information Science and Technology, Northeast Normal University, Changchun 130117, China;
2.Key Laboratory of Intelligent Information Processing in Jilin Universities, Changchun 130117, China)

Online:2018-04-28 Published:2018-05-02

摘要/Abstract

摘要： 在社交网络中查找和收集个人信息可以建立一个包含目标履历、生活、爱好以及朋友等属性的信息体系，但是不同社交网络中存在大量同名用户。为了解决同名歧义问题，采用计算用户信息相似度，可以判断2个用户是否属于同一个人。由于文档中描述信息位置颠倒会导致计算机误判，为此，本文通过对莱文斯坦（Levenshtein）和词频相关字符串频率（TFRSF）方法融合计算词频和编辑距离，判断属性值是否相同。实验结果表明，本文提出的计算文本相似度方法在多种评价指标上准确性都有所提高，准确率（Precision）、召回率（Recall）、F1值（F1 Measure）均大于87%。

关键词: 个人信息, 社交网络, 莱文斯坦, 词频相关字符串频率, 相似度

Abstract: Finding and collecting personal information in social networks can establish the information system with the curriculum vitae, life, hobbies, friends and the other attributes. But there are lots of same name users in different social networks. In order to solve the ambiguity of the same name, we calculate the user information similarity to decide whether they belong to the same person. If the information describing the document position is reversed, it will lead to computer misjudgment. In order to solve this problem, the Levenshtein and TFRSF methods are used to calculate the word frequency and edit distance to judge whether the attribute values are the same. The experimental results show that the proposed method of calculating the similarity of texts improves the accuracy of various evaluation indexes. The precision, recall and F1 of this method are more than 87%.

Key words: personal information, social network, Levenshtein, TFRSF, similarity

中图分类号:

TP391

藏润强1，孙红光1,2，杨凤芹1,2，冯国忠1,2，尹良亮1. 基于Levenshtein和TFRSF的文本相似度计算方法[J]. 计算机与现代化, doi: 10.3969/j.issn.10062475.2018.04.016.

ZANG Runqiang1, SUN Hongguang1,2, YANG Fengqin1,2, FENG Guozhong1,2, YIN Liangliang1. Text Similarity Calculation Method Based on Levenshtein and TFRSF[J]. Computer and Modernization, doi: 10.3969/j.issn.10062475.2018.04.016.

参考文献

［1］ Gomaa W H, Fahmy A A. A survey of text similarity approaches［J］. International Journal of Computer Applications, 2013,68(13):1318.
［2］ Kwon O, Wen Yixing. An empirical study of the factors affecting social network service use［J］. Computers in Human Behavior, 2010,26(2):254263.
［3］ Levenshtein V I. Binary codes capable of correcting spurious insertions and deletions of ones［J］. Problems of Information Transmission, 1965,1(1):817.
［4］刘辉平,金澈清,周傲英. 一种基于模式的实体解析算法［J］. 计算机学报, 2015,38(9):17961808.
［5］ Li Yujian, Liu Bo. A normalized Levenshtein distance metric［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007,29(6):10911095.
［6］ Putra M E W, Suwardi I S. Structural offline handwriting character recognition using approximate subgraph matching and Levenshtein distance［J］. Procedia Computer Science, 2015,59:340349.
［7］邵清,叶琨. 基于编辑距离和相似度改进的汉字字符串匹配［J］. 电子科技, 2016,29(9):711.
［8］张润梁,牛之贤. 基于基本操作序列的编辑距离顺序验证［J］. 计算机科学, 2016,43(S1):5154.
［9］ Popescu D A, Nicolae D. Determining the similarity of two Web applications using the edit distance［C］// Proceedings of the 6th International Workshop on Soft Computing Applications. 2014,1:681690.
［10］Crochemore M, Iliopoulos C S, Langiu A, et al. The longest common substring problem［J］. Mathematical Structures in Computer Science, 2017,27(2):277295.
［11］Joachims T. Text categorization with support vector machines: Learning with many relevant features［C］// Proceedings of the 10th European Conference on Machine Learning. 1998:137142.
［12］Herrera F, HerreraViedma E, Martinez L. A fuzzy linguistic methodology to deal with unbalanced linguistic term sets［J］. IEEE Transactions on Fuzzy Systems, 2008,16(2):354370. 
［13］刘冬瑞,刘东升,张丽萍,等. 基于贝叶斯网络预测克隆代码质量［J］. 计算机科学, 2017,44(4):165168.
［14］Schumann S, Bühligen U, Neumuth T. Distance measures for surgical process models［J］. Methods of Information in Medicine, 2013,52(5):422431.
［15］Tang Jie, Yao Limin, Zhang Duo, et al. A combination approach to Web user profiling［J］. ACM Transactions on Knowledge Discovery from Data, 2010,5(1): Article No. 2.

[1]	王宏杰, 徐胜超. 基于希尔伯特相似度的云平台异常传输数据聚类方法[J]. 计算机与现代化, 2023, 0(09): 27-31.
[2]	王鸿, 葛红. 基于注意力机制和语义相似度的跨模态哈希检索[J]. 计算机与现代化, 2023, 0(08): 44-53.
[3]	刘国丽, 徐洪楠, 谭有倩. 结合专家信任的协同过滤推荐算法研究[J]. 计算机与现代化, 2022, 0(11): 60-68.
[4]	田丰, 邓晓平, 张桂青, 王保义. 基于改进kNN算法与暂稳态特征的非侵入式负荷监测方法[J]. 计算机与现代化, 2022, 0(10): 29-35.
[5]	王君, 何进荣, 马乐荣. 《平凡的世界》人物关系网络分析[J]. 计算机与现代化, 2022, 0(06): 32-36.
[6]	邹梦苑, 樊志强, 徐珞, 刘洁, 梁万路. Inf-ProA信息活动过程模型相似性度量方法[J]. 计算机与现代化, 2022, 0(02): 26-32.
[7]	吴杨１, 吴国文１, 张红１, 沈士根２, 曹奇英. 基于扩展传染病模型的谣言溯源[J]. 计算机与现代化, 2022, 0(01): 113-119.
[8]	耿化聪, 梁宏涛, 刘国柱. 基于知识图谱与协同过滤的饮食推荐算法[J]. 计算机与现代化, 2021, 0(08): 24-29.
[9]	黄皓, 陈荔. 基于信息熵和改进相似度协同过滤算法[J]. 计算机与现代化, 2021, 0(06): 29-34.
[10]	舒鹏, 杜庆伟. 一种融合多维信息的移动社区发现方法[J]. 计算机与现代化, 2021, 0(05): 88-92.
[11]	邵孟巧, 吉顺慧, 张鹏程. AC-Rec:基于多维特征的科研合作者推荐方法[J]. 计算机与现代化, 2021, 0(03): 94-100.
[12]	杨泉. 基于Logistic函数的《同义词词林》语义相似度计算[J]. 计算机与现代化, 2021, 0(01): 111-119.
[13]	吴迎. 基于SIFT和最邻近匹配的商品图像相似度算法[J]. 计算机与现代化, 2020, 0(10): 69-75.
[14]	万科. 社交网络中正影响支配集问题的轮转贪心算法[J]. 计算机与现代化, 2020, 0(09): 49-53.
[15]	赵倩文. 基于在线社交网络的JPS跳跃并行顶点采样方法 [J]. 计算机与现代化, 2020, 0(07): 55-60.

基于Levenshtein和TFRSF的文本相似度计算方法

Text Similarity Calculation Method Based on Levenshtein and TFRSF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价