一种基于条件熵的垃圾邮件过滤算法

doi:10.3969/j.issn.1006-2475.2014.02.030

计算机与现代化 ›› 2014, Vol. 0 ›› Issue (2): 129-132.doi: 10.3969/j.issn.1006-2475.2014.02.030

一种基于条件熵的垃圾邮件过滤算法

(1.渤海大学，辽宁锦州 121000； 2.沈阳大学，辽宁沈阳 110044)

收稿日期:2013-10-16 出版日期:2014-02-14 发布日期:2014-02-14
作者简介:翟军昌(1978-)，男，辽宁东港人，渤海大学讲师，博士研究生，研究方向：机器学习；车伟伟(1980-)，女，辽宁丹东人，沈阳大学副教授，博士，研究方向：量化控制。
基金资助:
国家自然科学基金资助项目(61104106)

A Spam Filtering Algorithm Based on Conditional Entropy

(1. Bohai University, Jinzhou 121000, China; 2. Shenyang University, Shenyang 110044, China)

Received:2013-10-16 Online:2014-02-14 Published:2014-02-14

摘要/Abstract

摘要： 在垃圾邮件过滤中，针对过滤器对合法邮件的误判问题，提出一种改进的垃圾邮件过滤算法。该算法对信息增益的条件熵估计方法作了改进，结合最小风险贝叶斯决策方法，在英文语料库上进行实验，并采用召回率和正确率对算法进行评价分析。实验结果表明，改进后的方法可提高过滤器对合法邮件的识别能力，降低对合法邮件的误判，减少用户的损失。

关键词: 垃圾邮件, 信息增益, 条件熵, 最小风险

Abstract: In spam filtering, according to the filter misjudgment for legitimate mails, we put forward an improved spam filtering algorithm, which improves the conditional entropy estimation method of information gain. Combined with the Bayes minimum risk decision method, we analyze the algorithm through the recall and accuracy by carrying out an experiment on the English Corpus. Experimental results show that the improved algorithm can enhance the classification precision and reduce the misjudgment of legitimate emails, which can reduce the loss of users.

Key words: spam, information gain, conditional entropy, minimum risk

中图分类号:

TP391

翟军昌1，车伟伟2. 一种基于条件熵的垃圾邮件过滤算法[J]. 计算机与现代化, 2014, 0(2): 129-132.

ZHAI Jun-chang1, CHE Wei-wei2.

A Spam Filtering Algorithm Based on Conditional Entropy

[J]. Computer and Modernization, 2014, 0(2): 129-132.

参考文献

[1] 黄国伟,许昱玮. 基于用户反馈的混合型垃圾邮件过滤方法[J]. 计算机应用, 2013,33(7):1861-1865.

[2] 邓维斌,王国胤,洪智勇. 基于粗糙集的加权朴素贝叶斯邮件过滤方法[J]. 计算机科学, 2011,38(2):218-221.

[3] Sanchez F, Duan Z, Dong Y. Understanding forgery properties of spam delivery paths[C]// Proceedings of the 7th Annual Conference on Collaboration, Electronic Messaging, Anti-Abuse and Spam. 2010.

[4] 陈孝礼,刘培玉. 应用于垃圾邮件过滤的词序列核[J]. 计算机应用, 2011,31(3):698-701.

[5] Sahami M, Dumais S, Heckerman D, et al. A Bayesian approach to filtering junk e-mail[C]// Proceedings of the 1998 AAAI Workshop on Learning for Text Categorization. 1998:55-62.

[6] Androutsopoulos I, Koutsias J, Chandrinos K V, et al. An evaluation of naive Bayesian anti-spam filtering[C]// Proceedings of the 11th European Conference on Machine Learning. 2000:9-17.

[7] Metsis V, Androutsopoulos I, Paliouras G. Spam filtering with naive Bayes: Which naive Bayes?[C]// Proceedings of the 3rd Conference on Email and Anti-Spam. 2006.

[8] Chen Bin, Dong Shoubin, Fang Weidong. Introduction of fingerprint vector based Bayesian method for spam filtering[C]// Proceedings of the 4th Conference on Email and Anti-Spam. 2007.

[9] 翟军昌,秦玉平,车伟伟. 应用特征词分类贡献的垃圾邮件过滤研究[J]. 计算机工程与应用, 2012,48(34):116-119,170.

[10] 薛正元. 基于改进贝叶斯决策的邮件过滤[J]. 计算机工程与应用, 2013,49(7):98-101,125.

[11] 梁志文,杨金民,李元旗. 基于多项式模型和低风险的贝叶斯垃圾邮件过滤算法[J]. 中南大学学报:自然科学版, 2013,44(7):2787-2792.

[12] 陶永才,薛正元,石磊. 基于MapReduce的贝叶斯垃圾邮件过滤机制[J]. 计算机应用, 2011,31(9):2412-2416.

[13] 夏超,徐德华. 一种改进的贝叶斯邮件过滤算法[J]. 计算机与现代化, 2010(10):125-128,132.

[14] Guzella T S, Caminhas W M. A review of machine learning approaches to spam filtering[J]. Expert Systems with Applications, 2009,36(7):10206-10222.

[15] Lai Chih-chin. An empirical study of three machine learning methods for spam filtering[J]. Knowledge-based Systems, 2007,20(3):249-254.

一种基于条件熵的垃圾邮件过滤算法

A Spam Filtering Algorithm Based on Conditional Entropy

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 11

编辑推荐

Metrics

本文评价

[1]	单超, 邹云峰. 基于水印与属性筛选的用电数据泄露溯源方法[J]. 计算机与现代化, 2022, 0(03): 37-42.
[2]	赵宇轩, 胡怀湘. 基于BiGRU-Attention-CNN模型的垃圾邮件检测方法[J]. 计算机与现代化, 2021, 0(04): 122-126.
[3]	盖璇. 基于聚类分析算法的垃圾邮件识别[J]. 计算机与现代化, 2020, 0(10): 17-22.
[4]	王光琼1,2 . 不完备系统中一种增量式属性约简算法[J]. 计算机与现代化, 2019, 0(08): 69-.
[5]	黄国伟;陈志. 基于社会网络的两阶段垃圾邮件过滤方法[J]. 计算机与现代化, 2013, 1(7): 43-046,.
[6]	欧家权. 电子邮件目录收割攻击的防御 [J]. 计算机与现代化, 2012, 8(08): 51-54.
[7]	裴晓辉. 对抗环境下的线性分类器对抗性比较[J]. 计算机与现代化, 2012, 1(03): 78-81.
[8]	刘新生厉锟. 基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J]. 计算机与现代化, 2011, 7(7): 192-194,.
[9]	耿俊成;牛霜霞;张才俊. 使用进化神经网络进行文本自动分类[J]. 计算机与现代化, 2011, 1(11): 59-5.
[10]	许朝阳. 文本分类中特征选择方法的分析和改进[J]. 计算机与现代化, 2010, 1(4): 0-39.
[11]	夏超;徐德华. 一种改进的贝叶斯邮件过滤算法[J]. 计算机与现代化, 2010, 1(10): 125-128,.