基于隐马尔科夫模型的网络爬虫检测算法仿真

doi:10.3969/j.issn.1006-2475.2017.04.025

摘要/Abstract

摘要： 在网站的建设与维护中，为了提升服务器效率，加强安全保密性等原因需要区分普通用户和网络爬虫程序。但是一些不完善或恶意的设计使得针对爬虫程序的检测变得困难，这些爬虫程序不仅加重网站的负担，也危害了网络的安全。为了解决这一问题，本文提出一种利用行为模式进行检测的技术，采用隐马尔科夫模型描述行为模式，并使用Matlab仿真实现高精度的检测效果。结果表明，利用隐马尔科夫模型的检测技术可以实现高精确度和低错误率的网络爬虫检测。


关键词: 网络爬虫检测, 行为模式, 隐马尔科夫模型, 网络安全

Abstract: In the construction and maintenance process of the website, in order to improve server efficiency, strengthen security and confidentiality, developers need to distinguish between human users and Web crawlers. However, some inappropriate or malicious designs make it difficult to detect crawlers. These crawlers not only increase the burden on the site, but also endanger the security of network. In order to solve the problem that it is difficult to detect crawlers, a detection algorithm based on behavior pattern is proposed, which uses hidden Markov model to describe the behavior patterns of different clients and uses Matlab simulation to achieve a highly accurate detection result. The simulation results show that the detection technology of hidden Markov model can detect Web crawler with high accuracy and low error rate.


Key words: Web crawler detection, behavior pattern, hidden Markov model, network security

中图分类号:

TP391.9

琚兴空. 基于隐马尔科夫模型的网络爬虫检测算法仿真[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2017.04.025.

JU Xing-kong. Simulation of Web Crawler Detection Algorithm Based on Hidden Markov Model[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2017.04.025.

参考文献

［1］孙立伟,何国辉,吴礼发. 网络爬虫技术的研究［J］. 电脑知识与技术, 2010,6(15):4112-4115.
［2］曾伟辉,李淼. 深层网络爬虫研究综述［J］. 计算机系统应用, 2008,17(5):122-126.
［3］ Doran D， Gokhale S S. Web robot detection techniques: Overview and limitations［J］. Data Mining & Knowledge Discovery, 2011,22(1):183-210
［4］ Stevanovic D, An A, Vlaji N C. Detecting Web crawlers from Web server access logs with data mining classifiers［C］// Proceedings of the 19th International Conference on Foundations of Intelligent Systems. 2011:483-489.
［5］李勇,韩亮. 主题搜索引擎中网络爬虫的搜索策略研究［J］. 计算机工程与科学, 2008,30(3):4-6.
［6］刘淑梅,夏亮,许南山. 主题搜索引擎网络爬虫搜索策略的研究与实现［J］. 计算机系统应用, 2010,19(3):49-52
［7］ Cho Younghee, Jeon Jinho, Lee Gyesung. Conceptual pattern matching of time series data using hidden Markov model［J］. Journal of the Korea Contents Association, 2008,8(5):44-51.
［8］ Almeida V， Daniel M E， Riedi R, et al. Analyzing Web robots and their impact on caching［C］// Proceedings of the 6th Web Caching and Content Delivery Workshop. 2001.
［9］ Rabiner L R. A tutorial on hidden Markov models and selected applications in speech recognition［J］. Reading in Speech Recognition, 1990,77(2):267-296.
［10］范纯龙,袁滨,余周华,等. 基于陷阱技术的网络爬虫检测［J］. 计算机应用, 2010,30(7):1782-1784.
［11］周德懋,李舟军. 高性能网络爬虫研究综述［J］. 计算机科学, 2009,36(8):26-29.
［12］郭伟刚,鞠时光. 基于访问内容类型统计的Web Robot检测算法［J］. 计算机科学, 2005,32(8):179-181.
［13］郭伟刚,鞠时光. 一个基于事务分析的Web Robot检测算法［J］. 计算机应用, 2005,25(7):1580-1583.
［14］谭龙远. 基于领域的网络爬虫技术的研究与实现［D］. 武汉:武汉理工大学, 2009.
［15］Dikaiakos M D, Stassopoulou A, Papageorgiou L. An investigation of Web crawler behavior: Characterization and metrics［J］. Computer Communications, 2005,28(8):880-897.
［16］王艳红,周军. 基于Hadoop的网络爬虫技术研究［J］. 吉林工程技术师范学院学报, 2014,30(8):87-89.
［17］周立柱,林玲. 聚焦爬虫技术研究综述［J］. 计算机应用, 2005,25(9):1965-1969.
［18］Kwon S, Kim Y G, Cha S. Web robot detection based on pattern-matching technique［J］. Journal of Information Science, 2012,38(2):118-126.
［19］Zabihi M, Jahan M V, Hamidzadeh J. A density based clustering approach for Web robot detection［C］// 2014 4th International E-Conference on Computer & Knowledge Engineering. 2014:23-28.
［20］Tan Pang-Ning, Kumar V. Discovery of Web robot sessions based on their navigational patterns［J］. Data Mining and Knowledge Discovery, 2002,6(1):9-35.
［21］Chakrabarti S, Berg M V D， Dom B. Focused crawling: A new approach to topic-specific Web resource discovery［J］. Computer Networks, 1999,31(11-16):1623-1640.

[1]	杨骏, 王劲林, 倪宏, 盛益强, . 工控网络异常检测中基于灵敏度的动态迁移算法[J]. 计算机与现代化, 2023, 0(05): 46-51.
[2]	毛明扬, 徐胜超. 一种新的复杂网络安全主动防御模型[J]. 计算机与现代化, 2023, 0(04): 118-122.
[3]	潘裕庆, 张苏宁, 冯仁君, 景栋盛. 结合粒子群优化和LightGBM的入侵检测方法[J]. 计算机与现代化, 2023, 0(04): 123-126.
[4]	储苏红, 刘磊, . POF协议解析器[J]. 计算机与现代化, 2022, 0(09): 93-98.
[5]	吴水明, 吉志远, 王震宇, 景栋盛. 基于Dueling-DDQN的电力信息网络入侵检测算法[J]. 计算机与现代化, 2021, 0(12): 43-47.
[6]	张文博, 胡曦明, 李鹏, 马苗, 王涛, . 新工科下“手机+智能家电”物联网安全实验设计与实现[J]. 计算机与现代化, 2021, 0(04): 109-116.
[7]	郝怡然, 盛益强, 王劲林, . 基于t-SNE降维预处理的网络流量异常检测[J]. 计算机与现代化, 2021, 0(02): 109-116.
[8]	闫芮铵, 张立臣. 基于Focal Loss和卷积神经网络的入侵检测[J]. 计算机与现代化, 2021, 0(01): 65-69.
[9]	廖祖奇, 李飞, 张鹏飞. 基于CBR的车联网网络安全应急响应系统及方法[J]. 计算机与现代化, 2020, 0(11): 109-116.
[10]	代锐锋. 基于SSL虚拟技术的高校网络安全体系模型构建[J]. 计算机与现代化, 2020, 0(08): 122-126.
[11]	崔雯迪, 段鹏飞, 朱红强, 刘娜. 攻击图与HMM工业控制网络安全风险评估[J]. 计算机与现代化, 2020, 0(07): 32-37.
[12]	李荷婷，冯仁君，陈海雁，景栋盛. 基于异卷积神经网络的入侵检测[J]. 计算机与现代化, 2019, 0(10): 117-.
[13]	吴建台，刘光杰,刘伟伟，戴跃伟. 一种基于关联分析和HMM的网络安全态势评估方法[J]. 计算机与现代化, 2018, 0(06): 30-.
[14]	刘义，兰少华. 基于One-class SVM的网络时间隐蔽信道检测方法[J]. 计算机与现代化, 2017, 0(6): 108-111+121.
[15]	王红凯1，于晓文2，张旭东1. 基于攻击检测和节点脆弱性的网络安全风险分析方法[J]. 计算机与现代化, 2017, 0(1): 96-100.