基于Coreseek+Python的分布式全文检索方法

计算机与现代化

基于Coreseek+Python的分布式全文检索方法

1.解放军电子工程学院，安徽合肥230037；2.海军指挥学院，江苏南京211800

收稿日期:2014-03-20 出版日期:2014-06-13 发布日期:2014-06-25
作者简介:罗盘(1988-)，男，湖南娄底人，解放军电子工程学院硕士研究生，海军指挥学院讲师，研究方向：信息安全，数据挖掘；许建南(1972-)，男，副教授，硕士，研究方向：信息安全，大数据；李忠(1989-)，男，助教，本科，研究方向：信息安全，数据可视化。

Distributed Full-text Retrieval Method Based on Coreseek and Python

1.PLA Electronic Engineering Institute, Hefei 230037, China;2.Naval Command College, Nanjing 211800, China

Received:2014-03-20 Online:2014-06-13 Published:2014-06-25

摘要/Abstract

摘要： 将Coreseek全文检索引擎应用到分布式数据检索引擎的构建中，利用Python数据源程序接口对多种类型的数据库进行连接，使检索引擎能够同时对不同类型的数据库进行检索。该方法较好地解决了海量数据查询系统中，单极查询性能有限、数据融合复杂问题，提高了系统的数据检索速度和对不同数据库服务器的兼容性。

关键词: , 搜索引擎, Coreseek全文检索, 分布式, Python数据源程序接口

Abstract: This paper uses the Coreseek full-text retrieval engine to buile the distributed search engine and uses the Python database API to make connections to nearly all kind of database servers so that the search engine can search different database servers at the same time. This method solves the problem of performance limit for single server and involutes data merging in massive data search system, improves the search speed and the compatibility for different database servers of system.

Key words: search engine, Coreseek full-text retrieval, distribute, Python database API

罗盘1,2，许建南2，李忠2. 基于Coreseek+Python的分布式全文检索方法[J]. 计算机与现代化.

LUO Pan1,2, XU Jian-nan2, LI Zhong2. Distributed Full-text Retrieval Method Based on Coreseek and Python[J]. Computer and Modernization.

参考文献

［1］
蒋建洪. 主要分布式搜索引擎技术的研究［J］. 科学技术与工程， 2007，7（10）：2418-2424.
［2］ Beijing Choice Software Technology Inc. Coreseek开源中文检索引擎功能和特性［DB/OL］. http://www.coreseek.cn/products/ft_feature, 2013-01-06.
［3］邵佩英. 分布式数据库系统及其应用（第2版）［M］. 北京：科学出版社， 2005.
［4］周程远,朱敏,杨云. 基于词典的中文分词算法研究［J］. 计算机与数字工程， 2009,37(3):68-71,87.
［5］刘永丹. 文档数据库若干关键技术研究［D］. 上海：复旦大学， 2004.
［6］ Jain A K, Dubes R C. Algorithms for Clustering Data［M］. Prentice-Hall, 1988.
［7］ Inderjit Dhillon, Jacob Kogan, Charles Nicholas. 4 Feature Selection and Document Clustering ［DB/OL］. http://callisto.nsu.ru/documentation/CSIR/selected/doc_clustering/kogan.pdf, 2014-03-20.
［8］ Sebastiani F. Text Categorization ［DB/OL］. http://nmis.isti.cnr.it/sebastiani/Publications/TM05.pdf, 2014-03-20.
［9］ Zobel J, Moffat A. Inverted files for text search engines［J］. ACM Computing Surveys, 2006,38(2)：1-56.
［10］Guyon I, Elisseeff A. An introduction to variable and feature selection［J］. The Journal of Machine Learning Research, 2003,3(3/1):1157-1182.
［11］祈延莉，赵丹群. 信息检索概论［M］. 北京：北京大学出版社, 2006.
［12］吴栋，滕育平. 中文信息检索引擎中的分词与检索技术［J］. 计算机应用, 2004，24(7):128-131.
［13］李志蜀,李果. 中文搜索引擎的原理剖析及开发实现技术［J］. 计算机应用研究, 2001，18(11):96-99.
［14］苏云. 搜索引擎Google检索技巧研究［J］. 甘肃科技, 2005,21(2)：69-71,56.
［15］张彬. 面向中文网络信息检索的自动分词系统设计与算法实现［D］. 上海：华东师范大学， 2007.
［16］何晓阳,吴治蓉,连丽红. 国内搜索引擎研究状况分析［J］. 现代情报, 2005,25(2):165-167,173.
［17］宛玲，杨秀丹. 试析中文搜索引擎的评价标准［J］. 情报科学, 2000，18(1)：28-31，38.
［18］孙坦，周静怡. 近几年来国外信息检索模型研究进展［J］. 图书馆建设, 2008(3)：82-85.
［19］黄昌宁. 中文信息处理中的分词问题［J］. 语言文学应用, 1997，21(1):72-78.

[1]	陈超, 顾青峰. 面向混合负载的分布式气象数据管理系统设计[J]. 计算机与现代化, 2023, 0(12): 118-122.
[2]	管金平, 杨晋吉, 杨成龙. 基于概率模型的Raft协议形式化验证[J]. 计算机与现代化, 2023, 0(09): 77-81.
[3]	刘显茁, 邓韦斯, 谢恩彦. 考虑分布式发电并网的配电网自适应保护系统[J]. 计算机与现代化, 2023, 0(09): 120-126.
[4]	王哲, 王玉玫, 吴亚非, 臧义华. 基于RDMA的分布式键值存储系统性能优化[J]. 计算机与现代化, 2023, 0(02): 24-27.
[5]	张昊, 路红英. 面向边缘计算应用的拜占庭式容错分布式一致性算法[J]. 计算机与现代化, 2022, 0(12): 33-41.
[6]	李静元, 张珂, 杨东裕. 基于雾计算的工业互联网安全数据访问方法[J]. 计算机与现代化, 2022, 0(12): 118-122.
[7]	邱金水, 庄会富, 金涛. 面向海量植物图像的智能检索系统设计[J]. 计算机与现代化, 2022, 0(10): 62-67.
[8]	袁嘉立, 刘梦赤. 面向信息网模型的动态数据划分算法[J]. 计算机与现代化, 2022, 0(10): 100-105.
[9]	许贤慧, 王淑营, 曾文驱. 面向工程数据检索的ElasticSearch索引优化策略[J]. 计算机与现代化, 2022, 0(02): 79-84.
[10]	陈春燕, 刘梦赤. 基于粒子群遗传算法的智能组卷策略[J]. 计算机与现代化, 2021, 0(08): 16-23.
[11]	雷鸣, 姜罕盛, 武国良, 赵玉娟, 梁健. 基于HBase的大数据架构下负载平衡技术[J]. 计算机与现代化, 2021, 0(06): 91-95.
[12]	宋鑫, 樊志强, . 基于Laguerre 前向神经网络的信息服务性能建模方法 [J]. 计算机与现代化, 2021, 0(03): 1-6.
[13]	魏健, 赵红涛, 刘敦楠, 加鹤萍 . 基于集成模型的超短时负荷预测方法[J]. 计算机与现代化, 2021, 0(03): 12-17.
[14]	王文蔚, 肖军弼, 程鹏, 张悦. 基于SDN的DDoS攻击防御系统[J]. 计算机与现代化, 2021, 0(02): 117-121.
[15]	雷鸣, 赵玉娟, 姜罕盛, 武国良, 梁健. 基于分布式技术的气象系统数据服务平台构建[J]. 计算机与现代化, 2020, 0(11): 56-59.