基于Coreseek+Python的分布式全文检索方法

计算机与现代化 ›› 2014, Vol. 0 ›› Issue (6): 7-11.

基于Coreseek+Python的分布式全文检索方法

1.解放军电子工程学院，安徽合肥230037；2.海军指挥学院，江苏南京211800

收稿日期:2014-03-20 出版日期:2014-06-13 发布日期:2014-06-25
作者简介:罗盘(1988-)，男，湖南娄底人，解放军电子工程学院硕士研究生，海军指挥学院讲师，研究方向：信息安全，数据挖掘；许建南(1972-)，男，副教授，硕士，研究方向：信息安全，大数据；李忠(1989-)，男，助教，本科，研究方向：信息安全，数据可视化。

Distributed Full-text Retrieval Method Based on Coreseek and Python

1.PLA Electronic Engineering Institute, Hefei 230037, China;2.Naval Command College, Nanjing 211800, China

Received:2014-03-20 Online:2014-06-13 Published:2014-06-25

摘要/Abstract

摘要： 将Coreseek全文检索引擎应用到分布式数据检索引擎的构建中，利用Python数据源程序接口对多种类型的数据库进行连接，使检索引擎能够同时对不同类型的数据库进行检索。该方法较好地解决了海量数据查询系统中，单极查询性能有限、数据融合复杂问题，提高了系统的数据检索速度和对不同数据库服务器的兼容性。

关键词: , 搜索引擎, Coreseek全文检索, 分布式, Python数据源程序接口

Abstract: This paper uses the Coreseek full-text retrieval engine to buile the distributed search engine and uses the Python database API to make connections to nearly all kind of database servers so that the search engine can search different database servers at the same time. This method solves the problem of performance limit for single server and involutes data merging in massive data search system, improves the search speed and the compatibility for different database servers of system.

Key words: search engine, Coreseek full-text retrieval, distribute, Python database API

罗盘1,2，许建南2，李忠2. 基于Coreseek+Python的分布式全文检索方法[J]. 计算机与现代化, 2014, 0(6): 7-11.

LUO Pan1,2, XU Jian-nan2, LI Zhong2. Distributed Full-text Retrieval Method Based on Coreseek and Python[J]. Computer and Modernization, 2014, 0(6): 7-11.

参考文献

［1］
蒋建洪. 主要分布式搜索引擎技术的研究［J］. 科学技术与工程， 2007，7（10）：2418-2424.
［2］ Beijing Choice Software Technology Inc. Coreseek开源中文检索引擎功能和特性［DB/OL］. http://www.coreseek.cn/products/ft_feature, 2013-01-06.
［3］邵佩英. 分布式数据库系统及其应用（第2版）［M］. 北京：科学出版社， 2005.
［4］周程远,朱敏,杨云. 基于词典的中文分词算法研究［J］. 计算机与数字工程， 2009,37(3):68-71,87.
［5］刘永丹. 文档数据库若干关键技术研究［D］. 上海：复旦大学， 2004.
［6］ Jain A K, Dubes R C. Algorithms for Clustering Data［M］. Prentice-Hall, 1988.
［7］ Inderjit Dhillon, Jacob Kogan, Charles Nicholas. 4 Feature Selection and Document Clustering ［DB/OL］. http://callisto.nsu.ru/documentation/CSIR/selected/doc_clustering/kogan.pdf, 2014-03-20.
［8］ Sebastiani F. Text Categorization ［DB/OL］. http://nmis.isti.cnr.it/sebastiani/Publications/TM05.pdf, 2014-03-20.
［9］ Zobel J, Moffat A. Inverted files for text search engines［J］. ACM Computing Surveys, 2006,38(2)：1-56.
［10］Guyon I, Elisseeff A. An introduction to variable and feature selection［J］. The Journal of Machine Learning Research, 2003,3(3/1):1157-1182.
［11］祈延莉，赵丹群. 信息检索概论［M］. 北京：北京大学出版社, 2006.
［12］吴栋，滕育平. 中文信息检索引擎中的分词与检索技术［J］. 计算机应用, 2004，24(7):128-131.
［13］李志蜀,李果. 中文搜索引擎的原理剖析及开发实现技术［J］. 计算机应用研究, 2001，18(11):96-99.
［14］苏云. 搜索引擎Google检索技巧研究［J］. 甘肃科技, 2005,21(2)：69-71,56.
［15］张彬. 面向中文网络信息检索的自动分词系统设计与算法实现［D］. 上海：华东师范大学， 2007.
［16］何晓阳,吴治蓉,连丽红. 国内搜索引擎研究状况分析［J］. 现代情报, 2005,25(2):165-167,173.
［17］宛玲，杨秀丹. 试析中文搜索引擎的评价标准［J］. 情报科学, 2000，18(1)：28-31，38.
［18］孙坦，周静怡. 近几年来国外信息检索模型研究进展［J］. 图书馆建设, 2008(3)：82-85.
［19］黄昌宁. 中文信息处理中的分词问题［J］. 语言文学应用, 1997，21(1):72-78.

[1]	赵晨阳, 薛涛, 刘俊华. 基于改进Stable Diffusion的时尚服饰图案生成[J]. 计算机与现代化, 2024, 0(12): 15-23.
[2]	万兵1, 2, 3, 赵文涛4, 潘多涛1, 赵峥韬2, 3, 孙朝阳2, 3, 俞建成2, 3. 无人帆船半物理仿真测试系统设计[J]. 计算机与现代化, 2024, 0(12): 91-99.
[3]	陈宇航1, 杨勇1, 帕力旦·吐尔逊1, 樊小超1, 任鸽1, 刁宇峰2. 融合句法特征与语义特征的作文自动评分方法[J]. 计算机与现代化, 2024, 0(11): 64-69.
[4]	刘洋1, 黄志2, 徐娟1, 高鹏1, 陈旭辉1. 基于分布式的省级气象数据中心硬件监控告警系统[J]. 计算机与现代化, 2024, 0(07): 41-46.
[5]	黄文栋, 王怡凡. 基于模态类别的多模态信息处理与融合综述[J]. 计算机与现代化, 2024, 0(07): 47-62.
[6]	李俊晓1, 张小琳1, 石静2. 基于区块链增强的车辆边缘计算网络安全数据存储和共享[J]. 计算机与现代化, 2024, 0(07): 69-75.
[7]	李佳多, 闫秀英. 基于增强卷尾猴搜索算法的分布式电源定容选址方法[J]. 计算机与现代化, 2024, 0(04): 27-32.
[8]	余春雷1, 2, 刘笃晋1, 朱华伟1, 杨佳蓉3. 基于Petersen图的部分重复码[J]. 计算机与现代化, 2024, 0(03): 122-126.
[9]	王子琛, 瞿有利. 基于CRF的分区倒排索引压缩算法[J]. 计算机与现代化, 2024, 0(02): 36-42.
[10]	陈超, 顾青峰. 面向混合负载的分布式气象数据管理系统设计[J]. 计算机与现代化, 2023, 0(12): 118-122.
[11]	管金平, 杨晋吉, 杨成龙. 基于概率模型的Raft协议形式化验证[J]. 计算机与现代化, 2023, 0(09): 77-81.
[12]	刘显茁, 邓韦斯, 谢恩彦. 考虑分布式发电并网的配电网自适应保护系统[J]. 计算机与现代化, 2023, 0(09): 120-126.
[13]	王哲, 王玉玫, 吴亚非, 臧义华. 基于RDMA的分布式键值存储系统性能优化[J]. 计算机与现代化, 2023, 0(02): 24-27.
[14]	张昊, 路红英. 面向边缘计算应用的拜占庭式容错分布式一致性算法[J]. 计算机与现代化, 2022, 0(12): 33-41.
[15]	李静元, 张珂, 杨东裕. 基于雾计算的工业互联网安全数据访问方法[J]. 计算机与现代化, 2022, 0(12): 118-122.