面向MOOC的垂直搜索引擎

doi:10.3969/j.issn.1006-2475.2017.04.007

计算机与现代化

面向MOOC的垂直搜索引擎

湖北师范大学教育信息与技术学院,湖北黄石435002

收稿日期:2016-07-22 出版日期:2017-04-20 发布日期:2017-05-08
作者简介:李全(1982-),男,湖北黄陂人,湖北师范大学教育信息与技术学院讲师,硕士,研究方向:信息检索,数据挖掘; 林松(1978-),男,湖北黄石人,讲师,硕士,研究方向:大数据,数据挖掘; 田俊(1981-),女,湖北公安人,副教授,硕士,研究方向:大数据,教育信息化; 刘兴红(1969-),女,湖北蕲春人,教授,硕士,研究方向:大数据，教育信息化。
基金资助:
湖北省教育科学“十二五”规划项目(2011B130); 湖北省高等学校优秀中青年科技创新团队计划项目(T201515); 湖北省教学研究项目(2015382)

Vertical Search Engine for MOOC

College of Educational Information and Technology, Hubei Normal University, Huangshi 435002, China

Received:2016-07-22 Online:2017-04-20 Published:2017-05-08

摘要/Abstract

摘要： 近年来随着大型网络开放平台MOOC的大量出现，学习者需要花费大量的时间在不同的平台搜索自己满意的MOOC课程。为了提高MOOC教育资源的利用率，本文设计并实现面向MOOC领域的垂直搜索引擎系统，提出一种多线程并行紧耦合爬取和索引优化方案；根据课程列表的3种加载方法，实现课程相关信息的下载；分析被提取课程网页的特征定制相关信息抽取规则；提出一种检索排序相似度评分的优化方法。实验结果表明：该垂直搜索引擎在平均爬取及索引时间、排序效果和平均正确率均值等方面都有一定的提高，实现了MOOC教育资源的整合、存储和检索功能，满足了教育信息化发展的要求。


关键词: 大规模开放式在线课程, 教育资源, 搜索引擎, 相似度评分

Abstract: Learners need spend a lot of time in searching the satisfying courses of themselves in different platforms, as the large network open platform MOOC appears in recent years. A vertical search engine for MOOC is designed and implemented in order to improve the utilization efficiency of education resource in MOOC. This paper proposes a kind of optimization scheme of tightly coupled crawling and index of multithreading parallel. It can download the relative information of courses according to three kinds of methods of loading course list, and customize the extraction rules of relative information according to the feature of course Web page being analyzed. This paper also proposes a kind of prioritization method of similarity score in search ranking. The analysis on experiment result indicates that the evaluation values of average time of crawling and index, sorting effect and average mean value of correct rate etc increase to some extend by the vertical search engine for MOOC. Therefore, it achieves the integration, storage, and retrieval functions of education resource in MOOC, and satisfies the requirements of development of educational information.


Key words: massive open online course(MOOC), education resource, search engine, similarity score

中图分类号:

TP391.7

李全,林松,田俊,刘兴红. 面向MOOC的垂直搜索引擎[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2017.04.007.

LI Quan， LIN Song， TIAN Jun， LIU Xing-hong. Vertical Search Engine for MOOC[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2017.04.007.

参考文献

［1］ Kazai G.In search of quality in crowdsourcing for search engine evaluation［C］// Proceedings of the 33rd European Conference on Advancess in Information Retrieval. 2011:165-176.
［2］ Bozzon A， Brambilla M， Ceri S, et al. Exploratory search framework for Web data sources［J］. The VLDB Journal, 2013,22(5):641-663.
［3］ Nandzik J, Litz B, Flores-Herr N, et al. Contemtus technologies for next generation multimedia libraries［J］. Multimedia Tools and Applications, 2013,63(2):287-329.
［4］邵蕾. 基于Lucene的教学资源垂直搜索引擎的研究与实现［D］. 北京:北京邮电大学, 2012.
［5］吴洁明,韩云辉,冀单单. 基于Lucene的数字作品搜索引擎的研究与设计［J］. 计算机工程与科学, 2013,35(5):166-172.
［6］ Knox J. Posthumanism and the MOOC: Open the subject of digital education［J］. Studies in Philosophy and Education, 2016,35(3):305-320.
［7］ Doherty L, Harbutt D, Sharma N. Designing and developing a MOOC［J］. Medical Science Educator, 2015,25(2):177-181.
［8］ Rehfeldt R A， Jung H L， Aguirre A, et al. Beginning the dialogue on the e-transformation: Behavior analysiss first massive open online course(MOOC)［J］. Behavior Analysis in Practice, 2016,9(1):3-13.
［9］杨单. 基于Lucene的校园信息搜索引擎的设计与实现［J］. 中南民族大学学报(自然科学版), 2013,32(4):97-101.
［10］魏刃佳,吴振强. 面向教育视频资源的垂直搜索引擎设计与实现［J］. 计算机工程与应用, 2014,50(15):113-116.
［11］岳绍敏,李万龙,王璐,等. 基于Lucene索引的数据库全文检索［J］. 吉林大学学报(理学版), 2014(5):995-1000.
［12］义天鹏,陈启安. 基于Lucene的中文分析器分词性能比较研究［J］. 计算机工程, 2012,38(22):279-282.
［13］李晓明,闫宏飞,王继民. 搜索引擎—原理、技术与系统［M］. 北京:科学出版社, 2012.
［14］郭广军,周显光,陈代武. 基于本体和Lucene的网络教育资源管理检索系统［J］. 计算机应用与软件, 2012,29(7):115-118.
［15］耿大伟. 基于Python技术的校园网搜索引擎的设计与实现［D］. 秦皇岛:燕山大学， 2015.
［16］Wu Haocheng， Hu Yunhua， Li Hang, et al. A new approach to query segmentation for relevance ranking in Web search［J］. Information Retrieval Journal, 2015,18(1):26-50.
［17］Soliman M A， Ilyas I F， Ben-David S, et al. Supporting ranking queries on uncertain and incomplete data［J］. The VLDB Journal, 2010,19(4):477-501.
［18］陈建峡,黄日,马忠宝. 基于Pagerank的Lucene排序算法优化与实现［J］. 计算机工程与科学, 2012,34(10):123-127.

[1]	邱金水, 庄会富, 金涛. 面向海量植物图像的智能检索系统设计[J]. 计算机与现代化, 2022, 0(10): 62-67.
[2]	许贤慧, 王淑营, 曾文驱. 面向工程数据检索的ElasticSearch索引优化策略[J]. 计算机与现代化, 2022, 0(02): 79-84.
[3]	李雯, 文勇军, 唐立军, . 多特征融合的教育资源标签生成算法[J]. 计算机与现代化, 2020, 0(09): 19-24.
[4]	吴克介,王家伟. 基于知网与搜索引擎的词汇语义相似度计算[J]. 计算机与现代化, 2018, 0(04): 90-.
[5]	李全. 基于多层类别主题图模型的教育文本分类方法[J]. 计算机与现代化, 2016, 251(07): 55-59,67.
[6]	罗盘1,2，许建南2，李忠2. 基于Coreseek+Python的分布式全文检索方法[J]. 计算机与现代化, 2014, 0(6): 7-11.
[7]	董慧，王海洋，谢静. B2C电子商务网站设计[J]. 计算机与现代化, 2014, 0(11): 15-19.
[8]	张伟诚,艾丽蓉. 基于索引过滤实现搜索引擎中的访问控制[J]. 计算机与现代化, 2014, 0(1): 161-163.
[9]	卓志宏. 一种基于语义信息的主题相关性判别模型[J]. 计算机与现代化, 2013, 1(9): 157-159,.
[10]	吕曹芳;薛向锋;朱岳超;宗军君. 基于文本分类的网络知识发现[J]. 计算机与现代化, 2013, 1(2): 117-119.
[11]	杨伟超;刘阳;李淑霞. 基于搜索引擎的一站式检索平台设计与实现[J]. 计算机与现代化, 2012, 1(11): 220-222.
[12]	李国芳. 全文搜索引擎快速搭建的设计与实现[J]. 计算机与现代化, 2012, 1(11): 197-199.
[13]	李智彪;刘敏;廖春华;江源. 基于二次网络搜索辅助学习系统的设计与实现[J]. 计算机与现代化, 2012, 1(1): 14-16,2.
[14]	吴根斌;丁振凡. 基于语义Web的搜索引擎研究[J]. 计算机与现代化, 2012, 8(08): 129-133.
[15]	魏晶晶;杨定达;廖祥文. 基于网页内容相似度改进算法的主题网络爬虫[J]. 计算机与现代化, 2011, 193(9): 1-4.

面向MOOC的垂直搜索引擎

Vertical Search Engine for MOOC

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价