基于SQL的HBase查询的设计与实现

doi:10.3969/j.issn.1006-2475.2017.07.004

计算机与现代化

基于SQL的HBase查询的设计与实现

(1.南开大学计算机与控制工程学院，天津300350；2.天士力集团，天津300402；
3.天津港信息技术发展有限公司，天津300456)

收稿日期:2016-09-21 出版日期:2017-07-20 发布日期:2017-07-20
作者简介:袁兆争(1992-),男,辽宁辽中人，南开大学计算机与控制工程学院硕士研究生,研究方向：数据挖掘，软件工程；邵秀丽（1963-），女，江苏南通人，教授，博士生导师，研究方向：人工智能，数据分析，软件工程。
基金资助:
天津市重大科技专项（14ZXDZGX00867， 15ZXDSGX00090）；天津市互联网先进制造专项（15ZXHLGX00360， 15ZXHLGX00380）

Design and Implementation of HBase Query Based on SQL

(1. College of Computer and Control Engineering, Nankai University, Tianjin 300350, China; 2. Tasly Group, Tianjin 300402, China;
3. Tianjin Port Information Technology Development Co. Ltd., Tianjin 300456, China)

Received:2016-09-21 Online:2017-07-20 Published:2017-07-20

摘要/Abstract

摘要： 在互联网和大数据时代下，SQL关系型数据库已不能适应与日俱增的数据量，HBase等NoSQL数据库变得极为重要。但HBase数据库操作较为复杂，本文设计并实现基于SQL的HBase查询，可以使HBase的使用者通过熟悉的SQL查询语句操作HBase数据库。首先构建SQL语言的编译器，将SQL语句转化成语法树，再将语法树转化为HBase的相关操作。使用协处理器处理SQL查询语句中的聚合函数和复杂表达式，并可以使用连接查询。

关键词: 查询, SQL, HBase

Abstract: In the age of the Internet and big data, SQL relational database can not adapt to the growing amount of data, NoSQL database such as HBase becomes very important. But HBase database operation is more complex, this paper designs and implements a query method of HBase based on SQL, which can enable HBase users to operate the HBase database through the familiar SQL query statement. This paper first builds the compiler of SQL language, translates the SQL statement into the syntax tree, and then translates the syntax tree into the operation of HBase. The coprocessor is used to deal with the aggregate functions and complex expressions in the SQL query statement.

Key words: query, SQL, HBase

中图分类号:

TP311.138

袁兆争1,邵秀丽1,闫凯境2,李丹2，郭建军3. 基于SQL的HBase查询的设计与实现[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2017.07.004.

YUAN Zhao-zheng1, SHAO Xiu-li1, YAN Kai-jing2, LI Dan2, GUO Jian-jun3. Design and Implementation of HBase Query Based on SQL[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2017.07.004.

参考文献

［1］Murugesan S. Understanding Web 2.0［J］. It Professional, 2007,9(4):34-41.
［2］Thusoo A, Sarma J S, Jain N, et al. Hive—A petabyte scale data warehouse using Hadoop［C］// Proceedings of International Conference on Data Engineering. 2010:996-1005.
［3］Li Chongxin. Transforming relational database into HBase: A case study［C］// 2010 IEEE International Conference on Software Engineering and Service Sciences (ICSESS). 2010:683-687.
［4］Bastiao Silva L A, Beroud L, Costa C, et al. Medical imaging archiving: A comparison between several NoSQL solutions［C］// IEEE-EMBS International Conference on Biomedical and Health Informatics. 2014:65-68.
［5］Vora M N. Hadoop-HBase for large-scale data［C］// International Conference on Computer Science and Network Technology. 2011:601-605.
［6］唐韬. 基于HBase的SQL转化引擎研究［D］. 成都：电子科技大学, 2014.
［7］杨寒冰,赵龙,贾金原. HBase数据库迁移工具的设计与实现［J］. 计算机科学与探索, 2013,7(3):236-246.
［8］王海燕,杨鹤标. 基于ANTLR的SQL语法分析策略与实现［J］. 计算机应用与软件, 2013(11):68-70.
［9］Cao Danyang, Bai Donghui. Design and implementation for SQL parser based on ANTLR［C］// The 2nd International Conference on Computer Engineering and Technology(ICCET). 2010:V4-276-V4-279.
［10］Wang Haiyan, Yang Hebiao. ANTLR-based SQL grammatical analysis strategy and its implementation［J］. Computer Applications & Software, 2013,30(11):68-70,101.
［11］George L. HBase: The Definitive Guide［M］. OREILLY Media Inc., 2011.
［12］李旭帅,毛宇光. SQL语言的形式语义［J］. 计算机技术与发展, 2005,15(3):14-16.
［13］阳国贵,昌月楼. 发展中的SQL语言［J］. 计算机工程与应用, 1995(4):1-3.
［14］张美华,李海. 详析SQL语言的WHERE子句与HAVING子句［J］. 怀化学院学报(自然科学版), 2008,27(8):101-102.［15］聂晓旭,于凤芹,钦道理. 基于Protobuf的数据传输协议［J］. 计算机系统应用, 2015,24(8):112-116.
［16］Ayham H M, Nikolaev A B. Data transmission over the network using Protobuf protocol［J］. Automation and Control in Technical Systems, 2015(2):3-12.
［17］聂晓旭,于凤芹,钦道理. 基于Protobuf的数据传输协议［J］. 计算机系统应用， 2015，24（8）：112-116.

[1]	关慧, 盛靖媛, 曹同洲. 一种基于改进TF-IDF的SQL注入攻击检测算法[J]. 计算机与现代化, 2022, 0(06): 122-126.
[2]	徐惠, 铁治欣, 舒莹. 基于特征匹配的快速降维排序搜索方法[J]. 计算机与现代化, 2022, 0(02): 85-91.
[3]	雷鸣, 姜罕盛, 武国良, 赵玉娟, 梁健. 基于HBase的大数据架构下负载平衡技术[J]. 计算机与现代化, 2021, 0(06): 91-95.
[4]	魏东平，罗丹. 一种基于区间预留编码的XML关键字查询算法[J]. 计算机与现代化, 2019, 0(10): 17-.
[5]	梁珺秀,许建秋. 基于时空标签轨迹的范围模式匹配查询[J]. 计算机与现代化, 2018, 0(08): 79-.
[6]	王良萸. 面向碳交易领域的知识图谱构建方法[J]. 计算机与现代化, 2018, 0(08): 114-.
[7]	邵路伊，王沁雪，郭帅. 基于属性优先关系的多用户Skyline查询处理算法#br#[J]. 计算机与现代化, 2018, 0(07): 11-.
[8]	胡望胜. 基Word Embedding的软件工程领域语义相关词挖掘方法[J]. 计算机与现代化, 2017, 0(9): 19-23,49.
[9]	王建荣，季刚. 海量自动气象站分钟数据存储检索系统设计[J]. 计算机与现代化, 2017, 0(9): 40-44.
[10]	李金阳，江顺青. 曼哈顿路网中移动数据点的连续概率Skyline查询[J]. 计算机与现代化, 2017, 0(7): 85-90.
[11]	张玉杰,于双元. 大数据查询综述[J]. 计算机与现代化, 2017, 0(4): 82-88.
[12]	张进，冯钧，陆佳民. 基于Hadoop的空间关键字索引方法[J]. 计算机与现代化, 2017, 0(11): 76-83.
[13]	王千千，罗文兵. 基于词重要性的Markov网络查询扩展模型[J]. 计算机与现代化, 2017, 0(11): 89-94.
[14]	李金阳,陈嘉良. 基于曼哈顿距离的不确定移动对象概率Skyline查询[J]. 计算机与现代化, 2017, 0(10): 42-48.
[15]	戴声，王波. 基于图数据库的大规模配置管理数据库关联查询[J]. 计算机与现代化, 2017, 0(1): 51-56.

基于SQL的HBase查询的设计与实现

Design and Implementation of HBase Query Based on SQL

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价