HOS:一种基于HBase的分布式存储系统设计与实现
    点此下载全文
引用本文:季一木,张宁,尧海昌,李奎,李航,刘尚东,王汝传.HOS:一种基于HBase的分布式存储系统设计与实现[J].南京邮电大学学报:自然科学版,2019,39(5):63~71
摘要点击次数: 165
全文下载次数: 83
作者单位
季一木 南京邮电大学 计算机学院江苏南京210023
南京邮电大学 江苏省无线传感网高技术研究重点实验室江苏南京210023
南京邮电大学 高性能计算与大数据处理研究所江苏南京210023
南京邮电大学 高性能计算与智能处理工程研究中心江苏南京210023 
张宁 南京邮电大学 计算机学院江苏南京210023 
尧海昌 南京邮电大学 计算机学院江苏南京210023 
李奎 南京邮电大学 计算机学院江苏南京210023 
李航 南京邮电大学 计算机学院江苏南京210023 
刘尚东 南京邮电大学 计算机学院江苏南京210023
南京邮电大学 江苏省无线传感网高技术研究重点实验室江苏南京210023
南京邮电大学 高性能计算与大数据处理研究所江苏南京210023
南京邮电大学 高性能计算与智能处理工程研究中心江苏南京210023 
王汝传 南京邮电大学 计算机学院江苏南京210023
南京邮电大学 江苏省无线传感网高技术研究重点实验室江苏南京210023
南京邮电大学 高性能计算与大数据处理研究所江苏南京210023
南京邮电大学 高性能计算与智能处理工程研究中心江苏南京210023 
基金项目:国家重点研发计划专项(2017YFB1401300,2017YFB1401302)、国家自然科学基金(61572260,61872196)、江苏省重点研发计划(BE2017166) 和江苏省自然科学基金优秀青年基金(BK20170100)资助项目
中文摘要:大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分层式索引查询模型,该模型基于HBase建立持久性索引层,基于Redis建立分布式热点索引缓存层。前者为存储在HBase中的数据建立索引表,提高查询效率,后者基于Redis在内存中存储热点索引,降低磁盘访问开销,进一步提高查询效率。最终,依据此模型实现了分层式索引查询系统HOS,基于Imagenet图片数据集对HOS进行实验,实验结果表明,HOS数据查询性能优于标准HBase。
中文关键词:HBase  查询处理  分层式索引  分布式存储
 
HOS:design and implementation of distributed storage system based on Hbase
Abstract:The data is expected to grow rapidly in the era of big data.It is urgently need to find an effective data storage scheme.HBase system has the characteristics of distributed and column storage,and provide an efficient solution for the storage and the management of big data.Because HBase only supports the primary key index and is inefficient for non-primary key queries,thus it is difficult to meet real-time requirements.Therefore,a hierarchical index query model is proposed.The model establishes a persistent index layer based on HBase and a distributed hot index cache layer based on Redis.The former establishes index tables for data stored in HBase to improve query efficiency,while the latter stores the hot index in memory based on Redis to reduce disk access overhead and further improve the query efficiency.Finally,the hierarchical index query system HOS is implemented based on the model.The experimental result on HOS based on Imagenet image dataset shows that the query performance of data of HOS is better than that of standard HBase.
keywords:HBase  query processing  hierarchical index  distributed storage
查看全文  查看/发表评论  下载PDF阅读器

你是第2221690访问者
版权所有《南京邮电大学学报(自然科学版)》编辑部
Tel:86-25-85866913 E-mail:xb@njupt.edu.cn
技术支持:本系统由北京勤云科技发展有限公司设计