栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

详解spring封装hbase的代码实现

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

详解spring封装hbase的代码实现

前面我们讲了spring封装MongoDB的代码实现,这里我们讲一下spring封装Hbase的代码实现。

hbase的简介:

此处大概说一下,不是我们要讨论的重点。

Hbase是一个分布式的、面向列的开源数据库,Hbase在Hadoop之上提供了类似于Bigtable的能力。Hbase是Apache的Hadoop项目的子项目。Hbase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是Hbase基于列的而不是基于行的模式。hbase是bigtable的开源山寨版本。是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过Hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。hbase给我的印象就是无限存,按照Key读取。

那么在我们的Java程序中应该如何使用hbase呢。

首先:

引入hbase的jar包,如果不是Maven项目,可以单独按照以下格式下载hbase的jar包引入到你的项目里。

 
  org.apache.hbase 
  hbase-client 
  0.96.2-hadoop2 

其次:

增加hbase在spring中的配置。

1.    新增hbase-site.xml配置文件。以下是通用配置,具体每个参数的含义可以百度以下,这里不做详细讲解。

 
 
   
     
     
   
   
    hbase.client.write.buffer 
    62914560 
   
   
    hbase.client.pause 
    1000 
   
   
    hbase.client.retries.number 
    10 
   
   
    hbase.client.scanner.caching 
    1 
   
   
    hbase.client.keyvalue.maxsize 
    6291456 
   
   
    hbase.rpc.timeout 
    60000 
   
   
    hbase.security.authentication 
    simple 
   
   
    zookeeper.session.timeout 
    60000 
   
   
    zookeeper.znode.parent 
    ZooKeeper中的Hbase的根ZNode 
   
   
    zookeeper.znode.rootserver 
    root-region-server 
   
   
    hbase.zookeeper.quorum 
    zookeeper集群 
   
   
    hbase.zookeeper.property.clientPort 
    2181 
   
 

2. 新建spring-config-hbase.xml文件,记得在spring的配置文件中把这个文件import进去。

 
 
   
   
   
 

 
     
     
   
   
     
   
 

最后:

我们就可以重写我们的HbaseDaoImple类了。在这里可以实现我们操作hbase的代码逻辑。其中prism:OrderInfo是我们的表名,f是列族名称,OrderInfo的属性是列族下的列名。orderInfo是我程序定义的bean,你可以按照自己的需求定义自己的bean。

public class HbaseDaoImpl{ 
 
 
  private HbaseTemplate hbaseTemplate; 
 
  private HConnection hconnection = null; 
 
  public HbaseDaoImpl(HbaseTemplate htemplate) throws Exception { 
    if (hconnection == null) { 
      hconnection = HConnectionManager.createConnection(htemplate.getConfiguration()); 
    } 
    if (this.hbaseTemplate == null) { 
      this.hbaseTemplate = htemplate; 
    } 
  } 
  public void writeDataOrderinfo(final OrderInfo orderInfo) { 
    HTableInterface table = null; 
    try { 
      table = hconnection.getTable(Bytes.toBytes("prism:orderInfo")); 
      Put p = new Put(Bytes.toBytes( orderInfo.getHistoryId())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("id"), Bytes.toBytes(orderInfo.getId())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("historyId"), Bytes.toBytes(orderInfo.getHistoryId())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("orderId"), Bytes.toBytes(orderInfo.getOrderId())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("orderDirection"), Bytes.toBytes(orderInfo.getOrderDirection())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("overStatus"), Bytes.toBytes(orderInfo.getOverStatus())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("orgArea"), Bytes.toBytes(orderInfo.getOrgArea())); 
      table.put(p); 
 
    } catch (IOException e) { 
      throw new RuntimeException(e); 
    } finally { 
      if (table != null) { 
 try { 
   table.close(); 
 } catch (IOException e) { 
   e.printStackTrace(); 
 } 
      } 
    } 
  } 
  public OrderInfo getOrderInfoByRowkey(String rowKey) { 
    Get get = new Get(Bytes.toBytes(rowKey)); 
    Scan scan = new Scan(get); 
    List list = hbaseTemplate.find("prism:orderInfo", scan, new RowMapper() { 
      @Override 
      public OrderInfo mapRow(Result result, int rowNum) throws Exception { 
 OrderInfo orderInfo = new OrderInfo(); 
 orderInfo.setId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("id")))); 
 orderInfo.setHistoryId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("historyId")))); 
 orderInfo.setOrderId(Bytes.toLong(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderId")))); 
 return orderInfo; 
      } 
 
    }); 
    if(list.size() > 0){ 
      return list.get(0); 
    }else{ 
      return null; 
    } 
  
  } 
 
  public List getOrderInfoByRange(String start_rowKey,String stop_rowKey) { 
    Scan scan = new Scan(); 
    scan.setStartRow(Bytes.toBytes(start_rowKey)); 
    scan.setStopRow(Bytes.toBytes(stop_rowKey)); 
    HTableInterface table = null; 
    ResultScanner rs = null; 
    List list = new ArrayList(); 
    try { 
      table = hconnection.getTable(Bytes.toBytes("prism:orderInfo")); 
      rs = table.getScanner(scan); 
      for(Result result : rs){ 
 OrderInfo orderInfo = new OrderInfo(); 
 orderInfo.setId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("id")))); 
 orderInfo.setHistoryId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("historyId")))); 
 orderInfo.setOrderId(Bytes.toLong(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderId")))); 
 orderInfo.setOrderDirection(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderDirection")))); 
 list.add(orderInfo); 
      } 
    } catch (IOException e) { 
      e.printStackTrace(); 
    }finally{ 
      rs.close(); 
    } 
    return list;     
  } 
  public HbaseTemplate getHbaseTemplate() { 
    return hbaseTemplate; 
  } 
 
  public void setHbaseTemplate(HbaseTemplate hbaseTemplate) { 
    this.hbaseTemplate = hbaseTemplate; 
  } 
 
} 

注:在程序中,你可以使用spring封装的HbaseTemplate,也可以使用原生的hconnection等的操作方式,如何操作在我们的代码示例中都有。个人觉得,spring封装的HbaseTemplate不太好使,比如每次请求都会重新链接一下zookeeper集群(其中缘由我也没去研究,有研究透的同学还望不吝赐教)。建议用原生的方式。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持考高分网。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/146000.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号