栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Java API连接HBase

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Java API连接HBase

导入依赖
        
            junit
            junit
            4.12
        
        
            org.apache.hbase
            hbase-client
            1.7.1
        
        
            org.apache.hadoop
            hadoop-client
            2.7.6
        
        
            org.apache.hadoop
            hadoop-common
            2.7.6
        
相关操作 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class ToHbase {
    private HConnection conn;
    private HBaseAdmin hAdmin;

    @Before
    public void connect() {
        try {
            //获取Hadoop相关配置
            Configuration conf = new Configuration();
            //获取zookeeper配置
            conf.set("hbase.zookeeper.quorum", "master:2181,node1:2181,node2:2181");
            //获取与hbase的连接
            conn = HConnectionManager.createConnection(conf);
            //HMaster
            hAdmin = new HBaseAdmin(conf);
            System.out.println("连接:" + conn + "-HMaster:" + hAdmin);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Test   //建表
    public void createTable() {
        try {
            //创建表对象
            HTableDescriptor students = new HTableDescriptor("students");
            //创建表,至少指定一个列簇
            //列簇描述器
            HColumnDescriptor info = new HColumnDescriptor("info");
            //将列簇添加到表中
            students.addFamily(info);
            //创建表执行是由HMaster
            hAdmin.createTable(students);
            System.out.println(students.getNameAsString() + "表创建成功");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Test   //插入数据
    public void putData() {
        try {
            //通过表名,获取表的实例
            HTableInterface students = conn.getTable("students");
            //创建插入数据的实例,并添加行键
            Put put = new Put("1001".getBytes());
            //为行键对应的值,添加列簇、列名和具体的值
            put.add("info".getBytes(), "name".getBytes(), "xiaohei".getBytes());
            //表的实例将表的数据添加到表中
            students.put(put);
            System.out.println(students.getName().toString() + "成功插入数据");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Test   //获取表中的一条数据
    public void getData() {
        try {
            //通过表名获取表实例
            HTableInterface students = conn.getTable("students");
            //创建获取数据的实例,并添加行键
            Get get = new Get("1500100018".getBytes());
            //表的实例get方法获取结果
            Result result = students.get(get);
            //获取行键
            String rk = Bytes.toString(get.getRow());
            //通过结果获取值
            String s = Bytes.toString(result.getValue("info".getBytes(), "name".getBytes()));
            System.out.println(rk + ":" + s);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Test   //删除表
    public void deleteTable() {
        try {
            //先检查改表是否存在
            if (hAdmin.tableExists("students")) {
                //删除表前,需将表禁用
                hAdmin.disableTable("students");
                //删除表
                hAdmin.deleteTable("students");
                System.out.println(conn.getTable("students").getName().toString() + "表成功删除");
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Test   //插入多行数据
    public void putAll() {
        try {
            //通过表名,获取表的实例对象
            HTableInterface students = conn.getTable("students");
            BufferedReader br = new BufferedReader(new FileReader("F:\soft\IDEAprojects\hadoop-bigdata\hadoop-hbase\students.txt"));
            //也可创建一个集合,一次性插入数据
            ArrayList list = new ArrayList<>();
            String line = null;
            while ((line = br.readLine()) != null) {
                String[] split = line.split(",");
                //为插入数据创建实例,并添加行键,以第一列为行键
                Put put = new Put(split[0].getBytes());
                //插入数据
                put.add("info".getBytes(), "name".getBytes(), split[1].getBytes());
                put.add("info".getBytes(), "age".getBytes(), split[2].getBytes());
                put.add("info".getBytes(), "gender".getBytes(), split[3].getBytes());
                put.add("info".getBytes(), "clazz".getBytes(), split[4].getBytes());
                //将每一行数据对应的put实例,添加到集合中
                list.add(put);
                //将每一行数据插入
                //students.put(put);
            }
            //将集合中的数据插入表中
            students.put(list);
            System.out.println(students.getName().toString() + "表数据插入成功");
            br.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Test   //scan扫描查询数据
    public void dataQuery() {
        try {
            //通过表名获取表的实例对象
            HTableInterface students = conn.getTable("students");
            //使用scan扫描数据
            Scan scan = new Scan();
            //若不需要全局扫描,可设定开始和结束行[start,end)
            scan.setStartRow("1500100001".getBytes());
            scan.setStopRow("1500100011".getBytes());
            //将scan加入表中
            ResultScanner scanner = students.getScanner(scan);
            //调用ResultScanner中的next()方法,next()是指向下一个数据的索引。有点类似于我之前迭代器的指针
            Result rs = null;
            while ((rs = scanner.next()) != null) {
                //若知道表的列簇和列名,结果可以通过列簇、列名获取表中的值
//                String name = Bytes.toString(rs.getValue("info".getBytes(), "name".getBytes()));
//                String age = Bytes.toString(rs.getValue("info".getBytes(), "age".getBytes()));
//                String gender = Bytes.toString(rs.getValue("info".getBytes(), "gender".getBytes()));
//                String clazz = Bytes.toString(rs.getValue("info".getBytes(), "clazz".getBytes()));
                //获取行键
                String rk = Bytes.toString(rs.getRow());
                System.out.print(rk);
                System.out.print("t");
//                System.out.println(rk + ":" + "name:" + name + ",age:" + age + ",gender:" + gender + ",clazz:" + clazz);

                //2、也可以获取一行中所有单元格集合
                List cells = rs.listCells();
                for (Cell cell : cells) {
                    //获得列名
                    String col = Bytes.toString(CellUtil.cloneQualifier(cell));
                    //获取列值
                    String s = Bytes.toString(CellUtil.cloneValue(cell));
                    System.out.print(col + ":" + s);
                    System.out.print("t");
                }
                System.out.println();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @After  //关闭资源
    public void close() {
        if (conn != null) {
            try {
                conn.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        if (hAdmin != null) {
            try {
                hAdmin.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/961838.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号