栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark2.0+ElasticSearch开发用户画像实战笔记:(4)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark2.0+ElasticSearch开发用户画像实战笔记:(4)

 

解决: Unable to instantiate SparkSession with Hive support because Hive classes are not found.

在pom.xml中添加hive库依赖即可:

        
        
            org.apache.spark
            spark-hive_2.11
            2.4.8
        

Hive 远程连接的方法
#在hive-server中,启动
cd /export/servers/hive
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &
利用java访问hive代码:

package edu.spark_java.tag.etl;

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import com.alibaba.fastjson.JSON;



import java.util.List;

public class MemberETL {
    public static void main(String[] args) {
       SparkSession session=SparkSession.builder()
               .appName("member etl")
               .master("local[*]")
               .enableHiveSupport()
               .getOrCreate();

       Dataset dataset=session.sql("select sex as membersex,count(id) as sexcount from i_member.t_member group by sex");
       List list=dataset.toJSON().collectAsList();
       System.out.println(JSON.toJSONString(list));


    }
}

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/964838.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号