(1)启动hive的元数据服务
hive --service metastore 或 nohup hive --service metastore >> metastore.log 2>&1 & //后台启动
(2)进入hive目录,将hive-site.xml文件取出来放在idea项目的resources中
(3)导入依赖
org.apache.spark spark-hive_2.11 2.4.5
(4)代码(sql语法)
---转成Dataframe val stuDF = spark.table("students")
sql语法操作平时一样
object Demo07hivespark {
def main(args: Array[String]): Unit = {
val spark: SparkSession = SparkSession.builder()
.master("local")
.appName("Demo07hivespark")
.config("spark.sql.shuffle.partitions", 3)
.enableHiveSupport() //开启hive支持
.getOrCreate()
//查看数据库
spark.sql("" +
"show databases")
.show()
//切换库
spark.sql("use shujia")
//查看表
spark.sql("show tables").show()
//操作数据
spark.sql(
"""
|select clazz
| ,count(*)
| from students
| group by clazz
""".stripMargin).show()
import spark.implicits._
import org.apache.spark.sql.functions._
//转成Dataframe进行DSL语法操作
val stuDF = spark.table("students")
stuDF.where($"clazz"==="理科一班")
.show()
}
}



