栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Linux安装MySql与Spark连接Mysql数据库(通过JDBC连接数据库)

Linux安装MySql与Spark连接Mysql数据库(通过JDBC连接数据库)

一。安装MySQL

1.简单方式

sudo apt-get update

sudo apt-get install mysq-server

*此种方式可能由与Linux系统的不同安装的MySQL版本不一样(注意8.0还是5.0)

2.安装包方式(39条消息) linux 安装mysql8.0 超详细图文教程_亮亮同學的博客-CSDN博客_linux安装mysql8.0

(里面极其详细)

2.可能出现问题

安装过程中不需要输入密码,会自动生成,需要我们进行修改

从上面链接的16步开始修改(此处不修改后面,使用一般通用代码JDBC连接数据库会出现错误:java.sql.SQLException: Access denied for user 'root'@'localhost')

二。Spark连接Mysql数据库(通过JDBC连接数据库)

1.下载对应驱动

2。把该驱动程序拷贝到spark的安装目录” /usr/local/spark/jars” 

cd /usr/local/spark  

3.启动一个spark-shell,启动Spark Shell时,必须指定mysql连接驱动jar包

./bin/spark-shell   --jars /usr/local/spark/jars/mysql-connector-java-8.0.20.jar --driver-class-path /usr/local/spark/jars/mysql-connector-java-8.0.20.jar

(注意目录与jar包是否与MySql匹配)

4。以下命令连接数据库,读取数据(8.0的)

val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/spark").option("driver","com.mysql.cj.jdbc.Driver").option("dbtable", "student").option("user", "root").option("password", "123456").load()
jdbcDF.show()
 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663368.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号