栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

pycharm pyspark 加载mysql jar包,查询mysql数据

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

pycharm pyspark 加载mysql jar包,查询mysql数据

pyspark 可以通过pip或pycharm 直接安装,在用pyspark连mysql的时候发现报错
: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
这个时候要想办法把mysql jar包加载进来,直接看代码

from pyspark.sql import SparkSession
from pyspark import SparkConf, SparkContext, SQLContext
from pyspark.sql.functions import *

 sparkconf = SparkConf().set("spark.driver.extraClassPath",
                                "/Users/duzhixin/Downloads/baiwei/mysql-connector-java-5.1.17.jar")
    spark = SparkSession.builder.config(conf=sparkconf).appName("SimpleApp").getOrCreate()
    # spark.conf().set("spark.driver.extraClassPath", "/Users/duzhixin/Downloads/mysql-connector-java-5.1.17.jar")
    df = spark.read.format("jdbc").options(
        url="jdbc:mysql://***:3306/abi-cloud-middle-task-center-dev",
        driver="com.mysql.jdbc.Driver",
        dbtable="**", user="**", password="**").load()
    df.show()

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1030290.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号