当我尝试将脚本写入MySQL时,我遇到了“ java.sql.SQLException:没有合适的驱动程序”。
这是我为解决此问题所做的工作。
在script.py中
df.write.jdbc(url="jdbc:mysql://localhost:3333/my_database" "?user=my_user&password=my_password", table="my_table", mode="append", properties={"driver": 'com.mysql.jdbc.Driver'})然后我以这种方式运行了火花提交
SPARK_HOME=/usr/local/Cellar/apache-spark/1.6.1/libexec spark-submit --packages mysql:mysql-connector-java:5.1.39 ./script.py
请注意,SPARK_HOME特定于spark的安装位置。对于您的环境,https://github.com/sequenceiq/docker-
spark/blob/master/README.md可能会有所帮助。
如果以上所有内容都令人困惑,请尝试以下操作:
在t.py中替换
sqlContext.read.format("jdbc").option("url",url).option("dbtable","people").load()与
sqlContext.read.format("jdbc").option("dbtable","people").option("driver", 'com.mysql.jdbc.Driver').load()并运行
spark-submit --packages mysql:mysql-connector-java:5.1.39 --master local[4] t.py



