栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

【SPARK本地WIndows运行词云】贵州大学SPark初级编程本地运行词云。

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【SPARK本地WIndows运行词云】贵州大学SPark初级编程本地运行词云。

1、前置

前提本地hadoop、java、spark都安装好。
1、winutils.exe复制到hadoop安装目录下的bin目录里面;并将hadoop.dll文件复制到c:windowssystem32
2、建立pycharm文件,把词云代码敲进去:

iimport logging
import os
from pyspark import SparkContext
//本地词云文件存放位置
test_file_name="C://Users//一han啊//Desktop//作业//大数据技术与应用//pythonProject//WordCount.txt"
sc=SparkContext("local","WordCountPyDemo")
text_file=sc.textFile(test_file_name)
counts=text_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a+b).foreach(print)
sc.stop

3、在插件下载页面把py4j和pyspark下载。
4、修改项目的运行的环境变量:
5、点击edit configureations,点击Environment variables右端小图标:添加两个环境变量
其中PYTHONPATH是你的spark路径下的python文件夹,SPARKHOMME是你的spark路径

运行报错:

错误原因:python版本过高。
解决方法:降低python版本到3.7;这应该是pyspark支持的问题。
Python下载网址:下载python-3.7.0
下载完后更新pycharm运营Python为3.7.0版本,具体步骤:

1、插件下载页面点击点击Python,点击shouall后点击+号进去到添加python解释器页面,点击System interperter:

2、点击右边三个点进去添加页面、浏览到你刚才安装的Python3.7.0,,选择python.exe,点击ok一路返回到插件下载,把刚才的py4j和pyspark下回去。

3、进去前面的edit configuration界面,选择Python3.7.0,并应用:

4、点击运行。报新的错误:

解决方法:
进去电脑设计–高级设置–环境变量设置,添加蓝色的环境变量:变量名:PYSPARK_PYTHON
值:你刚才安装python3.7.0路径里面的那个python.exe,添加完环境变量后重启电脑(重点)。

重置后重新运行,成功:

修改前:python3.9+hadoop2.7+spark2.5.1
修改后:python3.7+hadoop2.7+spark2.5.1

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/942794.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号