栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

python:windows搭建spark环境(anaconda+pycharm)

python:windows搭建spark环境(anaconda+pycharm)

一、anaconda部分配置 1、安装

在官网下载安装包,https://www.anaconda.com/products/individual,选择windows版本进行下载。下载完成后直接安装,一直点下一步就行。

2、配置环境变量

将下面三个加入电脑的环境变量Path中,我的anaconda安装路径是D:professional_appanaconda,大家按照直接的安装路径进行修改。
D:professional_appanaconda
D:professional_appanacondascripts
D:professional_appanacondaLibrarybin

3、创建环境(python3.6)

方式一:可视化界面创建
打开安装好的anaconda,点击environments --> create,在弹窗中填写自定义的环境名,选择需要的python版本,点击create,即可创建成功。

方式二:命令行创建

conda create -n [自定义环境名] python=[指定python版本] anaconda
4、激活环境

方式一:可视化界面激活环境
点击要激活的环境,当后面出现一个绿色的启动标识,则说明激活成功。

方式二:命令行激活环境

activate [环境名]

当前面出现环境名,则说明激活成功

二、下载spark包
  • https://spark.apache.org/downloads.html,在官网上下载需要的spark版本。
  • 我下载的是spark-2.4.4-bin-hadoop2.7,大家视情况而定。
  • 解压至目标文件夹。复制spark-2.4.4-bin-hadoop2.7/python/pyspark文件夹,至anaconda路径下的Libsite-packages中。


  • 若需要使用的python环境是上面自定义的,则要将pyspark复制到至anaconda路径下的anacondaenvspy36Libsite-packages中。(py36是我定义的环境名,大家按照自己的环境名去找路径)

三、pycharm部分配置

打开或者新建一个需要用到pyspark的项目。
点击导航栏上的File–setting,打开如下弹窗,按下图点击Add

选择刚才复制了pyspark的环境下的python.exe

四、配置检验

按照这样配置下来,代码中就可以直接使用pyspark了,不会报红。

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/674080.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号