栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Windows10 下jupyter配置pyspark + jupyterlab 已下载好所有配置文件

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Windows10 下jupyter配置pyspark + jupyterlab 已下载好所有配置文件

前言:

        自己想在jupyter跑起来pyspark的环境,不想在ubuntu下简陋的编辑环境,说白就是想要一个编辑器:

         在jupyterlab就可以这样编辑了# 也是最后成功的画面

 实现步骤

        整一个详细的步骤在参考文献哪里已经拥有,这这篇博文的目的是为了下次自己换一台电脑如何快速搭建起来自己可以学习pyspark sql的环境所需。因为时间的原因,各个版本都在不断迭代,即是我看下面大佬博文来学习搭建,奈何自己已经找到所需要的版本,所以会踩很多坑,现在将自己整理所有配置文件夹打包放在这里,下次自己就能快速搭建自己的环境了。

下载链接:通过飞书分享的pyspark搭建需要的文件

  1. hadoop-3.2.3
  2. hadooponwindows-master  用于替换文件,得到winutils.exe文件
  3. scala
  4. spark-3.2.1-bin-hadoop3.2-scala2.13
  5. winutils-master   github上面找到的各个hadoop版本对应的bin文件里可以找到winutils.exe文件
  6. jdk-8u201-windows-x64.exe  

        下次我只需要将所有文件放在一个文件夹里面,然后配置好系统环境就可以用了:

        Path环境里面:

bug1 : 

py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:182)
py4j.ClientServerConnection.run(ClientServerConnection.java:106)
java.base/java.lang.Thread.run(Thread.java:833)
[IPKernelApp] WARNING | Unknown error in handling PYTHONSTARTUP file C:ProgramDataspark-3.2.1-bin-hadoop3.2pythonpysparkshell.py:

解决方法:

        是因为jdk版本问题,我一开始的好像是下载了18,应该是下载错误,我更换成1.8,就解决了这个问题。

参考文献:

[1] 最通俗易懂的 Windows10 下配置 pyspark + jupyterlab 讲解(超级详细)_masonsxu的博客-CSDN博客

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/976110.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号