第1篇 Hadoop本地单节点安装
第2篇 Linux使用yum安装Mysql
第3篇 Hive单节点安装和启用
第4篇 Hive建表DDL详解
第5篇 Hive优化实现
第6篇 SQL的DQL查询优化
第7篇 Linux单节点Anaconda安装和Pycharm连接
第8篇 Spark单节点安装与pyspark使用
第9篇 Pycharm中操作spark和hive
第10篇 Azkaban单机部署
第11篇 Azkaban的简单使用
1.Anaconda安装 1.1下载
官方下载Linux版
个人下载资源分享
1.自行上传到Linux系统/opt文件夹下
2.执行安装命令按图执行
# 安装anaconda sh Anaconda3-2021.05-Linux-x86_64.sh
按图操作直至完成
3.重启环境后开头显示(base)即安装成功
# 重启环境 reboot1.3验证
查看python安装包的方法是pip list,查看某一个安装包例如pip list | grep 'pandas'。
输入命令python进入python环境,执行个简单python即可判断环境使用是否正常。
具体见图
见本人另一篇文章 windows下python的pip安装和虚拟环境使用 二.构建轻量级虚拟环境
这一块内容选择性看就行,环境的建立和使用跟windows下并无差别,直接执行命令即可。
2.2pyspark安装包pip install 3.Pycharm连接 3.1解释器添加这里必须是专业版的pycharm,公共版无SSH配置
懒得下载的可以在 个人下载资源分享 这里可以直接获取。
1.打开Pycharm,打开一个项目,选择"文件-设置-项目-Python解释器"
2.添加解释器,我已经配完了,所以才会有下面的第三方库
3.添加SSH解释器,专业版才有
4.添加SSH配置
5.选择解释器和文件同步位置
上述操作完成后,配置就算完成了,后续的加载过程会比较长,要有耐心。
等右下方加载完成即可使用,写个简单脚本执行下说明环境配置无误。
至此,配置全部完成,后续会有spark安装和pyspark使用内容更新,请点击关注。
声明:本文所载信息不保证准确性和完整性。文中所述内容和意见仅供参考,不构成实际商业建议,如有雷同纯属巧合。



