栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

记录一些自己学习大数据过程中的小笔记

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

记录一些自己学习大数据过程中的小笔记


1.Pyspark中print用不了
解决办法:命令行先加入from __future__ import print_function  

2.linux重启断网后,ifconfig显示没有ens33
解决办法:

ifconfig ens33 up
systemctl stop NetworkManager
systemctl disable NetworkManager
ifup ens33
systemctl restart network.service

3. linux中的python安装第三方库一直报错
解决办法:下载文件解压后,再用python setup.py install

4.zepeelin连接hive显示 zeppelininode="/tmp/hadoop-yarn":root:supergroup:drwxrwx---权限不够
解决办法:

注意下各种权限,hdfs dfs -chmod -R 777 /tmp

5.hive中对时间处理,如果时间没有秒钟,无法使用hour函数,可以用concat加上
解决办法:hour(date_format(concat(order_time,':00'),'yyyy-MM-dd HH:mm:ss'))


6.zepeelin启动

解决办法:

start-all.sh
zkServer.sh start
service mysql start
hive --service metastore    #进程需独占一窗口
nohup hive --service hiveserver2 &    #进程需独占一窗口
./zeppelin-daemon.sh start

7.sqoop启动
解决办法:

bin/sqoop list-databases
 --connect jdbc:mysql://node01:3306/
 --username root --password ****

8.sqoop报错  ERROR tool.ExportTool: Error during export
解决办法:mysql后面一定要使用node01(自己的ip地址)
bin/sqoop export     --connect jdbc:mysql://node01:3306/app_didi     --username root     --password *****     --table t_order_total     --export-dir /user/hive/warehouse/app_didi.db/t_order_total/month=2020-04/

9.启动minicoda,使用superset
解决办法:conda activate superset   关闭conda deactivate

10.启动与关闭superset
解决办法:

gunicorn --workers 5 --timeout  120 --bind node01:8787 "superset.app:create_app()" --daemon
ps -ef | awk '/superset/  && !/awk/{print $2}' | xargs kill -9

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/499076.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号