栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

datafaker教程的安装报错踩坑笔记

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

datafaker教程的安装报错踩坑笔记

datafaker详细的安装使用教程:
参照文档:https://blog.csdn.net/A15517340610/article/details/105623103

看完以上文章,一定一定要结合我以下这篇血的教训踩坑笔记看,问题就能水到渠成解决 :
安装前环境的准备:
一、python3.4的安装(自行百度)
注意:安装完后要按照对应版本呢的python3.4-devel
sudo yum -y install python3.4-devel
二、pip3的安装
1、安装epel-release
sudo yum -y install epel-release
2、安装python-pip
sudo yum -y install python-pip
3、升级pip
sudo pip install --upgrade pip 如果报错,则
pip3 install --upgrade pip
4、检查pip版本
pip --version
5、配置pip3镜像源
注意:如果pip 出现 bad interpreter: No such file or directory
访问:https://www.jianshu.com/p/3c1cf230bf60 解决


Datafaker的安装:
1、安装datafaker并更新到最新版本
pip3 install datafaker
pip3 install datafaker --upgrade

mysql的测试:
2、python3,则安装pymysql
pip3 install pymysql
3、在datafaker目录(默认/usr/local/lib/python3.6/site-packages)下__init__.py中添加以下两行
import pymysql
pymysql.install_as_MySQLdb()
4、在mysql创建好表
5、编写datafaker的文件(meta.txt)
6、最后执行datafaker命令
datafaker rdb mysql+mysqldb://用户名:密码@localhost:3600/库名?charset=utf8 表名 条数 --控制台打印 --meta 文件路径 --字段分隔符 , 
例如:datafaker rdb mysql+mysqldb://root:root@localhost:3600/test?charset=utf8 stu 10 --outprint --meta meta.txt --outspliter ,

hbase的测试注意项:
create 'ns1.test-table','Cf'
1、安装对应的依赖包
pip3 install happybase thrift

2、敲黑板,重点!!!一定一定要指定workers参数为1,因为datafaker线程代码方面写得还是有问题的,假如你插入数据100W条,那么不指定workers为1,那么只有10W条左右,标准命令:

pypy -m `datafaker hbase localhost:9090 表名 1000000 --meta hbase.txt --workers 1`

kafka-topics.sh --zookeeper bigdata-data2:24002 --create --topic hello --partitions 2  --replication-factor 2

hive的测试注意项:
sudo pip3 install sasl thrift-sasl thrift PyHive==0.6.3
sudo yum install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi
 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/920575.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号