栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

如何通过executemany()语句转换要插入的熊猫数据框?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

如何通过executemany()语句转换要插入的熊猫数据框?

我最终弄清楚了这一点。因此,如果您有一个Pandas Dataframe想要写入数据库(

ceODBC
我使用的模块),则代码为:

(with

all_data
as the dataframe)将dataframe值映射到字符串,并将每一行作为一个元组存储在元组列表中

for r in all_data.columns.values:    all_data[r] = all_data[r].map(str)    all_data[r] = all_data[r].map(str.strip)   tuples = [tuple(x) for x in all_data.values]

对于元组列表,将所有null值指示符(已在上面的转换中作为字符串捕获)更改为可以传递给最终数据库的null类型。这对我来说是个问题,可能不适合您。

string_list = ['NaT', 'nan', 'NaN', 'None']def remove_wrong_nulls(x):    for r in range(len(x)):        for i,e in enumerate(tuples): for j,k in enumerate(e):     if k == x[r]:         temp=list(tuples[i])         temp[j]=None         tuples[i]=tuple(temp)remove_wrong_nulls(string_list)

创建与数据库的连接

cnxn=ceODBC.connect('DRIVER={SOMEODBCDRIVER};DBCName=XXXXXXXXXXX;UID=XXXXXXX;PWD=XXXXXXX;QUIETMODE=YES;', autocommit=False)cursor = cnxn.cursor()

定义一个将元组列表转换为a的函数,

new_list
这是对元组列表的进一步索引,转换为1000个块。这对于将数据传递到SQL查询不能超过1MB的数据库是必要的。

def chunks(l, n):    n = max(1, n)    return [l[i:i + n] for i in range(0, len(l), n)]new_list = chunks(tuples, 1000)

定义您的查询。

query = """insert into XXXXXXXXXXXX("XXXXXXXXXX", "XXXXXXXXX", "XXXXXXXXXXX") values(?,?,?)"""

遍历

new_list
包含每组1000个的元组列表并执行
executemany
。通过提交并关闭连接来完成此操作,仅此而已:)

for i in range(len(new_list)):    cursor.executemany(query, new_list[i])cnxn.commit()cnxn.close()


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/647048.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号