栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Python数据处理-10万行检索结果for循环处理下载的csv文件

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python数据处理-10万行检索结果for循环处理下载的csv文件

1. 写代码或者读代码都要有Top-down或者Bottom up的思维,先把任务分块

2. 代码由函数模块构成,理解每一个模块才能让轮子跑起来。

3. 耐心,一行一行的确认可执行最终就能实现你的结果。比如第一步路径我都花了1个小时才确认了我的Thinkpad电脑是/路径。

4. 注释很重要,因为哪怕很短的时间你也会忘光光

import csv
import os
import re

def get_gvkey_and_company(fds):
    f = open(os.getcwd() + "/Factiva_Verified_Unverified.csv", 'r')
    f_csv = csv.reader(f)
    for row in f_csv:
        if len(row) == 0:
            continue
        if row[4] != fds:
            continue
        return [row[0], row[1]]
    f.close()

def get_fds(path):
    f = open(path, 'r')
    f_csv = csv.reader(f)
    for row in f_csv:
        if len(row) == 0:
            continue
        if row[0] != "Text":
            continue
        re_obj = re.search("fds=(.*) and rst.*", row[1])
        if re_obj:
            return re_obj.group(1)
    f.close()


def get_dates(path):
    result = list()
    f = open(path, 'r')
    f_csv = csv.reader(f)
    for row in f_csv:
        if len(row) == 0:
            continue
        re_obj = re.search("Start Date.*", row[0])
        if re_obj:
            result.append([row[0], row[1]])
    return result


file_dir = "/Users/anthony/PycharmProjects/pythonProject/Factiva/Envrlocal_Code2"
for root, dirs, files in os.walk(file_dir, topdown=False):
    for i in files:
        fds = get_fds(os.getcwd() + f"/Envrlocal_Code2/{i}")
        gv_and_company = get_gvkey_and_company(fds)
        dates = get_dates(os.getcwd() + f"/Envrlocal_Code2/{i}")

        f = open(os.getcwd() + "/final_anyway.csv", 'a', newline='')
        writer = csv.writer(f)
        for j in dates:
            if gv_and_company:
                writer.writerow([gv_and_company[0], gv_and_company[1], fds, j[0], j[1]])
                print(gv_and_company[0], gv_and_company[1], fds, j)

            else:
                writer.writerow(["", "", fds, j[0], j[1]])

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/864751.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号