下班后我都学了什么 | Python 如何高效的遍历DataFrame？

小小数据分析师～ 给自己充充电，然后把笔记整理在博客～～

❤️ 如果我的总结对你有帮助，请点赞支持哦，谢谢！！
欢迎留言交流～～ 一起进步 

❤️ 「更多文章」
下班后我都学了什么 | 文章集合

一、为什么学这个？
二、内容大纲
三、正文
四、脑图

背景：上周打比赛，对百万量级的Dataframe做遍历，用的for循环处理要将近6hours ……，效率低下。

因此，除了for循环，用更好的方法优化吗？

• 0 参考资料
• 1 查询Dataframe的方法？
  • 1.0 数据说明
  • 1.1 []切片方
  • 1.2 loc
  • 1.3 iloc
  • 1.4 at
  • 1.5 iat
  • 1.6 ix
• 2 遍历Dataframe 的方法及比较
  • 2.0 数据说明
  • 2.1 用不同方法实现：两元素相加 # aaa + bbb
    （1）python 循環 + iloc 定位
    （2）python 循環 + iat 定位
    （3）pandas.Dataframe.iterrows() 迭代器
    （4）pandas.Dataframe.apply 迭代
    （5）pandas.Dataframe.apply 迭代 + 只讀兩列
    （6）列表構造
    （7）pandas 數組操作
    （8）numpy 數組操作
• 3 结论
  • 3.1 运行速度
  • 3.2 建议
    （1）优先使用numpy数组操作；不能数组操作的时候用列表构造！
    （2）能用at/iat就不用loc/iloc；能用apply就不用迭代，能用数组操作就不用其他方法。