chunksize在
read_csv读取数据帧时,您应该考虑使用in参数,因为它返回一个
TextFileReader对象,然后您可以传递该对象
pd.concat以连接您的块。
chunksize = 100000tfr = pd.read_csv('./movielens/ratings.csv', chunksize=chunksize, iterator=True)df = pd.concat(tfr, ignore_index=True)如果您只想单独处理每个块,请使用,
chunksize = 20000for chunk in pd.read_csv('./movielens/ratings.csv', chunksize=chunksize, iterator=True): do_something_with_chunk(chunk)


