加入收藏 | 设为首页 | 会员中心 | 我要投稿 安卓应用网 (https://www.0791zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Python > 正文

python-如果将chsv分块加载,pandas dropna()将不起作用

发布时间:2020-05-24 22:34:15 所属栏目:Python 来源:互联网
导读:我正在使用chunksize加载24GB的csv文件reader = pd.read_csv(in_file, chunksize=10000) for chunk in reader: chunk.dropna(inplace=True) ... 我正在运行的问题是csv文件仍然具有空值.任何想法可能是什么?最佳答案我最终要做的是rea

我正在使用chunksize加载24GB的csv文件

reader = pd.read_csv(in_file,chunksize=10000)

for chunk in reader:
    chunk.dropna(inplace=True)
    ...

我正在运行的问题是csv文件仍然具有空值.任何想法可能是什么? 最佳答案 我最终要做的是

reader = pd.read_csv(in_file,chunksize=10000)

for chunk in reader:
    chunk = chunk.dropna()
    ...

感谢您的帮助@kabanus和@ user32185.我还使用了dask来帮助调整文件大小.

(编辑:安卓应用网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读