概述
>是否可以简单地跳过缺少值的行？我知道在读完整个文件后我可以这样做,但这意味着我不能在那之前设置dtype,所以会使用太多RAM.
>在读取数据期间,是否可以将缺失值转换为我选择的其他值？
使用转换器功能
但是,目前,您可以定义自己的函数来执行此操作并将其传递给read_csv中的converter参数：
def conv(val):
if val == np.nan:
return 0 # or whatever else you want to represent your NaN with
return val
df = pd.read_csv(file,converters={colWithNaN : conv},dtypes=...)请注意,转换器采用dict,因此您需要为每个要处理NaN的列指定它.如果很多列受到影响,它可能会有点令人厌烦.您可以指定列名称或数字作为键.
另请注意,这可能会降低read_csv性能,具体取决于转换器功能的处理方式.此外,如果您只有一列需要在读取期间处理NaN,则可以跳过正确的函数定义并使用lambda函数：
df = pd.read_csv(file,converters={colWithNaN : lambda x: 0 if x == np.nan else x},dtypes=...)阅读大块
你也可以用你缝合在一起的小块来读取文件以获得最终输出.你可以用这种方式做很多事情.这是一个说明性的例子：
result = pd.DataFrame()
df = pd.read_csv(file,chunksize=1000)
for chunk in df:
chunk.dropna(axis=0,inplace=True) # Dropping all rows with any NaN value
chunk[colToConvert] = chunk[colToConvert].astype(np.uint32)
result = result.append(chunk)
del df,chunk请注意,此方法不严格复制数据.有一段时间,块中的数据存在两次,紧接在result.append语句之后,但只重复了chunksize行,这是一个公平的讨价还价.该方法也可以比使用转换器功能更快.
总结
以上是编程之家为你收集整理的python – 在read_csv中跳过缺少值的行全部内容，希望文章能够帮你解决python – 在read_csv中跳过缺少值的行所遇到的程序开发问题。
如果您也喜欢它,动动您的小指点个赞吧
602392714
清零编程群