您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

在Python中从gzip格式的CSV删除BOM

在Python中从gzip格式的CSV删除BOM

首先,您需要解码文件内容,而不是对其进行编码。

其次,该csv模块不喜欢Python 2.7中的unicode字符串,因此在对数据进行解码之后,您需要将其转换回utf-8。

最后,csv.reader文件的各行上传递迭代,而不是其中包含换行符的大字符串。

所以:

csv.reader(f.read().decode('utf-8-sig').encode('utf-8').splitlines())

但是,您可能认为仅手动删除BOM会更简单/更有效:

def remove_bom(line):
    return line[3:] if line.startswith(codecs.BOM_UTF8) else line

csv.reader((remove_bom(line) for line in f), dialect = 'excel', delimiter = ';')

这有一点不同,因为它从任何以“ 1”开头的行中删除了BOM,而不仅仅是第一行。如果您不需要保留其他BOM,那么可以使用以下方法进行修复:

def remove_bom_from_first(iterable):
    f = iter(iterable)
    firstline = next(f, None)
    if firstline is not None:
        yield remove_bom(firstline)
        for line in f:
            yield f
python 2022/1/1 18:45:08 有301人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶