您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

合并分类文件的Python类,该如何改进?

合并分类文件的Python类,该如何改进?

请注意,在python2.6中,heapq有一个新的合并功能,它将为您完成此操作。

要处理自定义功能,您只需将文件迭代器包装上装饰它的东西,以便它根据键进行比较,然后将其剥离:

def decorated_file(f, key):
    for line in f: 
        yield (key(line), line)

filenames = ['file1.txt','file2.txt','file3.txt']
files = map(open, filenames)
outfile = open('merged.txt')

for line in heapq.merge(*[decorated_file(f, keyfunc) for f in files]):
    outfile.write(line[1])

即使在较早的python版本中,简单地从较晚的heapq模块中实现合并也是可能值得的。它是纯python,在python2.5中未修改地运行,并且由于它使用堆来获取一个最小值,所以在合并大量文件时应该非常有效。

您应该能够简单地从python2.6安装中复制heapq.py,将其作为“ heapq26.py”复制到您的源代码中,并使用“ from heapq26 import merge”-其中没有使用2.6特定功能。另外,您也可以复制合并功能(重写heappop等调用以引用python2.5 heapq模块)。

python 2022/1/1 18:39:40 有251人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶