您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

将大文本文件(约50GB)拆分为多个文件

将大文本文件(约50GB)拆分为多个文件

此工作解决方案使用splitShell中可用的命令。由于作者已经接受了使用非python解决方案的可能性,因此请不要投票。

首先,我创建了一个包含1000M条目(15 GB)的测试文件

awk 'BEGIN{for (i = 0; i < 1000000000; i++) {print "123.123.123.123"} }' > t.txt

然后我用了split

split --lines=30000000 --numeric-suffixes --suffix-length=2 t.txt t

花了5分钟才能制作出34个名称t00-的小文件t33。33个文件均为458 MB,最后一个t33为153 MB。

其他 2022/1/1 18:33:54 有743人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶