此工作解决方案使用split
Shell中可用的命令。由于作者已经接受了使用非python解决方案的可能性,因此请不要投票。
首先,我创建了一个包含1000M条目(15 GB)的测试文件,
awk 'BEGIN{for (i = 0; i < 1000000000; i++) {print "123.123.123.123"} }' > t.txt
然后我用了split
:
split --lines=30000000 --numeric-suffixes --suffix-length=2 t.txt t