您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

如何在python中将文本文件拆分为单词?

如何在python中将文本文件拆分为单词?

没有人建议过发电机,我很惊讶。这是我的处理方式:

def words(stringIterable):
    #upcast the argument to an iterator, if it's an iterator already, it stays the same
    lineStream = iter(stringIterable)
    for line in lineStream: #enumerate the lines
        for word in line.split(): #further break them down
            yield word

现在,这可以在您可能已经在内存中的简单句子列表中使用:

listOfLines = ['hi there', 'how are you']
for word in words(listOfLines):
    print(word)

但是它在文件上也可以正常工作,而无需读取内存中的整个文件

with open('words.py', 'r') as myself:
    for word in words(myself):
        print(word)
python 2022/1/1 18:45:41 有315人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶