如何在熊猫数据框上将NLTK word_tokenize库应用于Twitter数据？

简而言之：

df['Text'].apply(word_tokenize)

或者，如果您想添加另一列来存储标记化的字符串列表：

df['tokenized_text'] = df['Text'].apply(word_tokenize)

有专门针对Twitter文本编写的标记生成器，请参见 http://www.nltk.org/api/nltk.tokenize.html#module- nltk.tokenize.casual

使用方法nltk.tokenize.TweetTokenizer：

from nltk.tokenize import TweetTokenizer
tt = TweetTokenizer()
df['Text'].apply(tt.tokenize)

其他 2022/1/1 18:32:10 有657人围观

撰写回答

你尚未登录，登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进，让解决方法与时俱进

请先登录

推荐问题

如何通过忽略Swift中的关联值来比较枚举和关联值？

如何通过忽略Swift中的关联值来比较枚举和关联值？

Swift 2022-01-01 1131
如何使用JSON-LD标记面包屑列表中的最后一个非链接项目

如何使用JSON-LD标记面包屑列表中的最后一个非链接项目

其他 2022-01-01 1398
如何在JavaScript中将浮点数转换为整数？

如何在JavaScript中将浮点数转换为整数？

javascript 2022-01-01 1273
如何基于EXPLAIN计划优化MySQL查询

如何基于EXPLAIN计划优化MySQL查询

MySQL 2022-01-01 1257
如何在C＃/。NET中查找本地计算机的FQDN？

如何在C＃/。NET中查找本地计算机的FQDN？

c# 2022-01-01 1111
如何在Spring MVC中使用AJAX渲染视图

如何在Spring MVC中使用AJAX渲染视图

Java 2022-01-01 1251
如何在PHP变量中去除空格？

如何在PHP变量中去除空格？

php 2022-01-01 1182
如何枚举JavaScript对象的属性？

如何枚举JavaScript对象的属性？

javascript 2022-01-01 1233
如何立即关闭Node.js HTTP服务器？

如何立即关闭Node.js HTTP服务器？

Node 2022-01-01 1143
如何在IE8和9中支持占位符属性

如何在IE8和9中支持占位符属性

其他 2022-01-01 1165
如何使用jQuery访问父窗口对象？

如何使用jQuery访问父窗口对象？

JS 2022-01-01 1184
如何建立一个动态查询，该查询增加了迄今为止的天数，并使用标准API比较该日期与另一个日期？

如何建立一个动态查询，该查询增加了迄今为止的天数，并使用标准API比较该日期与另一个日期？

其他 2022-01-01 1246
如何使用CSS将跨度更改为类似pre？

如何使用CSS将跨度更改为类似pre？

CSS 2022-01-01 1220
如何在Express中模拟中间件以跳过身份验证以进行单元测试？

如何在Express中模拟中间件以跳过身份验证以进行单元测试？

其他 2022-01-01 1235
如何使用C＃获取两个DateTime对象之间的时差？

如何使用C＃获取两个DateTime对象之间的时差？

c# 2022-01-01 1197
Django-如何使用South重命名模型字段？

Django-如何使用South重命名模型字段？

Go 2022-01-01 1440
如何计算回溯算法的时间复杂度？

如何计算回溯算法的时间复杂度？

其他 2022-01-01 1229
如何在.htaccess中隐藏.php扩展名

如何在.htaccess中隐藏.php扩展名

php 2022-01-01 1270
使用GhostDriver时如何设置屏幕/窗口大小

使用GhostDriver时如何设置屏幕/窗口大小

其他 2022-01-01 1311
如何在html5中制作透明画布？

如何在html5中制作透明画布？

其他 2022-01-01 1195

如何在熊猫数据框上将NLTK word_tokenize库应用于Twitter数据？

撰写回答

推荐问题

如何通过忽略Swift中的关联值来比较枚举和关联值？

如何使用JSON-LD标记面包屑列表中的最后一个非链接项目

如何在JavaScript中将浮点数转换为整数？

如何基于EXPLAIN计划优化MySQL查询

如何在C＃/。NET中查找本地计算机的FQDN？

如何在Spring MVC中使用AJAX渲染视图

如何在PHP变量中去除空格？

如何枚举JavaScript对象的属性？

如何立即关闭Node.js HTTP服务器？

如何在IE8和9中支持占位符属性

如何使用jQuery访问父窗口对象？

如何建立一个动态查询，该查询增加了迄今为止的天数，并使用标准API比较该日期与另一个日期？

如何使用CSS将跨度更改为类似pre？

如何在Express中模拟中间件以跳过身份验证以进行单元测试？

如何使用C＃获取两个DateTime对象之间的时差？

Django-如何使用South重命名模型字段？

如何计算回溯算法的时间复杂度？

如何在.htaccess中隐藏.php扩展名

使用GhostDriver时如何设置屏幕/窗口大小

如何在html5中制作透明画布？

分类汇总

您的鼓励是对我最大的支持