使用Selenium Python进行Web爬网[Twitter + Instagram]

我设法使它能够使用requests。您的代码如下所示：

from bs4 import BeautifulSoup
import requests

query = "geocode%3A35.68501%2C139.7514%2C30km%20since:2016-03-01%20until:2016-03-02&f=tweets"

twitter = 'https://twitter.com/search?q=' + query

content = requests.get(twitter)
soup = BeautifulSoup(content.text)

print(soup)

然后，您可以使用该soup对象来解析所需的内容。如果您的查询正确，则同样的方法也适用于Instagram。

python 2022/1/1 18:39:43 有250人围观

撰写回答

你尚未登录，登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进，让解决方法与时俱进

请先登录

推荐问题

Greasemonkey 1.0中的jQuery与使用jQuery的网站冲突

Greasemonkey 1.0中的jQuery与使用jQuery的网站冲突

JS 2022-01-01 1220
如何使用JSON-LD标记面包屑列表中的最后一个非链接项目

如何使用JSON-LD标记面包屑列表中的最后一个非链接项目

其他 2022-01-01 1401
如何在Spring MVC中使用AJAX渲染视图

如何在Spring MVC中使用AJAX渲染视图

Java 2022-01-01 1255
使用动态where子句休眠

使用动态where子句休眠

其他 2022-01-01 1144
如何使用jQuery访问父窗口对象？

如何使用jQuery访问父窗口对象？

JS 2022-01-01 1185
使用Curl和PHP使会话保持活动状态

使用Curl和PHP使会话保持活动状态

php 2022-01-01 1074
如何建立一个动态查询，该查询增加了迄今为止的天数，并使用标准API比较该日期与另一个日期？

如何建立一个动态查询，该查询增加了迄今为止的天数，并使用标准API比较该日期与另一个日期？

其他 2022-01-01 1251
使用LESS构建选择器列表

使用LESS构建选择器列表

其他 2022-01-01 1137
如何使用CSS将跨度更改为类似pre？

如何使用CSS将跨度更改为类似pre？

CSS 2022-01-01 1224
在mysql sproc中使用变量作为表名

在mysql sproc中使用变量作为表名

MySQL 2022-01-01 1218
如何使用C＃获取两个DateTime对象之间的时差？

如何使用C＃获取两个DateTime对象之间的时差？

c# 2022-01-01 1198
我可以在php中的SESSION数组上使用array_push吗？

我可以在php中的SESSION数组上使用array_push吗？

php 2022-01-01 1179
Django-如何使用South重命名模型字段？

Django-如何使用South重命名模型字段？

Go 2022-01-01 1442
使用Spring Functional Web Framework的REST端点的背压

使用Spring Functional Web Framework的REST端点的背压

Java 2022-01-01 1248
使用GhostDriver时如何设置屏幕/窗口大小

使用GhostDriver时如何设置屏幕/窗口大小

其他 2022-01-01 1313
如何使用最新版本的jQuery并在RichFaces中为jQuery取回“ $”？

如何使用最新版本的jQuery并在RichFaces中为jQuery取回“ $”？

JS 2022-01-01 1064
我可以使用BeautifulSoup删除脚本标签吗？

我可以使用BeautifulSoup删除脚本标签吗？

其他 2022-01-01 1024
多态对象的JSON使用者

多态对象的JSON使用者

其他 2022-01-01 1111
我如何重新连接使用selenium的webdriver打开的浏览器？

我如何重新连接使用selenium的webdriver打开的浏览器？

其他 2022-01-01 1083
如何使用Servlet和Ajax？

如何使用Servlet和Ajax？

Jave 2022-01-01 1200

使用Selenium Python进行Web爬网[Twitter + Instagram]

撰写回答

推荐问题

Greasemonkey 1.0中的jQuery与使用jQuery的网站冲突

如何使用JSON-LD标记面包屑列表中的最后一个非链接项目

如何在Spring MVC中使用AJAX渲染视图

使用动态where子句休眠

如何使用jQuery访问父窗口对象？

使用Curl和PHP使会话保持活动状态

如何建立一个动态查询，该查询增加了迄今为止的天数，并使用标准API比较该日期与另一个日期？

使用LESS构建选择器列表

如何使用CSS将跨度更改为类似pre？

在mysql sproc中使用变量作为表名

如何使用C＃获取两个DateTime对象之间的时差？

我可以在php中的SESSION数组上使用array_push吗？

Django-如何使用South重命名模型字段？

使用Spring Functional Web Framework的REST端点的背压

使用GhostDriver时如何设置屏幕/窗口大小

如何使用最新版本的jQuery并在RichFaces中为jQuery取回“ $”？

我可以使用BeautifulSoup删除脚本标签吗？

多态对象的JSON使用者

我如何重新连接使用selenium的webdriver打开的浏览器？

如何使用Servlet和Ajax？

分类汇总

您的鼓励是对我最大的支持