python爬虫有几种方式???我知道可以用webdriver,urllib,requests这几种方法。

兄弟姐妹有没有人讲详细点的,我想分析下,python爬虫有几种方式???我知道可以用webdriver,urllib,requests这几种方法。
最新回答
鲜血染红嫁衣

2024-06-23 03:40:17

要全部罗列出来还真挺困难,很多非主流的模块也可以做爬虫。
大致分成3类:
1、类似urllib,requests,需要自行构造请求,组织url关联,抓取到的数据也要自行考虑如何保存。
2、类似selenium,模拟浏览器,大多用于爬取一些动态的网页内容,需要模拟点击,下拉等操作等。
3、类似scrapy 爬虫框架,相对来说更简单,进行一些配置,组织爬取的逻辑即可。
听风入韵

2024-06-23 05:46:13

不是 scrapy 嘛
其实,针对具体的内容得用具体的方法