要全部罗列出来还真挺困难,很多非主流的模块也可以做爬虫。大致分成3类:1、类似urllib,requests,需要自行构造请求,组织url关联,抓取到的数据也要自行考虑如何保存。2、类似selenium,模拟浏览器,大多用于爬取一些动态的网页内容,需要模拟点击,下拉等操作等。3、类似scrapy 爬虫框架,相对来说更简单,进行一些配置,组织爬取的逻辑即可。