毕业生必看Python爬虫必学工具
2024-05-16 14:32:06
Python爬虫必学工具!
Python爬虫必学工具
Requests自我定义为HTTP for Humans：让HTTP服务人类， 或者说最人性化的HTTP。言外之意， 之前的那些HTTP库太过繁琐， 都不是给人用的。(urllib表示：怪我咯!)
尽管听上去有些自大，但实际上它的的确确配得上这个评价，用过的都说好。
我们先来看看它官网上的说法：Requests：让HTTP服务人类
Python爬虫必学工具
其他同样非常值得推荐的东西， 如Py Charm、Anaconda 等， 而Requests却不同， 它提供了官方中文文档， 其中包括了很清晰的"快速上手"和详尽的高级用法和接口指南。以至于我觉得再把文档里面内容搬运过来都是一种浪费。对于
Requests， 要做的仅仅是两件事：
告诉你有这样一个工具，用来开发爬虫很轻松
告诉你它的官方文档很好，你去读就可以了
安装
pip install requests即可
请求网页
import requests
r=requests.get('http：//httpbin.org/get')
print(r.status_code)
print(r.encoding)
print(r.text)
print(r.json() )
只需一行代码就可以完成HTTP请求。然后轻松获取状态码、编码、内容， 甚至按JSON格式转换数据。虽然这种简单请求用别的库也不复杂， 但其实在内部， Requests已帮你完成了
Python爬虫必学工具
添加headers、自动解压缩、自动解码等操作。写过课程中"查天气"的同学， 很可能踩过gzip压缩的坑， 用Requests 就不存在了。如果你发现获取的内容编码不对，也只需要直接给encoding赋值正确的编码后再访问text， 就自动完成了编码转换，非常方便。
中文官网地址
https：//requests.readthedocs.io/projects/cn/zh_CN/latest/
2024-05-16 17:06:08
Python爬虫必学工具!
Python爬虫必学工具
Requests自我定义为HTTP for Humans：让HTTP服
务人类， 或者说最人性化的HTTP。言外之意， 之前的那些
HTTP库太过繁琐， 都不是给人用的。(urllib表示：怪我咯
!)
尽管听上去有些自大，但实际上它的的确确配得上这个评价，用
过的都说好。
我们先来看看它官网上的说法：
其他同样非常值得推荐的东西， 如Py Charm、Anaconda
等， 而Requests却不同， 它提供了官方中文文档， 其中包括
了很清晰的"快速上手"和详尽的高级用法和接口指南。以至于我
觉得再把文档里面内容搬运过来都是一种浪费。对于
Requests， 要做的仅仅是两件事：
告诉你有这样一个工具，用来开发爬虫很轻松
告诉你它的官方文档很好，你去读就可以了
安装
pip install requests即可
请求网页
import requests
r·requests.get('http：//httpbin.org/get')
print(r.status_code)
print(r.encoding)
print(r.text)
print(r.json() )
只需一行代码就可以完成HTTP请求。然后轻松获取状态码、
编码、内容， 甚至按JSON格式转换数据。虽然这种简单请求
用别的库也不复杂， 但其实在内部， Requests已帮你完成了
Python爬虫必学工具
添加headers、自动解压缩、自动解码等操作。写过课程中"
查天气"的同学， 很可能踩过gzip压缩的坑， 用Requests
就不存在了。如果你发现获取的内容编码不对，也只需要直接给
encoding赋值正确的编码后再访问text， 就自动完成了编
码转换，非常方便。
中文官网地址
https：//requests.readthedocs.io/projects/cn/zh_CN/latest/
热门标签
