1：爬虫的流程介绍

1. 确认需求：你需要什么东西？你需要美女的图片
2. 寻找需求：哪里能找到你想要的东西？百度图库
3. 发送请求：发送访问页面的请求，获取页面的源代码。
4. 解析数据：从冗杂的源代码当中提取我们需要的信息。

2：Request的基本使用

首先我们要知道：GET,POST,PUT,DELETE,OPTIONS等请求方式简单总结。爬虫中使用的一般是get请求。

---

安装

pip install requests

基本使用

import requests as req#定义请求的url
url = "https://www.baidu.com"#发起get请求
res = req.get(url)#获取相应结果
print(res) #返回响应码
print(res.content) #返回二进制的文本流

1. request()方法的参数说明

request()方法的语法如下：

requests.request(method, url, **kwargs)

·method·参数，即发送HTTP请求的方法，对应上述6种方法；url即发送请求的网址。这两个参数为必需参数。

例如我们以“GET”方法访问百度，那么相应的代码就是上面写的那个

这样我们就得到了一个名为res的Response对象。我们可以从这个对象中获取想要的信息。

下面我们对可选参数**kwargs进行说明:

---

1.params

字典或字节序列，作为参数增加到url中，该参数常用于get请求。

例如我们想在豆瓣上搜索有关“西游记”的信息，一种方法就是手动拼接url字符串，“https://www.douban.com/search?q=西游记”。

另一种方法就是将其变成字典形式作为params参数进行传递：

params = {"q":"西游记"}
r = requests.request("get","https://www.douban.com/search", params = params)

---

2.data

字典、字节序列或文件对象，作为Request的内容，常用于发送post请求。

在我们进行登录、注册等有需要提交表单的操作时，就需要用到该参数。例如，当我们使用email登录人人网时，就需要传递此参数。

loginurl = "http://www.renren.com/PLogin.do"
postdata = {"email": "siquesan@163.com", "password": "12345678"}
r = requests.requests("post", loginurl, data = postdata)

当然上述请求可能并不会成功，因为还缺少一些关键的参数。

---

3 json

JSON格式的数据，作为Request的内容，常用于post请求。

JSON即JavaScript 对象表示法（JavaScript Object Notation），它是是存储和交换文本信息的语法。其形式类似于python中的字典：

'{"email": "siquesan@163.com", "password": "12345678"}'

但需要注意的是，字典是一种数据类型，而JSON一个字符串。

各种语言中都有处理JSON数据相关的模块。Python中常用json模块，后面我们会进行介绍。

---

4 headers

字典，HTTP定制头。

想一下，当我们用手机、ipad、电脑同时访问百度的主页（同一个网址），百度返回的页面是一样么？

当然不一样。那么百度的服务器是如何知道我们是用什么终端进行访问的呢？

答案就是headers参数中的“user-agent”。如果我们不设置headers参数，那么“user-agent”就默认为"python-requests/2.19.1"。这就相当于明目张胆地告诉服务器，这个请求来自于python的爬虫程序。设置了反爬程序的服务器就可能会拒绝响应。

因此，我们可以通过定制headers参数将自己伪装成浏览器。

伪装成Chrome浏览器的设置：

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}

随便拿一个网站看一下：

其他的我用的不是很多~

---

2. Response对象的属性和方法

• status_code属性：用于返回请求的状态码：状态码为200，表明请求成功。
  一般来说，状态码为2XX表示成功，3XX表示重定向，这两个都是成功；4XX表示请求错误，比如我们常见的404,5XX表示服务器错误，这两个都算失败。
• request.headers属性 :用于返回返回响应头部信息,，比如时间，路径之类的，重要的是user-agent身份信息。例如{'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
• encoding属性:Requests会根据响应头部信息中的Content-Type来判断文件的编码方式。如果没有找到相应的字段，就默认为“ISO-8859-1”。
• apparent_encoding属性:事实上有好多网页并不是以ISO-8859-1进行编码的。Requests同样提供依靠charade来猜测编码的操作。幸运的是，它猜的非常准。
• text属性:以文本形式返回响应内容。
• content属性:以字节的形式返回响应内容。如果将res.content.decode('utf-8')解码，那么效果相当于.text。
• cookies属性:如果响应中包含一些cookie，可以用此属性快速访问。
• url属性:用于返回响应的url。由于重定向的存在，可能会出现我们请求的地址和响应的地址并不 一样的情况。
• iter_content()方法:一边接受数据，一边处理数据
• close()方法:用于关闭连接。
• json()方法:Requests 中也有一个内置的 JSON 解码器，可以帮助我们处理 JSON 数据。如果响应的内容中有JSON编码的内容，将返回一个列表类型的数据，其中列表的元素为字典类型。
• raise_for_status()方法:如果出现异常将会抛出一个“HTTPError”类的异常。

3.request的请求头详解

请求头是非常重要的一部分，值得单独来研究一下。有很多网站识别到你是爬虫就会拒绝访问，因此我们需要调整请求头的信息。

又回到我们看到的这个浏览器访问的头信息，我们只需要把这个复制下来

url = "https://www.sogou.com/"
#定义请求头信息
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36 FS'        
}#发起get请求
res = req.get(url, headers = headers)

4.post请求与json对象的接受

下面代码调用百度翻译的页面对data数据中的kw元素“你好”，进行翻译，然后我们获取结果

import requests as req#定义请求的url:百度翻译
url = "https://fanyi.baidu.com/sug"
#定义请求头信息
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36 FS'        
}#定义post请求需要的参数
data={'kw':'你好'}
#发起post请求
res = req.post(url, headers = headers, data=data)
print(res.json())

{'errno': 0, 'data': [{'k': '你好', 'v': '[nǐ hǎo] how do you do; how are you; hello;'}, {'k': '你好，陌生人', 'v': '网络 Hello Stranger; knowing me knowing you;'}, {'k': '你好吗', 'v': 'How are you; How are you doing; How do you do;'}]}

可以看到这是一个json的数据，我们如何把对应的翻译前后的元素提取出来呢？‘你好’很容易提取，只需要res.json()['data'][0]['k]'即可，接下来我们把hello也拿出来

if res.status_code == 200:print("请求成功")data = res.json() #转化成json数据if data['errno'] == 0: #post请求回来的数据正常print("响应成功")k = data['data'][0]['k'] #输出返回数据的数据列表的第一个元素v = data['data'][0]['v'].split(';')[-2]print(k,'===',v)

运行结果

请求成功
响应成功
你好 ===  hello

~~未完待续