requests库安装

通过pip安装

直接在cmd输入：pip install requests 即可安装

或者通过pycharm安装

get请求

发送get请求，直接通过requests.get()，传入url地址、params、headers即可
提交参数不需要自己进行url编码，模块会编码好

import requestsresponse = requests.get('http://www.baidu.com')
print(type(response.text))       # 使用.text返回的是<class 'str'>  字符串类型
print(response.text)             # 模块自己会解码，但是有时会出现编码错误的情况print(type(response.content))    # 使用.content返回的是<class 'bytes'>  字节码
print(response.content)
# 使用.content，然后自己根据网站的编码方式，解码为正常的网页html数据
print(response.content.decode('utf-8'))"""其他属性说明"""
print(response.url)             # 当前访问的url
print(response.encoding)        # 当前模块使用的编码
print(response.status_code)     # 网页返回状态码

get请求时传参

params = {'wd': '中国'
}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}response = requests.get('http://www.baidu.com/s', params=params, headers=headers)  # 参数以键值对方式传入 params参数
with open('get_baidu.html', 'w', encoding='utf-8') as f:f.write(response.content.decode('utf-8'))response2 = requests.get('http://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD', headers=headers)  # 参数直接在url上
with open('get_baidu2.html', 'w', encoding='utf-8') as f:f.write(response.content.decode('utf-8'))print(response.url, response2.url)
# 参数自动编码，模块会把url编码成：http://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD
# 用urllib模块需要手动通过parse编码：parse.urlencode(data).encode('utf-8')

response.content：直接从网络上抓取数据，没有进行任何解码，默认返回的是bytes，因为Python在传输数据的时候都是将数据转换成bytes字节的

response.text：requests库会自己判断猜测编码方式并将response.content进行解码，最终返回字符串类型，这种方式容易出现编码错误导致乱码（有些网站编码方式有问题，或者模块解码时默认的编码方式跟网站的不一样），所以一般使用response.content这种方式，而后手动进行解码：response.content.decode(‘utf-8’)

post请求

发送post请求，通过requests.post()，传入url地址、data/json、headers即可
json是用来传递json格式的参数的，如：{“user”:“123”,“pw”:“456”}
data是传递普通字符串格式的，如：user=123啦啦&pw=456
参数不需要自己进行编码，模块会编码好

import requestsdata = {'first': 'true','pn': '1','kd': 'python'
}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36','Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
}response = requests.post('https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false', data=data, headers=headers)
print(type(response.json()))
print(response.json())

如果返回的是json数据，调用response.json()即可将json解析为Python的数据类型
返回其他格式的数据和get一样，使用response.content、response.text

代理IP

无论是post还是get使用代理的话直接传递一个proxies=即可

import requestsproxy = {'http': '121.19.96.197:8118'
}response = requests.get('http://httpbin.org/ip')
print(response.text)response = requests.get('http://httpbin.org/ip', proxies=proxy)
print(response.text)

cookie处理

保持cookie直接在操作前使用session = requests.session()，之后的所有网页请求操作由session来完成

ssl证书：
在访问https网站的时候如果遇到一些证书不合法的网站，在post或get的时候加上参数verify=False即可

import requests'''获取网页返回的cookie：response.cookies'''
response = requests.get('http://www.baidu.com')
# print(response.cookies)
# print(response.cookies.get_dict())   # .get_dict()以字典的方式返回cookie'''保持登录cookie'''
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}data = {'email': '123456', 'password': '456789'}login_url = 'http://www.renren.com/PLogin.do'session = requests.session()  # 保存cookie
session.post(login_url, data=data, headers=headers)  # 通过session.post()登录人人网账号
response2 = session.get('http://www.renren.com/880151247/profile')  # 通过session.get()访问大鹏的主页with open(r'\renren.html', 'w', encoding='utf-8')as f:f.write(response2.text)

这篇文章是我以前看知了课堂的21天搞定Python分布爬虫时的笔记
只是整理笔记，方便自己以后忘了回头再看，大神勿喷。