Requests库的几个例子

---

例子1. 爬取亚马逊某商品页信息

import requests url = "https://amazon.cn/gp/product/B01M8L5Z3Y"
try:kv = {'user-agent':'Mozilla/5.0'} # Mozilla/5.0 代表主流浏览器r = requests.get(url,headers = kv)r,raise_for_status()r.encoding = r,apparent_encodingprint(r.text[1000:2000])
except:print("爬取失败") 

例子2. 爬取京东某商品页面信息

import requests url = "https://item.jd.com/2967929.html"
try:r = requests.get(url)r,raise_for_status()r.encoding = r,apparent_encodingprint(r.text[1000:2000])
except:print("爬取失败") 

例子3. 使用百度搜索关键词

import requests
keyword = "Python"
try:kv = {'wd':keyword}r = request.get('http://www.baidu.com/s',params = kv)print(request.url)r.raise_for_status()print(len(r.text))
except:print("爬取失败")

例子4. 爬取网站图片并下载

import requests
import os 
url = "http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
root = "D://pics//"
path = root + url,split('/')[-1]
try:if not os.path.exists(root):os.mkdir(root)if not os.path.exists(path):r = requests.get(url)with open(path, 'wb') as f:f.write(r.content)f.close()print("文件保存成功")else:print("文件已存在")
except:print("爬取失败")

例子5. 查询ip地址的归属

import requests
url = "http://m.ip138.com/ip.asp?ip="
try:r = requests.get(url+'202.204.80.112')r.raise_for_status()r.encoding = r.apparent_encodingprint(r.text[-500:])
except:print("爬取失败")

---

使用函数总结

# 下文中使用r代表一个requests对象r.raise_for_status() 
# raise_for_status() 能够判断返回的Response类型状态是不是200。如果是200，他将表示返回的内容是正确的，如果不是200，他就会产生一个HttpError的异常。 r.apparent_encoding
# r.encoding：查看header中的charset，获得编码方式。如果header中不存在charset，则认为编码为ISO-8859-1 
# r.apparent_encoding 分析代码中的内容，解析得到编码方式。if not os.path.exists(root):os.mkdir(root)
# 如果没有root路径，则在root路径创建文件夹string.split('/')[-1]
# 将string 按照'/'划分，取最后部分r.text[-500:] r.text[:1000] r.text[1000: 2000]
# 取得r的文本信息，后面数字分别代表，取最后500个字符，取前1000个字符以及取1000-2000的字符