引入

聚焦爬虫：爬取页面中指定的页面内容
编码流程：

1、指定url
2、发起请求
3、获取响应数据
4、数据解析
5、持久化存储

数据解析原理概述

• 解析的局部的文本内容都会在标签或者标签对应的属性中进行存储。
  • 1.进行制定标签的定位
  • 2.标签或者标签对应的属性中存储的数据值进行提取（解析）

数据解析分类

• 正则表达式
• bs4解析
• xpath解析（***）

方式一:正则表达式

• 爬取图片

import requestsif __name__ == '__main__':# 如何爬取图片数据？url = 'https://book.apeland.cn/media/images/2019/04/15/snip20190415_21.png'# content是返回的二进制图片数据# text （字符串）  content （二进制） json() (对象类型)img_data = requests.get(url=url).contentwith open('./正则.jpg', 'wb') as fp:fp.write(img_data)print('over!!!!')

• 需求：爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中

import requests
import re
import osif __name__ == '__main__':if not os.path.exists('./qiutuLibs'):os.makedirs('./qiutuLibs')url = 'https://www.qiushibaike.com/imgrank/page/%d'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36',}# 指定起始也结束页码page_start = int(input('enter start page:'))page_end = int(input('enter end page:'))for page in range(page_start, page_end+1):print('正在下载第%d页图片' % page)new_url = format(url % page)# 使用通用爬虫爬取一整张页面page_text = requests.get(url=new_url, headers=headers).text# 使用聚焦爬虫对页面中的图片进行解析提取ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'img_src_list = re.findall(ex, page_text, re.S)for src in img_src_list:# 拼接一个完整的图片地址src = 'https:' + src# 请求到图片的二进制数据img_data = requests.get(url=src, headers=headers).content# 生成图片名称img_name = src.split('/')[-1]# 图片存储的路径img_path = './qiutuLibs/' + img_name# 存储with open(img_path, 'wb') as fp:fp.write(img_data)print(img_name, "下载成功！")

方式二:bs4

bs4解析原理：

• 1.实例化一个BeautifulSoup对象，并将页面源码数据加载到该对象。
• 2.通过调用BeautifulSoup对象中的相关的属性或方法进行标签定位和数据提取。

环境安装

pip install bs4
pip install lxml

基本使用

使用流程：

- 导包：from bs4 import BeautifulSoup
- 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容（1）转化本地文件：fp = open('本地文件', 'w', encoding='utf-8')soup = BeautifulSoup(fp, 'lxml')（2）转化网络文件：page_text = response.textsoup = BeautifulSoup(page_text , 'lxml')（3）打印soup对象显示内容为html文件中的内容

基础巩固：

（1）根据标签名查找- soup.tagName：返回的是文档中出现的第一个tagName标签例：soup.a   只能找到第一个符合要求的超链接a标签
（2）获取标签中的属性- soup.a.attrs  获取a所有的属性和属性值，返回一个字典- soup.a.attrs['href']   获取href属性- soup.a['href']   也可简写为这种形式
（3）获取标签中存储的内容- soup.a.string：只能获取标签下直系的文本内容- soup.a.text：可以获取某一个标签下所有的文本内容- soup.a.get_text()：可以获取某一个标签下所有的文本内容【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容
（4）find：找到第一个符合要求的标签- soup.find('a')  找到第一个符合要求的- soup.find('a', title="xxx")- soup.find('a', alt="xxx")- soup.find('a', class_="xxx")- soup.find('a', id="xxx")
（5）find_all：找到所有符合要求的标签- soup.find_all('a')- soup.find_all(['a','b']) 找到所有的a和b标签- soup.find_all('a', limit=2)  限制前两个
（6）根据选择器选择指定的内容- soup.select('#feng')- 例：soup.select('.tag a')[0]  # tag标签下的第一个a标签- 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器- 层级选择器：div .dudu #lala .meme .xixi  :空格表示下面好多级div > p > a > .lala          :>只能是表示下面一级【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

实战案例

需求：使用bs4实现将诗词名句网站中三国演义小说的每一章的内容爬去到本地磁盘进行存储。
http://www.shicimingju.com/book/sanguoyanyi.html

import requests
import time
from bs4 import BeautifulSoupheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36',}url = 'http://www.shicimingju.com/book/sanguoyanyi.html'page_text = requests.get(url=url, headers=headers).text# print(page_text)# 在首页解析出章节的标题以及详情页的urlsoup = BeautifulSoup(page_text, 'lxml')li_list = soup.select('.book-mulu > ul > li')fp = open('./sanguo.txt', 'w', encoding='utf-8')for li in li_list:title = li.a.string#print(title)detail_url = 'https://www.shicimingju.com' + li.a['href']#print(detail_url)# 对详情页内容发起请求，解析出章节内容detail_page_text = requests.get(url=detail_url, headers=headers).text# print(detail_page_text)detail_soup = BeautifulSoup(detail_page_text, 'lxml')div_tag = detail_soup.find('div', class_='chapter_content')content = div_tag.textfp.write(title + ':' + content + '\n')print(title + '爬取成功！')

方式三：xpath解析

引入

xpath解析是我们在爬虫中最常用也是最通用的一种数据解析方式，由于其高效且简介的解析方式受到了广大程序员的喜爱。在后期学习scrapy框架期间，也会再次使用到xpath解析。

这里是引用

环境安装

pip install lxml

解析原理

1.使用通用爬虫爬取网页数据
2.实例化etree对象，且将页面数据加载到该对象中
3.使用xpath函数结合xpath表达式进行标签定位和指定数据提取

如何实例化一个etree对象

from lxml import etree

-1.将本地的html中的源码数据加载到etree对象中：

tree = etree.parse(filePath)

-2.将互联网上获取的源码数据加载到etree对象中

tree = etree.HTML(‘page_text’)

r_list = tree.xpath(‘xpath表达式’) # 返回列表

xpath表达式

-  / ：表示的是重根节点开始定位。表示一个层级例：'/html/head/title'   # - // ：表示的多个层级。可以重任意的位置开始定位。- 属性定位：tag[@attrName="attrValue"]例：#找到class属性值为song的div标签//div[@class="song"] - 索引定位：#找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a//div[@class="tang"]/ul/li[2]/a注：索引是重1开始的- 取文本：/text():表示获取某个标签下的文本内容(标签下直系的文本内容)//text():表示获取某个标签下的文本内容和所有子标签下的文本内容//div[@class="song"]/p[1]/text()//div[@class="tang"]//text()- 取属性：/@attrName//div[@class="tang"]//li[2]/a/@href

实战案例

项目需求：解析58二手房的相关数据

import requests
from lxml import etreeif __name__ == '__main__':headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36',# 'Connection': 'close',}url = 'https://bj.58.com/ershoufang/'page_text = requests.get(url=url, headers=headers).text# 实例化一个etree对象# 数据解析tree = etree.HTML(page_text)li_list = tree.xpath('//ul[@class="house-list-wrap"]/li')with open('./ershoufang.txt', 'w', encoding='utf-8') as fp:for li in li_list:title = li.xpath('.//div[@class="list-info"]/h2/a/text()')[0]fp.write(title + '\n')print(title + '\n')

项目需求：解析图片数据（知识点：通用处理中文乱码的解决方案）

http://pic.netbian.com/4kmeinv/

import requests
import os
from lxml import etreeif __name__ == '__main__':headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36',}url = 'http://pic.netbian.com/4kmeinv/'response = requests.get(url=url, headers=headers)# 获取页面原始编码格式# print(response.encoding)# response.encoding = 'utf-8'page_text = response.text# 数据解析：src的属性值  alt的属性值tree = etree.HTML(page_text)li_list = tree.xpath('//div[@class="slist"]//li')if not os.path.exists('./picLibs'):os.mkdir('./picLibs')for li in li_list:img_src = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0]img_name = li.xpath('./a/img/@alt')[0] + '.jpg'# 通用处理中文乱码的解决方案#img_name = img_name.encode('iso-8859-1').decode('gbk')jl_name = jl_name.encode('iso-8859-1').decode('utf-8')# print(img_name, img_src)img_data = requests.get(url=img_src, headers=headers).contentimg_path = 'picLibs/' + img_namewith open(img_path, 'wb') as fp:fp.write(img_data)print(img_name + '下载完成！')

项目需求：解析出所有城市名称（一起解析 xpath(‘表达式一 | 表达式二’)）

https://www.aqistudy.cn/historydata/

import requests
from lxml import etreeif __name__ == '__main__':headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36',# 'Connection': 'close',}url = 'https://www.aqistudy.cn/historydata/'page_text = requests.get(url=url, headers=headers).text# 实例化一个etree对象# 数据解析all_city_names = []tree = etree.HTML(page_text)# 方式一：一个一个解析# hot_li_list = tree.xpath('//div[@class="hot"]//li')# for li in hot_li_list:#     hot_city_name = li.xpath('./a/text()')[0]#     all_city_names.append(hot_city_name)## all_li_list = tree.xpath('//div[@class="all"]//li')# for li in all_li_list:#     city_name = li.xpath('./a/text()')[0]#     all_city_names.append(city_name)# print(all_city_names, len(all_city_names))# 方式二：一起解析 xpath('表达式一 | 表达式二')li_list = tree.xpath('//div[@class="bottom"]/ul/li | //div[@class="bottom"]/ul//li')for li in li_list:city_name = li.xpath('./a/text()')[0]all_city_names.append(city_name)print(all_city_names, len(all_city_names))