目录

一、通用爬虫和聚焦爬虫

1.什么是网络爬虫？

1、通用爬虫

2.聚焦网络爬虫

二、HTTP和HTTPS

1.HTTP工作原理

1.浏览器发送HTTP请求的过程

三、客户端HTTP请求

1.请求方法

2.Get 和 Post 详解

3.常用的请求报头

四、HTTP响应

1.响应状态码

2.Cookie和Session

五、图片下载器（案例）

一、通用爬虫和聚焦爬虫

1.什么是网络爬虫？

1. 网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
2. 根据使用场景，网络爬虫可分为：通用爬虫 和 聚焦爬虫两种。

1、通用爬虫

1. 通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。 由于商业原因，它们的技术细节很少公布出来。 这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。 虽然存在一定缺陷，通用网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值。
2. 通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
3. 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着 整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。
4. 通用网络爬虫的结构大致可以分为页面爬行模块 、页面分析模块、链接过滤模块、页面数据库、URL 队列、初始 URL 集合几个部分。为提高工作效率，通用网络爬虫会采取一定的爬行策略。 常用的爬行策略有：深度优先策略、广度优先策略。

• 深度优先策略：其基本方法是按照深度由低到高的顺序，依次访问下一级网页链接，直到不能再深入为止。 爬虫在完成一个爬行分支后返回到上一链接节点进一步搜索其它链接。 当所有链接遍历完后，爬行任务结束。 这种策略比较适合垂直搜索或站内搜索， 但爬行页面内容层次较深的站点时会造成资源的巨大浪费。
•  广度优先策略：此策略按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。 当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。 这种策略能够有效控制页面的爬行深度，避免遇到一个无穷深层分支时无法结束爬行的问题，实现方便，无需存储大量中间节点，不足之处在于需较长时间才能爬行到目录层次较深的页面。

通用爬虫基本工作流程：

搜索引擎如何获取一个新网站的URL：

1. 新网站向搜索引擎主动提交网址：
2. 在其他网站上设置新网站外链
3. 和DNS解析服务商(如DNSPod等）合作，新网站域名将被迅速抓取

爬虫限制（规则）

搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。

1. rel=“nofollow”,，告诉搜索引擎爬虫无需抓取目标页，同时告诉搜索引擎无需将的当前页的Pagerank传递到目标页.
2. Robots协议（也叫爬虫协议、机器人协议等），全称是“网络爬虫排除准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

 局限性

1. 大多情况下，网页里90%的内容对用户来说都是无用的。
2. 搜索引擎无法提供针对具体某个用户的搜索结果。
3.  图片、数据库、音频、视频多媒体等不能很好地发现和获取。
4. 基于关键字的检索，难以支持根据语义信息提出的查询，无法准确理解用户的具体需求。

2.聚焦网络爬虫

1. 聚焦网络爬虫（Focused Crawler），又称主题网络爬虫（Topical Crawler），是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫[8]。 和通用网络爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求 。
2. 聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页 抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。
3. 聚焦网络爬虫和通用网络爬虫相比，增加了链接评价模块以及内容评价模块。聚焦爬虫爬行策略实现的关键是评价页面内容和链接的重要性，不同的方法计算出的重要性不同，由此导致链接的访问顺序也不同。

• 基于内容评价的爬行策略：DeBra将文本相似度的计算方法引入到网络爬虫中，提出了 Fish Search 算法，它将用户输入的查询词作为主题，包含查询词的页面被视为与主题相关，其局限性在于无法评价页面与主题相关 度 的 高 低 。 Herseovic对 Fish Search 算 法 进 行 了 改 进 ，提 出 了 Sharksearch 算法，利用空间向量模型计算页面与主题的相关度大小。
• 基于链接结构评价的爬行策略 ：Web 页面作为一种半结构化文档，包含很多结构信息，可用来评价链接重要性。 PageRank 算法最初用于搜索引擎信息检索中对查询结果进行排序，也可用于评价链接重要性，具体做法就是每次选择 PageRank 值较大页面中的链接来访问。 另一个利用 Web结构评价链接价值的方法是 HITS 方法，它通过计算每个已访问页面的 Authority 权重和 Hub 权重，并以此决定链接的访问顺序。
• 基于增强学习的爬行策略：Rennie 和 McCallum 将增强学习引入聚焦爬虫，利用贝叶斯分类器，根据整个网页文本和链接文本对超链接进行分类，为每个链接计算出重要性，从而决定链接的访问顺序。
• 基于语境图的爬行策略：Diligenti 等人提出了一种通过建立语境图（Context Graphs）学习网页之间的相关度，训练一个机器学习系统，通过该系统可计算当前页面到相关 Web 页面的距离，距离越近的页面中的链接优先访问。印度理工大学（IIT）和 IBM 研究中心的研究人员开发了一个典型的聚焦网络爬虫。 该爬虫对主题的定义既不是采用关键词也不是加权矢量，而是一组具有相同主题的网页。 它包含两个重要模块：一个是分类器，用来计算所爬行的页面与主题的相关度，确定是否与主题相关；另一个是净化器，用来识别通过较少链接连接到大量相关页面的中心页面。

因此，重点学习的对象就是聚焦爬虫

二、HTTP和HTTPS

HTTP协议-80端口：
HyperTextTransferProtocol, 超文本传输协议是一种发布和接收HTML页面的方法。
HTTPS-443端口：
HypertextTransferProtocoloverSecureSocketLayer, 简单讲是HTTP的安全版，在HTTP下加入SSL 层。

1.HTTP工作原理

网络爬虫抓取过程可以理解为模拟浏览器操作的过程。

1.浏览器发送HTTP请求的过程

1. 当用户在浏览器地址栏中输入一个URL并按回车键后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“GET”和“POST”两种方法。
2. 当我们在浏览器输入URL，比如http://www.baidu.com的时候，浏览器发送一个Request请求去获取http://www.baidu.com的html文件，服务器把Response文件对象发送回给浏览器。
3. 浏览器分析Response中的HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。
4. 当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。

URL

URL（Uniform/UniversalResourceLocator的缩写）：统一资源定位符，是用于完整地描述Internet上网页和其他资源的地址的一种标识方法。

基本格式: scheme://host[:port#]/path/…/[?query-string][#anchor]

query-string：参数，发送给http服务器的数据
anchor：锚（跳转到网页的指定锚点位置）

三、客户端HTTP请求

客户端发送一个HTTP请求到服务器的请求消息，包括以下格式：

1.请求方法

根据HTTP标准，HTTP请求可以使用多种请求方法.

1. HTTP0.9：只有基本的文本GET功能。
2. HTTP1.0：完善的请求/响应模型，并将协议补充完整，定义了三种请求方法：GET,POST和HEAD方法。
3. HTTP1.1：在1.0基础上进行更新，新增了五种请求方法：OPTIONS,PUT,DELETE,TRACE和CONNECT方法。

2.Get 和 Post 详解

1. GET是从服务器上获取数据，POST是向服务器传送数据
2. GET请求参数显示，都显示在浏览器网址上，即“Get”请求的参数是URL的一部分。
3. POST请求参数在请求体当中，消息长度没有限制而且以隐式的方式进行发送，通常用来向HTTP服务器提交量比较大的数（比如请求中包含许多参数或者文件上传操作等），请求的参数包含在“Content-Type”消息头里，指明该消息体的媒体类型和编码。

3.常用的请求报头

• Host: 主机和端口号
• Connection : 客户端与服务连接类型, 默认为keep-alive
• User-Agent： 客户浏览器的名称
• Accept： 浏览器或其他客户端可以接受的MIME文件类型
• Referer：表明产生请求的网页来自于哪个URL
• Accept-Encoding：指出浏览器可以接受的编码方式。
• Accept-Language：语言种类
• Accept-Charset： 字符编码
• Cookie：浏览器用这个属性向服务器发送Cookie
• Content-Type：POST请求里用来表示的内容类型。

四、HTTP响应

HTTP响应由四个部分组成，分别是： 状态行 、 消息报头 、 空行 、 响应正文 

1.响应状态码

• 200: 请求成功
• 302: 请求页面临时转移至新url
• 307和304: 使用缓存资源
• 404: 服务器无法找到请求页面
• 403: 服务器拒绝访问，权限不够
• 500: 服务器遇到不可预知的情况

2.Cookie和Session

服务器和客户端的交互仅限于请求/响应过程，结束之后便断开，在下一次请求时，服务器会认为新的客户端。为了维护他们之间的链接，让服务器知道这是前一个用户发送的请求，必须在一个地方保存客户端的信息。

• Cookie：通过在客户端记录的信息确定用户的身份。
• Session：通过在服务器端记录的信息确定用户的身份。

五、图片下载器（案例）

1.制作爬虫的基本步骤

1. 需求分析: http://image.baidu.com/search/index?tn=baiduimage&word=cat
2. 分析网页源代码，配合F12
3. 编写正则表达式或者其他解析器代码
4. 存储数据到本地
5. 正式编写python爬虫代码

需求分析：想要某个网站的图片，不用自己去搜索，还能自动下载
网页分析:

2.代码

import os
import reimport requests
from colorama import Foredef download_image(url, keyword):"""下载图片:param url: 百度图片的网址:return: Bool"""#  1. 向服务器发起HTTP请求response = requests.get(url)#  2. 获取服务器端的响应信息#  响应信息: status_code, text, urldata = response.text#  3. 编写正则表达式，获取图片的网址# "ObjURL":"http:\/\/img2.imgtn.bdimg.com\/it\/u=3459137507,1368309920&fm=214&gp=0.jpg"# 获取到的: http:\/\/img2.imgtn.bdimg.com\/it\/u=3459137507,1368309920&fm=214&gp=0.jpg# 正则的语法: .代表除了\n之外的任意字符, *代表前一个字符出现0次或者无数次. ?非贪婪模式pattern = r'"ObjURL":"(.*?)"'# 4. 根据正则表达式寻找符合条件的图片网址.image_urls = re.findall(pattern, data)# 5. 下载猫的图片到本地index = 1for image_url in image_urls:# 转义字符: \n, \t, \ , \\,image_url = image_url.replace('\\', '')print(image_url)  # 'xxxx.jpg   xxxx.png'# response.text返回unicode的文本信息， response.text返回bytes类型的信息try:response = requests.get(image_url)except Exception as e:print(Fore.RED + "[-]下载失败： %s" % (image_url))else:old_image_filename = image_url.split('/')[-1]if old_image_filename:image_format = old_image_filename.split('.')[-1]# jpeg?imageview&thumbnail=550x0if '?' in image_format:image_format = image_format.split('?')[0]else:image_format = 'jpg'# 生成图片的存储目录, keyword='cat', 'dog', 'python django'keyword = keyword.replace(' ', '_')print(keyword)if not os.path.exists(keyword):os.mkdir(keyword)image_filename = os.path.join(keyword, str(index) + '.' + image_format)with open(image_filename, 'wb') as f:f.write(response.content)print(Fore.BLUE + "[+] 保存图片%s.jpg成功" % (index))index += 1if __name__ == '__main__':keyword = input("请输入批量下载图片的关键字: ")# url地址里面参数信息可以长可以短， 有的参数可以省略的。url = 'http://image.baidu.com/search/index?tn=baiduimage&word=' + keywordprint(Fore.BLUE + '[+] 正在请求网址: %s' % (url))download_image(url, keyword)

3.效果展示