信息安全课程的一个任务，正好在了解的同时记录一下，都是很基础的概念和理解，如有问题希望各位大佬多多指正。

流程思考

经过讨论，我们认为此次课设的目的为让我们更多的了解爬虫-反爬虫-反反爬虫机制，了解基础的反爬虫手段，与相应的反反爬虫模式，并根据网络资料对一些经典的反反爬虫案例进行复现

目录

1. 简介
2. 爬虫的原理与基本过程
3. 反爬虫原理与经典模式
4. 反反爬虫方法
5. 经典反反爬虫案例复现

---

简介

网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
而反网络爬虫则是根据ip访问频率，浏览网页速度，账户登录，输入验证码等技术阻止爬虫程序运行的程序。
反反爬虫则是绕开反网络爬虫机制再次抓取信息的网络爬虫程序。
举个例子，爬虫像一个小偷，要去房子里偷数据，而反爬虫则是这间住房的防护措施，小偷第一次被铁门阻挡之后选择挖地道，就是一种反反爬虫的方式。总之防护的手段多种多样，小偷的手段也层出不穷。

爬虫的原理与数据抓取模式

• 爬虫的定义
• 爬虫的应用
• 爬虫的原理
• 爬虫的基本流程

爬虫的定义

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 ——以上来自百度百科
简单来说，就是自动请求网页并获取数据的程序

爬虫的应用

爬虫的应用多种多样，从我们本专业的学习生活来讲，可以通过学习爬虫来建立或优化独立的搜索引擎，也可以使用爬虫来获取机器学习需要的大量数据，或者去爬想看的剧喜欢明星的照片等。在信息安全角度，爬虫除了页面本身信息之外，还可以获得浏览器的传输信息，从而获取用户数据。

爬虫的原理

首先我们需要了解网上冲浪的实际过程：
在浏览器中输入地址 —— 经过DNS服务器找到服务器主机 —— 向服务器发送一个请求 —— 服务器经过解析后发送给用户浏览器结果
用户实际上得到的只是html的代码，即爬虫的任务就是分析这段代码，从中提取对自己有用的信息

爬虫的基本流程

• 发起请求
  通过url向服务器发起request请求，请求可以包含额外的header信息。
• 获取响应内容
  如果服务器正常响应，那我们将会收到一个response，response即为我们所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。
• 解析内容
  如果是HTML代码，则可以使用网页解析器进行解析，如果是Json数据，则可以转换成Json对象进行解析，如果是二进制的数据，则可以保存到文件进行进一步处理。
• 保存数据
  可以保存到本地文件，也可以保存到数据库（MySQL，Redis，Mongodb等）