接上期链接：https://blog.csdn.net/kiss_the_night/article/details/107452968

编写爬虫软件其实最好提前了解一些计算机网络的基本知识，我会考虑之后和python语法规则，做一些专门的整理。本次程序编写主要是参考了ZHOUJING的博客：https://www.zjhuiwan.cn/toDetail?articleId=1905241241124060007，大家可以去围观学习（膜）。但本次的程序我会重新编写、运行和按照我的思路改动程序，尽量让这次软件编写能让绝大多数人（包括我自己）入门程度地理解爬虫。同时也会在软件编写中介绍简单的python语法知识点。

什么是爬虫？简单的理解是对网站或软件中的数据进行查询和整理，最后得到我们需要的数据和信息。以小说网站爬虫为例，最后就需要整理下载出方便阅读的文本文件。当然，爬虫应该也有很多专业性更强的进阶应用，网站也会为了避免爬虫使用一些反爬虫的方法，这些问题作为入门程序不做讨论。

一、准备工作：

1.关于python库，模块和包的理解（来自对网络的整理）

python的流行主要依赖于其有众多功能强大的库（Library）。Python本身安装时就有自带的标准库（Standard Library），能满足大部分编程时的需求。在Python中，具有某些功能的模块和包都可以被称作库。

模块（Module）是一种以.py为后缀的文件，在.py文件中定义了一些常量和函数。模块的名称是该.py文件的名称。模块的名称作为一个全局变量__name__的取值可以被其他模块获取或导入。模块的导入通过ipmort来实现，导入模块的方式为：import + 特定模块名。模块有诸多函数组成，包由诸多模块机构化组成，库中也可以包含包、模块和函数。

包（Package）由模块文件构成，将众多具有相关功能的模块文件结构化组合形成包。构建一个包可以防止开发者面临无法确认是哪个模块被导入的问题。将模块放到包文件夹下，通过“包.模块名”来指定模块。示例：import 包名称.模块名称

2.Python的pip

pip 是 Python包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。

3.python 模块chardet下载及介绍

在处理字符串时，常常会遇到不知道字符串是何种编码，如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式，是否会有一种有效的编码方式？chardet是一个非常优秀的编码识别模块。chardet 是python的第三方库，需要下载和安装。

安装方法：打开cmd输入pip指令

pip install chardet 

但我们在pycharm的.py文件中输入import chardet，仍然不能正常导入，原因是路径没有正常导入导致PyCharm无法正常识别，参考：https://blog.csdn.net/mdxiaohu/article/details/82430060

①点击上方菜单栏File-Settings或后方对于快捷键打开Settings设置

②选中Version Control下方的项目，后方“test”对应的是你自己的项目名，再点击Project Interpreter项目编译，右边出现的主页面点击右上角的设置符号，出现的项中选择Add项

③选择System Interpreter，然后选择...，最后选择你的Python安装路径，一直选择OK关闭页面即可。

此时发现不会报错了，开始进行正式的程序编写

二、爬虫程序

1.如何爬取一个网页的html源代码

当我们使用浏览器进入一个网站时，可以理解为本机通过网络向网页发送请求的包，网页返回一个含有网页具体信息的包。而最终让网页呈现在外面眼前是通过网站的源代码，在使用浏览器时我们也可以用快捷键ctrl+u查看源代码，比如百度。源代码一般是由html语言和动态的脚本语言构成，具有较高的可读性。如果完全不了解网页设计对于爬虫理解上可能比较困难，从实例上也只是尽量让你了解皮毛。所以了解和学习网站设计的基础知识是非常有必要的。

2.用python语言查看并存储网页源代码

先给出一段完整的可执行代码，之后我们再来慢慢分析：

①运行PyCharm，在左上角菜单栏点击File-New Project，新建一个项目，命名为Crawler_1

②新建test1.py，写入如下代码

import urllib.request
import chardet
page=urllib.request.urlopen('http://www.meituba.com/dongmantupian') #打开网页
htmlCode=page.read() #获取网页源代码
# print(chardet.detect(htmlCode)) #查看编码方式
data = htmlCode.decode('utf-8')
print(data) #打印网页源代码
pageFile=open('pageCode.txt','wb')#以写的方式打开pageCode.txt
pageFile.write(htmlCode)#写入
pageFile.close()#开了记得关
print(chardet.detect(htmlCode)) #查看编码方式
print("finish!")

③发现报错，无法找到chardet，因此需要配置路径，上面有详细演示，这里用文字描述一遍：

菜单栏 - File - Settings，打开后选中Version Control下方的项目，后方“Crawler_1”对应的是你自己的项目名，再点击Project Interpreter项目编译，右边出现的主页面点击右上角的设置符号，出现的项中选择Add项，选择System Interpreter，然后选择...，最后选择你的Python安装路径，一直选择OK关闭页面即可。

④在点击菜单栏Run运行test1.py后，我们得到如下的输出。不用着急，简单分析一下：

红色部分：上面还有很多省略的部分，即网页源代码，也可以在浏览器“ctrl+u”查看源代码。对应代码行为：

print(data) #打印网页源代码

蓝色部分：查看网页源代码的编码方式，以便对源码进行解码。这部分输出的含义是：有0.99的可能确信网页的编码方式是utf-8。对应代码行为：

print(chardet.detect(htmlCode)) #查看编码方式

绿色部分：放在程序结尾，用来表示程序运行完成。对应代码行为：

print("finish!")

我们查看源代码的网站是一个动漫图片网站，也可以直接用浏览器打开。对应代码行为：

page=urllib.request.urlopen('http://www.meituba.com/dongmantupian') #动漫图片

其他部分大家自行阅读并学习，难点应该主要在计网基础知识和函数上，推荐手敲一遍，遇到费解的函数勤用搜索引擎，并尽可能与之前学习的语言进行类比。

到目前为止，你需要对python有的两点认识。

1.python每行代码的结尾不需要使用终止符。扩展：Python 中使用了分号作为语句分隔符，但是不用分号作为终止符， 而是用了换行作为终止符。

3.python中变量是不需要声明类型的。但是，每个变量在使用前必须赋值，只有赋值的变量才会被创建，赋值方式和其它语言一样,是用=表示。

2.python用#表示注释。扩展：pycharm快捷键“ctrl+/”进行代码注释和取消注释。多行注释在这些行的上方和下方分别用三个单引号 ''' 或者三个双引号 """ 括起来即表示注释。

⑤为什么要检测编码方式？

如上面蓝字部分所说，如果编码方式与解码方式不匹配，代码就会报错：

import urllib.request
import chardet
page=urllib.request.urlopen('http://www.quanshuwang.com/') #打开网页
htmlCode=page.read() #获取网页源代码
print(chardet.detect(htmlCode)) #查看编码方式，得到的编码方式不是utf-8，而是GB2312
# # data = htmlCode.decode('utf-8') #错误代码
# data = htmlCode.decode('gbk') #正确代码
# print(data) #打印网页源代码
# pageFile=open('pageCode.txt','wb')#以写的方式打开pageCode.txt
# pageFile.write(htmlCode)#写入
# pageFile.close()#开了记得关
# print("finish!")

上述网站的编码方式是GB2312，对应的解码方式是gbk，如果仍然使用utf-8解码就会报错

3.图片爬虫

爬取源代码可能没有让你理解爬虫的作用，接下来我们的任务也许会激起你的兴趣，对单一网页中显示的图片进行爬虫，最后下载并存储到本地。这一爬虫功能的实现原理也非常好理解：根据html代码中图片语句的查找分析，得到具体的图片地址。

第一个选取的网站依然是上面提到的动漫图片网站：

page = urllib.request.urlopen('http://www.meituba.com/dongmantupian') #打开网页

①右键点击项目名 - New - Directory，建立一个命名为img的空文件夹（也可以直接手动在项目中新建文件夹）

②在Crawler项目中新建.py文件test2.py，写入一下内容并运行

import urllib.request
# import chardet
import repage = urllib.request.urlopen('http://www.meituba.com/dongmantupian') #打开网页
htmlCode = page.read() #获取网页源代码# print(chardet.detect(htmlCode)) #查看编码方式
data = htmlCode.decode('utf-8')
# print(data) #打印网页源代码reg = r'src="(.+?\.jpg)"'#正则表达式
reg_img = re.compile(reg)#编译一下
imglist = reg_img.findall(data)#进行匹配x = 0
for img in imglist:print(img)urllib.request.urlretrieve(img, 'img/%s.jpg'  % x)x += 1
print("finish!")

运行后可以看到，控制台输出了图片的地址，在浏览器打开就是单张的图片

同时，可以在刚才创建的img文件夹下找到下载的图片

怎么样？有没有觉得很神奇。不管你是好奇还是疑惑，接下来我们从上到下分析一下代码：

import urllib.request
# import chardet
import repage = urllib.request.urlopen('http://www.meituba.com/dongmantupian') #打开网页
htmlCode = page.read() #获取网页源代码# print(chardet.detect(htmlCode)) #查看编码方式
data = htmlCode.decode('utf-8')
#print(data) #打印网页源代码

第一段：头文件re对应之后的re.compile()函数，用来编译正则表达式。urllib.request.urlopen()打开对应页面，并用对应的方式解码存储在data中（这里我们已知编码方式是utf-8了）

reg = r'src="(.+?\.jpg)"'#正则表达式

reg_img = re.compile(reg)#编译一下 

imglist = reg_img.findall(data)#进行匹配

第二段：我们先看一下动漫图片网页的源代码：

不难发现，我们之前在控制台的图片地址其实就是源代码中的蓝字下划线链接。而且，每个链接前后的html语句都有部分句型相似。

我们的目标也就很明确了：从源代码中找到所有句型相似的语句，并将所有蓝字下划线链接保存。而正则表达式正是用来匹配在相似语句，得到这些链接的。

再细分一些讲解：

reg = r'src="(.+?\.jpg)"'#正则表达式

形式为 赋值量 = r'正则表达式'。先来理解r的含义：

python的string前面加上‘r’， 是为了告诉编译器这个string是个raw string（原始的串），不需要转义'\' 。 例如，\n 在raw string中，是两个字符\和n， 而不会转意为换行符。由于正则表达式和 \ 会有冲突，因此，当一个字符串使用了正则表达式后，最好在前面加上'r'。

再来看引号内正则表达式部分：

正则表达式用来找到子串，匹配时遵循从左到右依次匹配。同时有很多符号在正则表达式中表示指定的含义，也扩展了正则表达式的匹配功能，接下来简单介绍一些，更多就需要自学了。

正则表达式部分基础知识：

\s：表示匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。（\f：匹配换页符；\n：匹配换行符；\r：匹配回车符；\t：匹配制表符；\v：匹配垂直制表符）。

\S：表示匹配任何非空白字符，等价于 [^ \f\n\r\t\v]。

\\：用来匹配\，因为单独使用的\需要用来转义。比如匹配*，实际上正则表达式写成\*来匹配，。

*：表示*前的字符出现了0次或多次。比如\s*表示多个空格。类似的有+：出现了1次或多次；?：出现了0次或1次。

() ：小括号是为了提取匹配的字符串。表达式中有几个()就有几个相应的匹配字符串。(\s*)表示连续空格的字符串。小括号在本次的代码中经常使用。

[]：中括号用来定义匹配的字符范围，比如： [a-zA-Z0-9] 表示相应位置的字符要匹配英文字符和数字。[\s*]表示空格或者*号。这里要特别注意，实际情况不清楚可以写程序先试一下。

{}：大括号一般用来表示匹配的长度，比如 \s{3} 表示匹配三个空格，\s{1,3}表示匹配一到三个空格。[0-9]{0,9} 表示长度为 0 到 9 的数字字符串。

.：匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 \. 。

惰性匹配：匹配时默认是贪婪匹配。在重复量词（如+和*）后面加一个问号(?)即可进行惰性匹配；惰性匹配模式是尽可能少的匹配字符，但是必须要满足正则表达式的匹配规则。比如匹配abcdefgbab，如果正则表达式为.+b，则为贪婪匹配，返回abcdefgbab；如果正则表达式为.+?b，则为惰性匹配，返回最短的ab。

再来解释代码中用到的正则表达式：

src="(.+?\.jpg)"

含义为：从左到右当出现s开始时匹配，一直匹配到 src="，出现括号表示我们需要提取的内容是括号括起的部分——图片链接，接下来的三个字符.+?可以一起看，表示惰性匹配。因为.是重复量词，\.用来匹配.，因此匹配到的是最早出现的.jpg的位置。得到一个jpg图片链接。

reg_img = re.compile(reg)#编译一下 

compile()函数返回的是一个匹配对象，它单独使用就没有任何意义，需要和findall(), search(), match(）搭配使用。compile()与findall()一起使用，返回一个列表。

当然，有文章也表示这样写没有必要，运行不会更快：https://zhuanlan.zhihu.com/p/70680488。但这种写法依然是比较清晰可读的，建议初学者还是记住和使用吧。

imglist = reg_img.findall(data)#进行匹配

一个列表，记录的是源代码中所有匹配到的图片链接的列表。

x = 0
for img in imglist:print(img)urllib.request.urlretrieve(img, 'img/%s.jpg'  % x)x += 1
print("finish!")

第三段：这里第一次出现python的for语句和缩进，也引出了Python语言非常基础且重要的一点。

Python中是没有大括号的,Python中用缩进符来定界代码块

接下来for语句的格式，如果接触过别的语言非常一目了然，形式如下，注意缩进：

for 迭代变量 in 序列:操作

这段的意思是对于图片链接列表中的每个链接，先打印链接输出在控制台，之后使用 urllib.request.urlretrieve()函数下载图片。该函数第一个参数为图片地址。第二个参数为文件名，因为x是一个不断+1的变量，所以n张图片会被命名为0.jpg到n-1.jpg。img/表示保存在项目中新建的img文件夹内。

4.另一个网站的图片爬虫

上面这个图片爬虫其实难度较低，原因是图片格式过于整齐。因此为了熟悉和理解图片爬虫，我们再来爬虫另一个网站：百度贴吧：https://tieba.baidu.com/index.html。这部分内容我不会详细解释，大家可以充分发挥主观能动性（其实是因为我懒）。最后会给出代码，推荐先自己尝试编写和改错。

注意新建一个文件夹img2来保存爬虫图片。

贴吧图片爬虫一些可能踩的坑：

1.解码。注意先看一下百度贴吧的编码方式，保证解码不出错。

2.百度贴吧的图片链接中并不只有jpg类型的图片，还有jpeg和png等。正则表达式要做相应的修改，可以参考后面给出的代码。当然，能实现的正则表达式有非常多种，你也不妨按自己的理解试一试。

3.有的图片链接显得“很不协调”，无法用pycharm正常打开（坏笑），因此需要做一些处理。而在处理之前：请注释掉图片通过链接下载的部分，以便查看这些图片链接发现问题加以处理。

发现问题和调试错误的能力在编程中极为重要，也难以描述，在这一部分多花一些时间是值得的。

最后附上我的代码仅供参考：

import urllib.request
# import chardet
import repage = urllib.request.urlopen('https://tieba.baidu.com/index.html') #打开网页
htmlCode = page.read() # 获取网页源代码# print(chardet.detect(htmlCode)) #查看编码方式
data = htmlCode.decode('utf-8')
# print(data) # 打印网页源代码# pageFile = open('pageCode.txt','wb')#以写的方式打开pageCode.txt
# pageFile.write(htmlCode)#写入
# pageFile.close()#开了记得关reg = r'src="(.+?\.j?pe?n?g)"'#正则表达式
# reg = r'src="(.+?\.jpg)"'#正则表达式
reg_img = re.compile(reg)#编译一下，运行更快
imglist = reg_img.findall(data)#进行匹配x = 0
for img in imglist:print(img)if not img.startswith('h'):img = "http:" + img# urllib.request.urlretrieve(img, 'img/%s.jpg'  % x)urllib.request.urlretrieve(img, 'img2/%s.jpg' % x)x += 1
print("finish!")

运行结果：

补充部分

1.控制台自动换行：因为我使用pycharm默认没有自动换行，导致爬虫的结果有一部分没有显示打印在控制台。具体操作为：菜单栏 - File - Settings - Editor - General - Console中勾选右侧第一项Use soft wraps in console - ok。