Python3爬虫之正则表达式与re库

在之前我已经写过通用正则表达式的blog，是用js实现的，但不影响大家对正则表达式本身的学习，如果没有正则表达式相关学习经验的，可以参考一下

10分钟解决90%程序员的痛点-正则表达式-学习笔记

下面主要讲解re模块常用的几个函数

re模块常用函数

search

在字符串中找满足条件的字符，如果找到就返回，但是只能找到第一个匹配上的字符

import re 
text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
#group:匹配正则表达式的整体结果
print(ret.group())
>> 99

分组

在正则表达式中，可以对过滤到的字符串进行分组

分组使用圆括号的方式

• group:和group(0)是等价的，返回的是整个满足条件的字符串
• groups:返回的是里面的子组，索引从1开始
• group(1):返回的是第一个子组、可以传入多个

import retext = 'apple price is $99,orange price is $10'
#\$中的\表示转义
#.* 表示所有匹配，左右加正则可以限定位置
ret = re.search(".*(\$\d+).*(\$\d+)",text)
#group:匹配正则表达式的整体结果
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print((ret.group(2)))
print(ret.groups())>>
apple price is $99,orange price is $10
apple price is $99,orange price is $10
$99
$10
('$99', '$10')

findall:

找出所有满足条件的，返回的是一个列表

import retext = 'apple price is $99,orange price is $10'
ret = re.findall("\d+",text)
print(ret)
>>
['99', '10']

sub

用来替换字符串，将匹配到的字符串替换为其他字符串

import retext = 'apple price is $99,orange price is $10'
ret = re.sub('\d+','0',text)
print(ret)
>>
apple price is $0,orange price is $0

sub应用：去除无用字符(标签)

html = """
<div>
<p>基本要求：</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；</p>
<p>2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；</p>
<p>3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；</p>
<p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；</p>
<p>5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；</p>
<p>7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。</p>
<p><br></p>
<p>岗位职责：</p>
<p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；</p>
<p>2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；</p>
<p>3、根据产品需求，分析并给出最优的页面前端结构解决方案；</p>
<p>4、协助后台及客户端开发人员完成功能开发和调试；</p>
<p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""ret = re.sub('</?[a-zA-Z]+>',"",html)
print(ret)>>
基本要求：
1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；
2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；
3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；
4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；
5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；
7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。岗位职责：
1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；
2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；
3、根据产品需求，分析并给出最优的页面前端结构解决方案；
4、协助后台及客户端开发人员完成功能开发和调试；
5、移动端主流浏览器的适配、移动端界面自适应研发。进程已结束,退出代码0

split

使用正则表达式来分割字符串

import retext = 'hello world ni hao'
ret = re.split('\W',text)
print(ret)>>
['hello', 'world', 'ni', 'hao']

compile

• 对于一些常用的正则表达式，可以用compile进行编译（类似封装），后期再使用可以直接调用
• 可传入re.VERBOSE参数添加注释功能

import retext = 'the number is 20.50'
r = re.compile("""\d+ # 小数点前面的数字\.? # 小数点\d* # 小数点后面的数字""",re.VERBOSE)
ret = re.search(r,text)
print(ret.group())>>
20.50

match

从开始的位置进行匹配、如果开始的位置匹配不到、直接失败

import retext = 'ahello'
ret = re.match('h',text)
#group:匹配正则表达式的整体结果
print(ret.group())
>>
AttributeError: 'NoneType' object has no attribute 'group'

贪婪模式和非贪婪模式

贪婪模式： 正则表达式会匹配尽量多的字符。默认是贪婪模式

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
>>
0123456

非贪婪模式：匹配到一个就溜

text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())
>>
0

匹配换行符

传入参数flag=re.DOTALL

import retext = 'ahel\nlo'
ret = re.match('ahel.*lo',text,re.DOTALL)
#group:匹配正则表达式的整体结果
print(ret.group())
>>
ahel
lo