本文参考《Python编程快速上手》一书，此部分内容为十一章内容

 为了能够在网页上抓取有用的信息，一般常用到以下三个模块

1.webbrowser:是python自带的，能够打开浏览器并跳转到指定的页面 【不常用】

2.requests :从网络上下载文件和网页

3.BeautifulSoup：对HTML格式进行处理

4.selenium:启动并控制一个Web浏览器，并进行一个系列的操作，如填写表单、模拟鼠标点击、模拟键盘等操作

使用思维导图如下

一、webbrowser使用

此模块功能较为简单，在实际应用过程中并不太好用。简单使用代码如下：功能是打开浏览器，并跳转到百度搜索页面

import webbrowser
if __name__ == '__main__':webbrowser.open('https://www.baidu.com/')

二、使用requests下载文件和网页

要分析网页的结构，我们要先从服务器上将网页下载下来，而要想实现这一功能就需要借助requests模块的功能。

一般情况下要用到两个方法：

（1）requests.get(url)方法：通过指定的URL来下载文件到本地，返回值为下载的文件信息。

（2）iter_content()方法：将文件以字节流形式输出【常用来将信息保存早文件中使用，I/O中常用】

import requests
if __name__ == '__main__':#远端地址url = 'http://yzxc.ustb.edu.cn/upload/1/editor/1574909713039.doc'res = requests.get(url)res.raise_for_status() #如果没有下载到文件会抛出异常playFile = open('.\\one.doc','wb')for i in res.iter_content(1024) : #1024BplayFile.write(i)playFile.close()

在执行代码时，会将远端文件信息保存在变量res中，在通过字节流将信息保存早one.doc文件中，实现了本地存储操作。

 三、Beautiful Soup 分析HTML

使用request是下载来的网页，如果不进行结构分析，那么我们无法从中发现价值，所以使用Beautiful来分析网页是分析过程中最为关键的一步：

1.导入模块 ：下载第三方模块，导入模块

import bs4

2.创建一个BeautifulSoup对象

要分析不同的网页就要创建不同的BeautifulSoup对象，创建过程中使用bs4.beautifulSoup(str) 函数，其中参数为一个字符串，该字符串为我们要分析的网页信息

import bs4
if __name__ == '__main__':exampleFile = open('.\\example.html') #本地的html文件noStarchSoup = bs4.BeautifulSoup(exampleFile,features="lxml")print(type(noStarchSoup))

import bs4,requests
if __name__ == '__main__':web = requests.get('https://news.baidu.com/')web.raise_for_status() #如果没有请求到，停止程序运行webSoup = bs4.BeautifulSoup(web.text,features="lxml") #web.text 返回的是一个字符串print(type(webSoup))

从结果可以看到，确实是一个BeautifulSoup对象

3.使用select（）方法选择元素

当我们创建完BeautifulSoup对象之后，我们可以对这个对象进行一系列操作，筛选出有用的价值信息，具体使用方法如下：

网页标签分析的过程，要结合具体的页面信息，进行过滤，得到合适的信息

得到结果为一个列表（可能为空），每一个列表中的元素可以使用get('id')等获取属性的值

import bs4,requests
if __name__ == '__main__':#下载网页newshtml = requests.get('http://yzxc.ustb.edu.cn/html/1//212/214/index.html')newshtml.encoding = 'utf-8' #设置网页编码newsSoup = bs4.BeautifulSoup(newshtml.text,features='lxml')#查看网页编码之后，根据标签选择过滤的内容resHref = newsSoup.select('div[class = "actKey"]')resTitle = newsSoup.select('div[class = "mes-item-title-w"]')resDate = newsSoup.select('div[class = "mes-item-time-w"]')for i in range(len(resHref)) :print(str(resTitle[i].getText()),end=' ')print(resDate[i].getText(), end=' ')print(resHref[i].get('kurl'))

四、使用selenium控制浏览器

该模块的使用过程较为麻烦一些，除了要下载第三方模块外，还有导入browserdriver,（对于windows）要将browserdriver.exe放到Scripts文件夹下

使用流程：

1.启动selenium控制的浏览器

通过以下代码，措不及防的打开了一个有selenium控制的浏览器，并跳转到相应的网页

from selenium import webdriver
if __name__ == '__main__':browser = webdriver.Chrome()browser.get('https://play2048.co/')

2.在页面中查找元素

有好多方法，find_element_*和find_elements_* 其中find——element只返回匹配的第一个结果，而加s的返回所有匹配的结果

返回类型为WebElement类型

【具体方法，百度一下】

3.对元素进行点击操作

针对WebElement对象使用click()方法：可实现对该对象的模拟点击操作

4.填写提交表单操作

针对WebElement对象使用send_keys(‘sss’)方法：可实现对该对象的模拟输入，当然是针对input 和textarea标签

5.发送特殊键操作

这些常量都保存在这个模块中

from selenium.webdriver.common.keys import Keys

实践：使用代码控制2048游戏进行

https://play2048.co/ 中我们只使用上、右、下、左按键，自动玩游戏，看看能得多少分

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import re
if __name__ == '__main__':#创建webdriver对象browser = webdriver.Chrome()#跳转到链接browser.get('https://play2048.co/')#模拟浏览器执行一个操作#点击开始一个新游戏restart_btn = browser.find_element_by_class_name('restart-button')restart_btn.click()#按顺序执行上右下左四种操作htmlElem = browser.find_element_by_tag_name('html')lastscore = -1mo = re.compile(r'\d*') #寻找数字正则表达式while True:htmlElem.send_keys(Keys.UP)htmlElem.send_keys(Keys.RIGHT)htmlElem.send_keys(Keys.DOWN)htmlElem.send_keys(Keys.LEFT)game_score = browser.find_element_by_class_name('score-container')score = int(mo.search(game_score.text).group()) #通过正则表达式过滤出分数if score == lastscore : #死亡时分数不再增加print('Your final score is '+str(score))breakelse :lastscore = score