乎从万维网诞生之时起，Web抓取就被用来从网站中提取数据。在早期，抓取主要是在静态页面上完成的--那些具有已知元素、标记和数据的页面。

然而，最近，Web开发中的先进技术使这项任务变得更加困难。在本文中，我们将探讨在新技术和其他因素阻止标准抓取的情况下如何进行数据抓取。

 

传统数据抓取

TNW Couch会议

加入行业领袖，为不确定的未来制定新的战略。

现在登记

由于大多数网站生成的页面都是人类可读性的，而不是自动阅读的，所以网页抓取主要是以编程方式解析网页的标记数据(如右击，查看源)，然后检测数据中的静态模式，从而使程序能够“读取”各种信息，并将其保存到文件或数据库中。

 

如果要找到报表数据，通常可以通过传递带有URL的表单变量或参数来访问数据。例如：

https://www.myreportdata.com?month=12&year=2004&clientid=24823

Python已经成为最流行的Web抓取语言之一，部分原因在于为它创建的各种Web库。一个流行的图书馆， 美汤，通过允许搜索、导航和修改标记(即解析树)，将数据从HTML和XML文件中提取出来。

基于浏览器的抓取

最近，我有一个看起来很简单的刮擦项目，我已经做好了充分的准备使用传统的刮擦来处理它。但随着我深入研究，我发现了传统方法无法克服的障碍。

有三个主要问题使我无法采用标准的刮擦方法：

1. 证书。 需要安装一份证书才能访问网站中数据所在的部分。访问初始页面时，会出现一个提示，要求我选择安装在计算机上的人的适当证书，然后单击“确定”。
2. 框架。 该网站使用iframes，这扰乱了我的正常刮刮。是的，我可以尝试找到所有的iframeURL，然后构建一个站点地图，但这似乎会变得很麻烦。
3. JavaScript 在填写带有参数的表单(例如，客户ID、日期范围等)后访问数据。通常，我会绕过表单，只需将表单变量(通过URL或作为隐藏的表单变量)传递到结果页面并查看结果。但是在这种情况下，表单包含JavaScript，这不允许我以正常的方式访问表单变量。

因此，我决定放弃我的传统方法，考虑一个可能的工具，基于浏览器的抓取。这将与正常情况不同--而不是直接访问页面、下载解析树和提取数据元素，相反，我会“像人一样行事”，使用浏览器到达我需要的页面，然后刮取数据--从而绕过了处理上述障碍的需要。

硒

总体而言, 硒 是众所周知的web应用程序的开放源代码测试框架。 QA专家 若要执行自动化测试，请执行回放，并实现远程控制功能(允许多种浏览器实例进行负载测试和多种浏览器类型)。在我的例子中，这似乎是有用的。

我使用的Web抓取语言是Python，因为它有集成良好的库，通常可以处理所需的所有功能。果然， 硒库 存在于Python中。这将允许我实例化一个“浏览器”--Chrome、Firefox、IE等--然后假装我自己正在使用浏览器来访问我正在寻找的数据。如果我不希望浏览器真的出现，我可以在“无头”模式下创建浏览器，使它对任何用户都是不可见的。

项目设置

为了开始实验，我需要建立我的项目，得到我所需要的一切。我使用了Windows 10机器，并确保我有一个相对更新的Python版本(版本为3.7.3)。我创建了一个空白Python脚本，然后使用PIP(用于Python的包安装程序)加载我认为可能需要的库，如果我还没有加载这个库的话。这些是我开始使用的主要库：

1. 请求 (用于发出HTTP请求)
2. URLLib3 (URL处理)
3. 美汤 (以防Selenium无法处理所有问题)
4. 硒 (用于基于浏览器的导航)

我还向脚本中添加了一些调用参数(使用arg解析库)，这样我就可以使用不同的数据集，使用不同的选项从命令行调用脚本。其中包括客户ID，从月/年，到月/年.

问题1-证书

我需要做的第一个选择是让Selenium使用哪个浏览器。由于我通常使用Chrome，而且它是建立在开源Chromium项目(也被边缘浏览器、Opera浏览器和亚马逊丝绸浏览器使用)上的，我想我应该先尝试一下。

我能够在脚本中启动Chrome，方法是添加我需要的库组件，然后发出一些简单的命令：

# Load selenium components
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait, Select
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException# Establish chrome driver and go to report site URL
url = "https://reportdata.mytestsite.com/transactionSearch.jsp"
driver = webdriver.Chrome()
driver.get(url)

因为我没有以无头模式启动浏览器，所以浏览器实际上出现了，我可以看到它在做什么。它立即要求我选择一个证书(这是我之前安装的)。

要解决的第一个问题是证书。如何选择合适的，并接受它，才能进入网站？在对脚本的第一次测试中，我得到了以下提示：

 

这不太好。每次运行脚本时，我都不想手动单击OK按钮。

结果，我找到了解决这个问题的办法--不需要编程。虽然我曾希望Chrome能够在启动时传递证书名，但该功能并不存在。但是，如果Windows注册表中存在某个条目，Chrome确实能够自动选择证书。您可以将其设置为选择它看到的第一个证书，或者更具体。因为我只加载了一个证书，所以我使用了通用格式。

 

因此，当我告诉Selenium启动Chrome并出现一个证书提示时，Chrome将“自动选择”证书并继续运行。

问题2-iFrame

好的，现在我在网站上，出现了一个表单，提示我输入客户ID和报告的日期范围。

 

通过检查Developer Tools(F12)中的表单，我注意到表单是在iframe中呈现的。因此，在开始填写表单之前，我需要“切换”到存在表单的适当的iframe。为此，我调用Selenium的开关-to特性，如下所示：

# Switch to iframe where form is
frame_ref = driver.find_elements_by_tag_name("iframe")[0]
iframe = driver.switch_to.frame(frame_ref)

很好，所以现在在正确的框架中，我能够确定组件，填充Customer ID字段，并选择Date下拉列表：

# Find the Customer ID field and populate it
element = driver.find_element_by_name("custId")
element.send_keys(custId)  # send a test id# Find and select the date drop-downs
select = Select(driver.find_element_by_name("fromMonth"))
select.select_by_visible_text(from_month)
select = Select(driver.find_element_by_name("fromYear"))
select.select_by_visible_text(from_year)
select = Select(driver.find_element_by_name("toMonth"))
select.select_by_visible_text(to_month)
select = Select(driver.find_element_by_name("toYear"))
select.select_by_visible_text(to_year)

问题3-JavaScript

表单上唯一剩下的东西就是“点击”Find按钮，这样它就可以开始搜索了。这有点棘手，因为find按钮似乎是由JavaScript控制的，而不是一个普通的“Submit”类型按钮。在开发人员工具中检查它时，我找到了按钮图像，并通过右键单击获得了它的XPath。

 

然后，带着这些信息，我在页面上找到了元素，然后点击了它。

# Find the ‘Find’ button, then click it
driver.find_element_by_xpath("/html/body/table/tbody/tr[2]/td[1]/table[3]/tbody/tr[2]/td[2]

/input").click()

然后，表格被提交了，数据也出现了！现在，我只需刮掉结果页面上的所有数据，并根据需要保存它。或者我可以？

获取数据

首先，我不得不处理那个没有发现任何线索的案子。很直截了当。它会在搜索表单上显示一条消息，而不离开它，类似于 “没有发现任何记录” 我只是在寻找那根绳子，如果我找到它，就会停在那里。

但是，如果结果确实出现，数据将以div格式显示，并带有加号(+)，以打开事务并显示其所有细节。打开的事务显示一个减号(-)，单击它将关闭div。单击加号将调用URL打开其div并关闭任何打开的div。

 

因此，有必要在页面上找到任何加号，收集每个页面旁边的URL，然后循环遍历每个事务的所有数据。

# Loop through transactions and count
links = driver.find_elements_by_tag_name('a')
link_urls = [link.get_attribute('href') for link in links]
thisCount = 0
isFirst = 1
for url in link_urls:
if (url.find("GetXas.do?processId") >= 0):  # URL to link to transactionsif isFirst == 1:  # already expanded +isFirst = 0
else:driver.get(url)  # collapsed +, so expand
# Find closest element to URL element with correct class to get tran type                            tran_type=driver.find_element_by_xpath("//*[contains(@href,'/retail/transaction/results/GetXas.do?processId=-1')]/following::td[@class='txt_75b_lmnw_T1R10B1']").text# Get transaction statusstatus = driver.find_element_by_class_name('txt_70b_lmnw_t1r10b1').text# Add to count if transaction foundif (tran_type in ['Move In','Move Out','Switch']) and 
(status == "Complete"):thisCount += 1

在上面的代码中，我检索到的字段是事务类型和状态，然后添加到计数中，以确定有多少事务符合指定的规则。但是，我可以检索事务细节中的其他字段，如日期和时间、子类型等。

对于此项目，计数返回到调用应用程序。然而，它和其他刮过的数据也可以存储在一个平面文件或数据库中。

其他可能的路障和解决办法

在使用自己的浏览器实例刮取现代网站时，可能会出现许多其他障碍，但大多数障碍都可以解决。以下是几个：

• 试图在东西出现之前找到它当你浏览自己的时候，你会发现你多久会等待一个页面出现，有时会持续很多秒？同样的情况在以编程方式导航时也会发生。您需要查找类或其他元素--而且它并不存在！幸运的是，Selenium有能力等到它看到某个元素，如果元素没有出现，可以超时，如下所示：

element = WebDriverWait(driver, 10). until(EC.presence_of_element_located((By.ID, "theFirstLabel")))

• 通过卡普查一些站点使用Captcha或类似的方法来防止不需要的机器人(他们可能会考虑您)。这可以使减震器在网络刮擦和减缓它的方式。

对于简单的提示符(比如“什么是2+3？”)，通常可以很容易地读懂这些提示。然而，对于更高级的障碍，有一些库可以帮助破解它。以下是一些例子 2 Captcha , 死于Captcha，和 旁路Captcha .

• 网站结构变化网站是要改变的--而且他们经常这样做。这就是为什么在编写刮擦脚本时，最好记住这一点。您需要考虑使用哪些方法来查找数据，以及不使用哪种方法。考虑部分匹配技术，而不是试图匹配整个短语。例如，一个网站可能会将一条消息从“没有找到的记录”更改为“没有找到的记录”--但是如果你的匹配是在“没有记录”上，你应该会没事的。此外，还要考虑是否匹配XPath、ID、Name、链接文本、标记或类名，还是CSS选择器--哪种情况最不可能更改。