俗话说得好，爬虫玩的好，牢底坐的早，想玩爬虫可不要做违法乱纪的事儿偶。

简介

scrapy是一款非常强大的网络爬虫框架，对于数据挖掘，信息处理等领域提供了非常便捷的数据获取方式。
说到爬虫只要能通过网络浏览器获取到的数据，理论上都能够利用爬虫获取的到。最简单的当属rest接口，通过接口的访问获取到数据。但是随着互联网技术的不断发展以及数据安全意识的不断增强，现在的很多网站都有不同的发爬虫机制。
下面简单就python的scrap有框架做一点简单介绍。

Scrapy

https://docs.scrapy.org/en/latest/

import scrapy
class QuotesSpider(scrapy.Spider):name = 'quotes'start_urls = ['http://quotes.toscrape.com/tag/humor/',]def parse(self, response):for quote in response.css('div.quote'):yield {'author': quote.xpath('span/small/text()').get(),'text': quote.css('span.text::text').get(),}next_page = response.css('li.next a::attr("href")').get()if next_page is not None:yield response.follow(next_page, self.parse)

运行：

scrapy runspider quotes_spider.py -o quotes.json

创建工程

使用最简单的scrapy命令，会自动帮你创建一个爬虫工程：

scrapy startproject tutorial

在spider文件夹下新建文件：

import scrapyclass QuotesSpider(scrapy.Spider):name = "quotes"def start_requests(self):urls = ['http://quotes.toscrape.com/page/1/','http://quotes.toscrape.com/page/2/',]for url in urls:yield scrapy.Request(url=url, callback=self.parse)def parse(self, response):page = response.url.split("/")[-2]filename = 'quotes-%s.html' % pagewith open(filename, 'wb') as f:f.write(response.body)self.log('Saved file %s' % filename)

执行：

scrapy crawl quotes

这里有几个核心概念：
Spider是框架里爬虫必须继承的类
name：爬虫名，唯一
start_requests: 必须返回Requests的迭代器或者生成器，以便spider进行爬取
parse: 回调方法，用于抽取数据

如果不写start_requests方法，也可以提供start_urls

class QuotesSpider(scrapy.Spider):name = "quotes"start_urls = ['http://quotes.toscrape.com/page/1/','http://quotes.toscrape.com/page/2/',]def parse(self, response):page = response.url.split("/")[-2]filename = 'quotes-%s.html' % pagewith open(filename, 'wb') as f:f.write(response.body)

抽取数据

最简单的调试是使用scrapy shell

scrapy shell 'http://quotes.toscrape.com/page/1/'

抽取数据可以使用css定位：
response.css(‘title’)
response.css(‘title::text’)[0].get()
除了css定位器之外，我们还可以使用xpath神器。对于xpath有好多插件，可以在浏览器安装使用。

那么我们的爬虫就变成这样：

class QuotesSpider(scrapy.Spider):name = "quotes"start_urls = ['http://quotes.toscrape.com/page/1/','http://quotes.toscrape.com/page/2/',]def parse(self, response):for quote in response.css('div.quote'):yield {'text': quote.css('span.text::text').get(),'author': quote.css('small.author::text').get(),'tags': quote.css('div.tags a.tag::text').getall(),}

爬取数据存储

scrapy crawl quotes -o quotes.json

链接添加 Following links

对于爬到的其他链接，我们依旧可以把它放到request对象里，让scrapy进行调度：

 def parse(self, response):for quote in response.css('div.quote'):yield {'text': quote.css('span.text::text').get(),'author': quote.css('small.author::text').get(),'tags': quote.css('div.tags a.tag::text').getall(),}next_page = response.css('li.next a::attr(href)').get()if next_page is not None:next_page = response.urljoin(next_page)yield scrapy.Request(next_page, callback=self.parse)

当然可以简写成：

def parse(self, response):for quote in response.css('div.quote'):yield {'text': quote.css('span.text::text').get(),'author': quote.css('span small::text').get(),'tags': quote.css('div.tags a.tag::text').getall(),}next_page = response.css('li.next a::attr(href)').get()if next_page is not None:yield response.follow(next_page, callback=self.parse)

好处就是不用urljoin

多个爬取策略

当然如果有多个策略分支：

class AuthorSpider(scrapy.Spider):name = 'author'start_urls = ['http://quotes.toscrape.com/']def parse(self, response):author_page_links = response.css('.author + a')yield from response.follow_all(author_page_links, self.parse_author)pagination_links = response.css('li.next a')yield from response.follow_all(pagination_links, self.parse)def parse_author(self, response):def extract_with_css(query):return response.css(query).get(default='').strip()yield {'name': extract_with_css('h3.author-title::text'),'birthdate': extract_with_css('.author-born-date::text'),'bio': extract_with_css('.author-description::text'),}

spider参数

参数通过-a添加，在方法体中用getattr获取：

scrapy crawl quotes -o quotes-humor.json -a tag=humor

class QuotesSpider(scrapy.Spider):name = "quotes"def start_requests(self):url = 'http://quotes.toscrape.com/'tag = getattr(self, 'tag', None)if tag is not None:url = url + 'tag/' + tagyield scrapy.Request(url, self.parse)def parse(self, response):for quote in response.css('div.quote'):yield {'text': quote.css('span.text::text').get(),'author': quote.css('small.author::text').get(),}next_page = response.css('li.next a::attr(href)').get()if next_page is not None:yield response.follow(next_page, self.parse)

命令行工具

配置

前面创建工程的时候我们也注意到了，有个scrapy.cfg文件。
这个文件可以由多个scrapy工程共享。

[settings]
default = myproject1.settings
project1 = myproject1.settings
project2 = myproject2.settings

创建工程

scrapy startproject myproject [project_dir]

创建爬虫

scrapy genspider mydomain mydomain.com

其他命令可以查看 https://docs.scrapy.org/en/latest/topics/commands.html

Spider

接下来就是我们讨论的核心，爬虫了。spider是定义如何爬取一个特定网站的程序，它定义了如何爬取数据，如何跟踪链接。也就是说，它定义了爬取的行为。

• 爬取的起点url---- start_requests()，自动通过start_urls创建Request
• parse() 回调方法
• Selector 从页面contents中获取数据
• 数据持久化

scrapy.Spider

• name
• allowed_domains: 爬取域名列表，不在域名范围内的不会爬取
• start_urls
• custom_settings：用户设置，优先级高于系统设置
• crawler：
• settings
• logger
• from_crawler:
• start_requests:
• parse
• log
• closed

Spider种类

CrawlSpider

最常用的爬虫，适用于有规律的网站
特有属性：rules

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractorclass MySpider(CrawlSpider):name = 'example.com'allowed_domains = ['example.com']start_urls = ['http://www.example.com']rules = (# Extract links matching 'category.php' (but not matching 'subsection.php')# and follow links from them (since no callback means follow=True by default).Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),# Extract links matching 'item.php' and parse them with the spider's method parse_itemRule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),)def parse_item(self, response):self.logger.info('Hi, this is an item page! %s', response.url)item = scrapy.Item()item['id'] = response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)')item['name'] = response.xpath('//td[@id="item_name"]/text()').get()item['description'] = response.xpath('//td[@id="item_description"]/text()').get()item['link_text'] = response.meta['link_text']url = response.xpath('//td[@id="additional_data"]/@href').get()return response.follow(url, self.parse_additional_page, cb_kwargs=dict(item=item))def parse_additional_page(self, response, item):item['additional_data'] = response.xpath('//p[@id="additional_data"]/text()').get()return item

XMLFeedSpider

CSVFeedSpider

SitemapSpider

Selector

比较常用的几个数据抽取库：BeautifulSoup和lxml
对于scrapy来说，实现了一套数据抽取方式，更适合与xpath和css选择器搭配使用。

response.selector.xpath('//span/text()').get()>>> from scrapy.selector import Selector
>>> body = '<html><body><span>good</span></body></html>'
>>> Selector(text=body).xpath('//span/text()').get()
'good'

不过需要注意的是，在scrapy的文档中获取数据使用的get，但是在旧版或者其他博客中可能看到extract extract_first这样的方法，作用是一致的。

Items 数据元素