第一步，本地创建文件并下载。（注意pip改国内的，不会自行百度，我没时间）

第二步，测试是否下载成功

第三步，检测正确性

出现这样的，说名没问题。

第四步，通过指令创建文件

scrapy startproject qd_english #qd_english是文件名

创建成功

第五步，关闭爬虫协议

第六步，

创建爬取

scrapy genspider english chinadaily.com.cn
练习网站 http://language.chinadaily.com.cn/thelatest

其中 chinadaily.com.cn是网站域名，english是文件名

第七步，修改内部参数

import scrapyclass EnglishSpider(scrapy.Spider):name = 'english'allowed_domains = ['chinadaily.com.cn'] #域名start_urls = ['http://language.chinadaily.com.cn/thelatest'] #修改成需要爬取的urldef parse(self, response):print(response.text)

启动

scrapy crawl english

获取源码成功

第八步，使用xpath提取标签

  def parse(self, response):divs=response.xpath("")for div in divs:title=div.xpath("").get()title1 = div.xpath("").get()title2 = div.xpath("").get()title3= div.xpath("").get()title4 = div.xpath("").get()

    def parse(self, response):divs=response.xpath("//div[@class='content_left']/div[@class='gy_box']")for div in divs:title=div.xpath(".//div[@class='content_left']//div[@class='gy_box_txt']/p[1]/text()").get()title1 = div.xpath(".//div[@class='gy_box_txt']/p[2]/text()").get()title2 = div.xpath(".//div[@class='gy_box_txt']/p/a/@href").get()title3= div.xpath(".//div[@class='content_left']//div[@class='gy_box']/a/img/@src").get()

完成后，转到item文件


导入数据

import scrapy
from ..items import QdEnglishItem
class EnglishSpider(scrapy.Spider):name = 'english'allowed_domains = ['chinadaily.com.cn'] #域名start_urls = ['http://language.chinadaily.com.cn/thelatest'] #修改成需要爬取的urldef parse(self, response):divs=response.xpath("//div[@class='content_left']/div[@class='gy_box']")for div in divs:title=div.xpath(".//div[@class='content_left']//div[@class='gy_box_txt']/p[1]/text()").get()title1 = div.xpath(".//div[@class='gy_box_txt']/p[2]/text()").get()title2 = div.xpath(".//div[@class='gy_box_txt']/p/a/@href").get()title3= div.xpath(".//div[@class='content_left']//div[@class='gy_box']/a/img/@src").get()itme =  QdEnglishItem(title=title,title1=title1,title2=title2,title3=title3)yield itme

传入爬取参数

第九步，保存数据，前面步骤都完成才可。

保存格式，这里涉及到了python面向对象的知识，看不懂可以先补补面向对象，也可以套用，改几个名字就行。

import csv
from itemadapter import ItemAdapterclass QdEnglishPipeline:def __init__(self):self.f = open('data.csv',mode='a',encoding="utf-8",newline='')self.csv_write=csv.DictWriter(self.f,fieldnames=['title','title1','title2','title3'])self.csv_write.writeheader()def process_item(self,item,spider):self.csv_write.writerow(dict(item))return itemdef close_file(self):self.f.close()

打开保存配置

第十步，运行。scrapy是一个框架，所以只能在整体请求之后，报错才能修改，无法局部执行。

scrapy crawl english

哈哈哈，崩。

定位错误，让我瞅瞅。

   for div in divs:title=div.xpath(".//div[@class='gy_box_txt']/p[1]/a/text()").get()title1 = div.xpath(".//div[@class='gy_box_txt']/p[2]/a/text()").get()title2 = div.xpath(".//div[@class='gy_box_txt']/p[1]/a/@href").get()title3 = div.xpath(".//a/img/@src").get()

成果

第十一步，翻页提取，利用格式化翻页。

 start_urls = ['http://language.chinadaily.com.cn/thelatest/page_{}.html'.format(i) for i in range(1,50)]

最后。求一波关注。