Scrapy框架——日志配置

  • 时间:
  • 来源:互联网

setting配置


import datetime

#配置日志文件名和位置
to_day = datetime.datetime.now()
log_file_path = "log/scrapy_{}_{}_{}.log".format(to_day.year,to_day.month,to_day.day)
LOG_FILE = log_file_path
LOG_LEVEL = "WARNING"

实现以年月日创建每天的log文件,定义只有WARNING及其以上的信息才会输入到文件内。

程序手动进行日志输出


import scrapy
import logging

class DemoSpider(scrapy.Spider):
    name = 'demo'
    # allowed_domains = ['careers.tencent.com']
    start_urls = ['http://www.baidu.com']

    def parse(self, response):
        print(response.url,"_____----------")
        logging.warning("这是一个警告")
        logging.error("这是一个错误信息")
        logging.info("这是一个通知")

日志文件查看


2019-12-19 13:22:16 [root] WARNING: 这是一个警告
2019-12-19 13:22:16 [root] ERROR: 这是一个错误信息

补充


  • LOG_ENABLED 默认: True,启用logging
  • LOG_ENCODING 默认: ‘utf-8’,logging使用的编码
  • LOG_FILE 默认: None,在当前目录里创建logging输出文件的文件名
  • LOG_LEVEL 默认: ‘DEBUG’,log的最低级别
  • LOG_STDOUT默认:False,如果为True,程序内的所有print将会被输送到日志文件内

Scrapy日志有五种等级,按照范围递增顺序排列如下:

  • CRITICAL - 严重错误
  • ERROR - 一般错误
  • WARNING - 警告信息
  • INFO - 一般信息
  • DEBUG - 调试信息

本文链接http://element-ui.cn/news/show-15123.aspx