爬虫的日志

yalandskx 2018-08-15 原文

爬虫的日志

1. 为什么要使用添加日志功能

  1. 能够方便的对程序进行调试
  2. 能够记录程序的运行状态,包括错误

2. 日志模块简单使用

  • 日志的等级
import logging
# 日志的五个等级,等级依次递增
# 默认是WARNING等级
logging.DEBUG
logging.INFO
logging.WARNING
logging.ERROR
logging.CRITICAL
# 设置日志等级
logging.basicConfig(level=logging.INFO)
# 使用
logging.debug('DEBUG')
logging.info('INFO')
logging.warning('WARNING')
logging.error('ERROR')
logging.critical('CRITICAL')
  • 捕获异常信息到日志。这里主要需要进行捕获异常才能记录下完整的异常信息
try:
    raise Exception("异常")
except Exception as e:
    logging.exception(e)
  • 日志的输出格式 对于日志的输出格式,我们能够进行自定义,包括输出的内容格式时间格式

format格式说明:


      %(name)s  Logger的名字
      %(levelno)s 数字形式的日志级别
      %(levelname)s 文本形式的日志级别
      %(pathname)s 调用日志输出函数的模块的完整路径名,可能没有
      %(filename)s 调用日志输出函数的模块的文件名
      %(module)s 调用日志输出函数的模块名
      %(funcName)s 调用日志输出函数的函数名
      %(lineno)d 调用日志输出函数的语句所在的代码行
      %(created)f 当前时间,用UNIX标准的表示时间的浮 点数表示
      %(relativeCreated)d 输出日志信息时的,自Logger创建以 来的毫秒数
      %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
      %(thread)d 线程ID。可能没有
      %(threadName)s 线程名。可能没有
      %(process)d 进程ID。可能没有
      %(message)s 用户输出的消息
  • datefmt参数说明:

    %y 两位数的年份表示(00-99)
    %Y 四位数的年份表示(000-9999)
    %m 月份(01-12)
    %d 月内中的一天(0-31)
    %H 24小时制小时数(0-23)
    %I 12小时制小时数(01-12)
    %M 分钟数(00=59)
    %S 秒(00-59)
    %a 本地简化星期名称
    %A 本地完整星期名称
    %b 本地简化的月份名称
    %B 本地完整的月份名称
    %c 本地相应的日期表示和时间表示
    %j 年内的一天(001-366)
    %p 本地A.M.或P.M.的等价符
    %U 一年中的星期数(00-53)星期天为星期的开始
    %w 星期(0-6),星期天为星期的开始
    %W 一年中的星期数(00-53)星期一为星期的开始
    %x 本地相应的日期表示
    %X 本地相应的时间表示
    %Z 当前时区的名称
    %% %号本身
    

3. 利用logger封装日志模块

在scrapy_plus目录下建立utils包 (utility:工具),专门放置工具类型模块,如日志模块log.py 下面的代码内容是固定的,在任何地方都可以使用下面的代码实习日志内容的输出

# scrapy_plus/utils/log.py
import sys
import logging

# 默认的配置
DEFAULT_LOG_LEVEL = logging.INFO    # 默认等级
DEFAULT_LOG_FMT = '%(asctime)s %(filename)s [line:%(lineno)d] %(levelname)s: %(message)s'   # 默认日志格式
DEFUALT_LOG_DATEFMT = '%Y-%m-%d %H:%M:%S'  # 默认时间格式
DEFAULT_LOG_FILENAME = 'log.log'    # 默认日志文件名称


class Logger(object):

    def __init__(self):
        # 1. 获取一个logger对象
        self._logger = logging.getLogger()
        # 2. 设置format对象
        self.formatter = logging.Formatter(fmt=DEFAULT_LOG_FMT,datefmt=DEFUALT_LOG_DATEFMT)
        # 3. 设置日志输出
        # 3.1 设置文件日志模式
        self._logger.addHandler(self._get_file_handler(DEFAULT_LOG_FILENAME))
        # 3.2 设置终端日志模式
        self._logger.addHandler(self._get_console_handler())
        # 4. 设置日志等级
        self._logger.setLevel(DEFAULT_LOG_LEVEL)

    def _get_file_handler(self, filename):
        '''返回一个文件日志handler'''
        # 1. 获取一个文件日志handler
        filehandler = logging.FileHandler(filename=filename,encoding="utf-8")
        # 2. 设置日志格式
        filehandler.setFormatter(self.formatter)
        # 3. 返回
        return filehandler

    def _get_console_handler(self):
        '''返回一个输出到终端日志handler'''
        # 1. 获取一个输出到终端日志handler
        console_handler = logging.StreamHandler(sys.stdout)
        # 2. 设置日志格式
        console_handler.setFormatter(self.formatter)
        # 3. 返回handler
        return console_handler

    @property
    def logger(self):
        return self._logger

 


# 初始化并配一个logger对象,达到单例的
# 使用时,直接导入logger就可以使用
logger = Logger().logger

4. 在框架中使用日志模块

使用参考

# scrapy_plus/core/engine.py
from datetime import datetime

from scrapy_plus.http.request import Request    # 导入Request对象
from scrapy_plus.middlewares.spider_middlewares import SpiderMiddleware
from scrapy_plus.middlewares.downloader_middlewares import DownloaderMiddleware
from scrapy_plus.utils.log import logger    # 导入logger

from .spider import Spider
from .scheduler import Scheduler
from .downloader import Downloader
from .pipeline import Pipeline


class Engine(object):

    ......

    def start(self):
        '''启动整个引擎'''
        start = datetime.now()  # 起始时间
        logger.info("开始运行时间:%s" % start)  # 使用日志记录起始运行时间
        self._start_engine()
        stop = datetime.now()  # 结束时间
        logger.info("开始运行时间:%s" % stop)  # 使用日志记录结束运行时间
        logger.info("耗时:%.2f" % (stop - start).total_seconds())  # 使用日志记录运行耗时

......
发表于 2018-08-15 22:06 奋斗最美 阅读() 评论() 编辑 收藏

 

版权声明:本文为yalandskx原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/yalandskx/p/9484341.html

爬虫的日志的更多相关文章

  1. 爬虫(十):AJAX、爬取AJAX数据

    1. AJAX 1.1 什么是AJAX AJAX即“Asynchronous JavaScript And X […]...

  2. Python 爬虫入门(二)——爬取妹子图

    Python 爬虫入门 听说你写代码没动力?本文就给你动力,爬取妹子图。如果这也没动力那就没救了。 GitHu […]...

  3. 爬虫入门到放弃系列06:爬虫实战天天基金网

    前言 爬虫的基本知识已经告一段落,这次就找个网站实战一波。但是为什么选择了基金?这还要从我的故事讲起。 我是一 […]...

  4. Python爬虫:数据分析小能手:JSON库的用法

    JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,易于人阅读和编写 […]...

  5. 九、Python+Selenium模拟用QQ登陆腾讯课堂,并提取报名课程(练习)

    九、Python+Selenium模拟用QQ登陆腾讯课堂,并提取报名课程(练习) 研究QQ登录规则的话,得分析 […]...

  6. Python网络数据采集- 创建爬虫

    1. 初见网络爬虫 1.1 网络连接 输出某个网页的全部 HTML 代码。 urllib 是 Python 的 […]...

  7. javascript反混淆之packed混淆(一)

    javascript反混淆之packed混淆(一) 什么是JavaScript反混淆,在理解这个概念前我们先来 […]...

  8. 为什么看博客的时候里面的链接总是 404

    为什么看博客的时候里面的链接总是 404 作为一个野路子程序员,看大牛的博客是学习,进步的很重要的一个信息来源 […]...

随机推荐

  1. 使用 Python 自动键鼠操作实现批量截图 并用工具转成 pdf 文档

    前提:安装并配置 python3.x 环境,并可以正常使用 python IDLE 0_打开CMD,安装pya […]...

  2. 两台Mysql数据库数据同步实现

    1. 安装配置 两台服务器,分别安装好Mysql,都安装在 /usr/local/mysql 目录下(安装步骤 […]...

  3. 数位dp 的简单入门

    时间紧张,就不讲那么详细了。 之前一直被深搜代码误解,以为数位dp 其实就是记忆化深搜…(虽说爆搜 […]...

  4. CocosCreator上的游戏(调试)发布到微信小程序

    1.下载CocosCreator,微信开发者工具 官网地址:http://www.cocos.com/down […]...

  5. Xshell无法启动:要继续使用此程序,您必须应用最新的更新或使用新版本

    转载自https://51.ruyo.net/11404.html 今天博主开启电脑后启动Xshell 突然出 […]...

  6. CentOS8中systemd配置文件说明 – 猎手家园

    CentOS8中systemd配置文件说明 2021-06-10 17:56  猎手家园  阅读(78)  评 […]...

  7. 也许你缺少的只是“预期思维”

    曾经,我们经常听家长说,你看隔壁家的谁谁谁(也许你就是那个隔壁家的小孩),长大后肯定有出息。这句话,其实包含了 […]...

  8. iOS 文字转化成图片 – 我就是一种相逢

    iOS 文字转化成图片   //文字转化成图片 -(UIImage *)imageFromText:(NSAr […]...

展开目录

目录导航