环境搭建

一、请求库

均采用pip安装方式

涉及库

  • requests
  • Selenium
  • ChromeDriver
  • GeckoDriver
  • PhantomJS
  • aiohttp

二、解析库

  • lxml
  • Beautiful Soup
  • pyquery
  • tesserocr

三、数据库

四、存储库

  • PyMySQL
  • PyMongo
  • redis-py
  • Redis-Dump

五、web库

  • Flask
  • Tornado

六、APP爬取库

  • Charles
  • mitmproxy
  • Appium

七、爬虫框架

  • pyspider
  • Scrapy
  • Scrapy-Splash
  • Scrapy-Redis

八、部署相关库

  • Docker
  • Scrapyd
  • Scrapy-Clint
  • Scrapy-API
  • Scrapyrt
  • Gerapy

posted on 2019-01-30 15:48 ♛素心♛ 阅读(…) 评论(…) 编辑 收藏

版权声明：本文为chancey原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/chancey/p/10338406.html