scrapy vs requests+beautifulsoup

  1. scrapy是框架，requests+beautifulsoup是库
  2. scrapy框架中可以加入 requests+beautifulsoup
  3. scrapy 基于 twisted，性能最大优势
  4. scrapy内置 css + xpath selector 非常方便

分布式爬虫使用技术有哪些？

       requests + scrapy

互联网有哪些类型网页？

       静态网页              — css, js,

       动态页面              —

       webservice(restapi)    — 动态填充

爬虫有哪些作用？

  1. 搜索引擎       – 百度、谷歌、垂直领域
  2. 推荐引擎       – 今日头条
  3. 机器学习的数据样本
  4. 数据分析（股票、舆情）

版权声明：本文为2bjiujiu原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/2bjiujiu/p/7237425.html