Python 3.6 抓取微博m站数据

Grand-Jon 2021-08-31 原文


Python 3.6 抓取微博m站数据


Python 3.6 抓取微博m站数据

2019.05.01 更新内容

  1. containerid 可以通过 "107603" + user_id 组装得到,无需请求个人信息获取;
  2. 优化多线程抓取,修复之前因urllib.request全局定义,导致代理无法正常切回本地IP;
  3. 优化分布式抓取策略,由每台机器顺序获取用户ID 再拼装URL抓取策略,修改为每台机器顺序获取URL进行抓取。防止由于某个微博账号微博动态过多导致负责本ID的机器长时间运行,而其他机器就要等待,浪费时间和资源。
  4. 加入IP代理池维护脚本,可以定时维护代理池中的有效代理IP,及时剔除无效IP。
  5. 加入Redis定时消费脚本,解决因抓取结果过大导致redis性能下降。
  6. 增加Redis连接池ConnectionPool ,解决因Redis链接端口数过多导致Redis拒绝服务错误。
  7. 调整Redis数据存储结构,采用list+set结合,存储UID+URL
  8. 单机https代理消费约100元/天,单机5个进程+代理每天能达到1000万条数据

本脚本截止20190501

类型 效果 代理花费
单机版(多线程+多进程) 150万/天 0
单机版(多线程+多进程)+IP代理池 1000万/天 100元/天
分布式(多线程+多进程)+IP代理池 千万~亿级 100*机器数量/天

抓取流程

  1. 启动save_uid.py脚本将准备好的微博用户ID,存入Redis中,保存两份;

    • r.lpush(WEIBO_UID_LIST_KEY, uid) 用于第一次遍历UID请求每个UID的总页数,然后生成每个UID的所有URL。
    • r.sadd(WEIBO_UID_SET_KEY, uid) 用于第二次请求,随机获取一个未抓取完的UID,去Redis中取当前UID剩余的URL进行抓取,全部抓取完毕则移除此UID。
  2. 启动proxy_pool.py脚本,初始化IP代理池(如果不使用代理,此步骤可略过)

    • target_money 用来获取你所购买的IP代理剩余金额的URL连接
    • target_ip 请求代理IP获取有效的代理IP
    • targetUrl 用来校验当前IP是否有效
    • WEIBO_PROXY_SET_KEY 存储有效的代理IP
    • WEIBO_PROXY_418_SET_KEY 存储已经出现418错误的IP,会循环利用,直到代理失效
    • WEIBO_ERROR_PROXY_SET_KEY 存储已经使用过的IP(失效IP),用于后期校验
  3. 启动start_crawler.py脚本,开启抓取任务

    • 首先会第一次请求遍历UID,生成所有的URL,然后所有的线程获取URL进行抓取
    • 先会尝试使用本地IP进行抓取,本地IP出现418之后,尝试去IP代理池获取可使用的IP,继续抓取
    • 使用代理IP抓取超过60s,停止代理抓取改为使用本地IP,循环进行
    • 代理IP出现418,则先去尝试使用本地IP,如果本地418再继续更换代理
    • 如果代理池没有可用IP,则休息30s,继续使用本地IP
  4. 添加Linux定时脚本,定时处理Redis队列中的抓取结果。

关于代理IP

  • 抓取微博的https连接,只能使用https代理,可选择市面上其他类型的代理商;
  • 免费的代理ip也有尝试,不过效果不是很好

部署问题

  • 需要一台主服务器(或者本机Windows电脑)来初始化运行 save_uid.pyproxy_pool.py脚本
  • 在Redis所在的服务器进行redis_consumer.py脚本的运行部署
  • start_crawler.py 可以集群部署到多台服务器,但要保证都能网络连通到Redis服务器
  • 添加定时脚本crontab -e 内容 如下
    0 */1 * * * nohup python /data/hw/redis_consume.py > /dev/null 2>&1 &
    
  • service cron restart 重启cron定时服务
  • 创建start.sh 开启多进程抓取
    #!/bin/bash
    # 开始爬虫程序;
    
    for((i=1;i<=5;i++));
    do
    nohup python /data/hw/start_crawler.py 1>/dev/null 2>&1 &
    echo "开启爬虫程序进程"+$i  
    done
    
    sleep 5s
    echo "已开启以下进程"
    ps -ef|grep python
    
    

20190501目录

  • proxy_pool.py #维护IP代理池
  • redis_consume.py #redis定时消费
  • save_uid.py #初始化uid
  • start.sh #一键启动脚本
  • start_crawler.py #开启抓取程序,可以集群部署

旧版本README

README_20190307.md

项目地址

https://github.com/JiaoHongwei/Crawler_weibo

发表于
2019-03-07 19:06 
Grand_Jon 
阅读(1381
评论(0
编辑 
收藏 
举报

 

版权声明:本文为Grand-Jon原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/Grand-Jon/p/10491635.html

Python 3.6 抓取微博m站数据的更多相关文章

  1. Python依赖包整体迁移方法

    Python依赖包整体迁移方法 1.新建site-packages目录,进入到site-packages目录下 […]...

  2. 01.Django-基础

    基础 1. 简介 Django是一个由Python写成的开放源代码的重量级Web应用框架。 Django的目的 […]...

  3. Python – 面向对象编程 – 什么是 Python 类、类对象、实例对象

    什么是对象和类 https://www.cnblogs.com/poloyy/p/15178423.html […]...

  4. python3迭代器和生成器

    1、手动访问迭代器中的元素 #要手动访问迭代器中的元素,可以使用next()函数 In [3]: with o […]...

  5. Python网页解析库:用requests-html爬取网页

    Python网页解析库:用requests-html爬取网页1. 开始Python 中可以进行网页解析的库有很多,常见的有 BeautifulSoup 和 lxml 等。在网上玩爬虫的文章通常都是介绍 BeautifulSoup 这个...

  6. python字符串的相关内容

    字符串  str                      # test = “aLex̶ […]...

  7. redis的bigkey扫描脚本

        众所周知,redis里面的大key存在是非常危险的一件事情。因为最近的工作转移到中间件相关的工作,因此 […]...

  8. Python 零基础 快速入门 趣味教程 (咪博士 海龟绘图 turtle) 5. 参数

    上一个教程中,咪博士带大家学习了函数的使用。例如,line_without_moving 函数,可以让海龟先画 […]...

随机推荐

  1. 关于修改Eclipse工作空间对应的文件夹名称之后的处理.

      把文件夹名字从”xhkong”变成”xhkong(maintenanc […]...

  2. 7.逻辑回归实践

    7.逻辑回归实践 1.逻辑回归是怎么防止过拟合的?为什么正则化可以防止过拟合?(大家用自己的话介绍下) 答:防 […]...

  3. 7.0 启动app权限弹窗问题

    7.0 启动app权限弹窗问题 这里提供两种解决方案!   1.安卓6.0+是可以直接利用uiautomato […]...

  4. vue中实现省市区三级联动(V-Distpicker插件)

    本次项目中使用了V-Distpicker 插件实现了省市区三级联动 V-Distpicker 项目文档地址 如 […]...

  5. 好的用户界面-界面设计的一些技巧

      如此有用的文章我已记不得是什么时候发现的了,但在看完的那一刻便想将之翻译,分享给大家自己也受用。 时间过了 […]...

  6. IDEA导入本地项目后,关联svn(这里本地项目是从svn里下载下来的)

     ...

  7. 2019DDCTF WEB 笔记(PHP反序列化&&GD库渲染文件上传绕过)

    滴~ 先上大佬的WP(https://impakho.com/post/ddctf-2019-writeup) […]...

  8. 程序员,你心里就没点树吗?

    看官,不要生气,我没有骂你也没有鄙视你的意思,今天就是想单纯的给大伙分享一下树的相关知识,但是我还是想说作为一 […]...

展开目录

目录导航