Python 抓取图片
#coding:utf-8
from bs4 import BeautifulSoup
import requests
import urllib
user_agent = \’Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36\’
headers ={\’User-Agent\’:user_agent}
def Schedule(blocknum,blocksize,totalsize):
#blocknum:已经下载的数据块
#blocksize:数据块的大小
#totalsize:远程文件的大小
per = 100.0*blocknum*blocksize/totalsize
if per > 100:
per = 100
print \’当前下载进度:%d\’ %per
r = requests.get(\’http://www.ivsky.com/tupian/ziranfengguang/\’,headers=headers)
soup = BeautifulSoup(r.text, \’html.parser\’, from_encoding=\’utf-8\’)
i=0
for img in soup.find_all(\’img\’):
if img.has_attr(\’src\’)!=None:
url = img.get(\’src\’)
urllib.urlretrieve(url,\’./images/img\’+str(i)+\’.jpg\’,Schedule)
i+=1
urlretrieve(url,filename=None,reporthook=None,data=None)
参数filename 指定了存储的本地路径(如果参数未指定,urllib会生成一个临时文件保存数据)
参数reporthook是一个回调函数。当连接上服务器以及相应的数据块传输完毕时会触发该回调函数，我们可以利用这个回调函数来显示当前的下载速度