爬虫学习的一点心得

任务：抓取某小说并下载

抓取：requests

解析：xpath，正则表达式

1.获取小说索引页源代码时，出现乱码，试了很多方法都不行，最后找到原因是请求头中有一参数

\'accept-encoding\':\'gzip, deflate, br\'

普通浏览器访问网页，之所以添加：

“Accept-Encoding” = “gzip,deflate”

那是因为，浏览器对于从服务器中返回的对应的gzip压缩的网页，会自动解压缩，所以，其request的时候，添加对应的头，表明自己接受压缩后的数据。

而此代码中，如果也添加此头信息，结果就是，返回的压缩后的数据，没有解码，而将压缩后的数据当做普通的html文本来处理，当前显示出来的内容，是乱码了。

删除这一参数就可以了

 2.索引页抓取每一章节小说的url链接地址，源码中显示的地址只有一部分，需要进行拼接才是完整的url地址

 

版权声明：本文为tian2B原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/tian2B/p/10878235.html