妹子图爬虫工具是一款可以帮助用户们在妹子图网上快速获取大量美女图片的爬虫工具,此外软件的原作者还对源码进行了注释,部分懂编程的用户,也可以下载过来学习一下,当然这软件大多数还是适合一些LSP使用,所以想要收集美图的绅士,就不要犹豫了。
最近发现PC端看久了会有一个播放视频的验证,然而他们的程序员又不设置哪个视频,根本过不去好吗全是模糊一片(我还一度以为是我广告插件拦截了,害~
而且手机端app广告影响体验,关键是要这么多权限干啥子,我怕隐私没了。
查了下论坛,以前的代码都会被反爬虫了,效果不怎么好,脑子里第一个想到用selenium?还是算了吧,那效率太慢了,而且一样没法防验证。
老前辈说过,解决不了问题,就把造成问题的源头给解决了
废话不多说,直接来
70行代码,合适新手学习python爬虫,还有注释,够友好了吧
只使用requests库,(加入urllib3纯粹是为了减少控制台输出Warning的问题,删除掉也无妨)
.自定义保存目录 (搞个APP爬资源不能定义放在哪...那不是搞笑吗)
.可选为每个主题创建单独的文件夹(不选则全部保存在一个文件夹)
.可选爬取主题(主题那么多,只想要其中部分主题?没问题!可选)
.暂停/继续(执行到半,想先去玩一把撸啊撸....又怕占用宽带,用这个)
.保存未下载的列表(主题太多,本次下不完怎么办?没问题,把列表中没下载的主题保存下来.下回导入继续下载)
1.修复已知bug
2.优化操作体验