InfoSpider是一个非常有用的爬虫工具箱,目前支持所有主流平台。它可以抓取用户在这些平台上发送的内容,帮助用户检索自己的数据。比如我们发了很多邮件,如果要保存和备份所有邮件的内容,需要花费大量的时间和精力手工去做。您可以使用InfoSpider一键快速抓取您的信息,并根据用户数据生成图表文件,让用户更直观、更深入地了解自己的信息。
易用性:提供GUI界面,只需点击需要获取的数据源,按照提示操作即可。
结构清晰:本项目所有数据源相互独立,可移植性高,所有爬虫脚本都在本项目的Spiders文件下。
丰富的数据源:该项目目前最多支持24个数据源,并不断更新。
统一数据格式:所有抓取到的数据都会以json格式存储,方便后期数据分析。
丰富的个人数据:这个项目会为你抓取尽可能多的个人数据,后期的数据处理可以根据需要删除。
数据分析:本项目提供个人数据可视化分析,目前仅部分支持。
丰富的文档:这个项目包含完整和全面的指导文件和视频教程
安装python3和Chrome浏览器
安装与Chrome浏览器相同版本的驱动程序
安装依赖库pip install -r requirements.txt
工具操作
进入工具目录
运行python3main.py。
在打开的窗口中点击数据源按钮,根据提示选择数据保存路径
输入用户密码后,弹出的浏览器会自动开始抓取数据,抓取后浏览器会自动关闭。
您可以在相应的目录中查看下载的数据(xxx.json)和数据分析图表(xxx.html)。