国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱: InfoSpider

2020-08-29 11:07:43 +08:00
 vincekang

国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱:InfoSpider

其主要目的,在于帮助用户安全快捷的拿回自己的数据,并提供数据分析功能,基于用户数据生成图表文件,让用户能更直观、深入了解自己的信息。

目前该工具箱支持了包括 GitHub 、知乎、B 站、以及各大知名邮箱与社交网站的用户数据爬取。

Documentation:https://infospider.vercel.app

GitHub:https://github.com/kangvcar/InfoSpider

Video Demo:https://www.bilibili.com/video/BV14f4y1R7oF/

5852 次点击
所在节点    推广
29 条回复
Ultraman
2020-08-29 12:18:21 +08:00
你说的这个开发者究竟是不是你?
是。
waytoshine
2020-08-29 12:19:31 +08:00
可以,Python 写的,学习学习
hnbcinfo
2020-08-29 12:45:58 +08:00
看了下名字,这个开发者不就是你吗
luckyswag
2020-08-29 13:41:06 +08:00
你可真是个小机灵鬼
bigbigeggs
2020-08-29 13:42:04 +08:00
这不就是推广?还能这样
lazzyboy
2020-08-29 14:10:49 +08:00
哈哈,推广就推广,就先自己谢了一个项目,并开源了,还”国内一位开发者“,看了这样的标题,加上下面的评论,懒得点你发的链接。
felixin
2020-08-29 14:37:41 +08:00
建议用 pyinstaller 打包一下给小白用。

另外,知乎账号支持爬自己匿名的内容吗
felixin
2020-08-29 14:44:31 +08:00
不要理会楼上这些阴阳怪气的,他们没什么成就的
ylqhust
2020-08-29 15:18:33 +08:00
快进到看守所拘留。
lunatic5
2020-08-29 15:37:43 +08:00
牛批。很有趣的项目,已博客转发分享
winglight2016
2020-08-29 17:27:26 +08:00
本来以为是又一个爬虫轮子,看了 GitHub 发现是下载个人信息?然而看了 bilibili 的介绍,我又迷茫了,为啥下载下来都是 json,内容还都是 utf-8 编码?

麻烦 lz 整理一下输出 /爬取的具体内容,给个爬取后进行数据处理的应用场景例子,比如,QQ/微信聊天记录备份等等。

很遗憾,目前支持的网站我感觉都用不上,希望 lz 能提供扩展教程。另外,目前这个 tk 做的 GUI,除了支持图标,还不如直接用命令行交互更直观。
Whalko
2020-08-29 18:14:50 +08:00
装依赖那一步卡住了,Google 搜过是通病,而且好像不太容易解决。看到 issue 有人提,就是 Microsoft Visual C++ 14.0 is required. 这个
ErwinCheung
2020-08-29 18:29:29 +08:00
这不就是推广?还能这样
vincekang
2020-08-29 20:11:12 +08:00
@lazzyboy 我都懒得回复你,这是一个开源项目,我只想让更多人看到自己的劳动成功,获得大家的认可,一起交流学习。不知道这是不是吃到你的瓜了?
vincekang
2020-08-29 20:12:02 +08:00
@felixin 谢谢你的建议,我计划在下一个版本提供 web 端支持以适应多平台。
vincekang
2020-08-29 20:12:52 +08:00
vincekang
2020-08-29 20:14:35 +08:00
@winglight2016 谢谢你的评论,发出来就是希望能看到你这样的讨论,你的建议非常棒!我会在下一个版本改进!
vincekang
2020-08-29 20:18:02 +08:00
@Whalko 期待你的解决方案
AlexaZhou
2020-08-29 20:57:18 +08:00
为啥要装成第三方推荐自己呢,请自信一点,光明正大直接推就行
vincekang
2020-08-29 21:19:33 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/702369

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX