想要弄一个 github 的爬虫，然后开放爬到的 github 数据

[imcj]

想到的可以爬到的内容有 git 仓库信息、会员信息。

今天突发奇想，想分析各种库的引用情况。

[holajamc]

@imcj 目前还在完善~

[imcj]

@holajamc 是从网页爬数据？还是从 api ？

[holajamc]

@imcj 从网页采集数据， api 几分钟次数就用完了……

[imcj]

@holajamc 上面那个哥们给的 ghtorrent 好像是用非常多的 api key

[Codewj]

楼主的项目进行的怎么样了

[imcj]

@Codewj 没有开始这样的项目，只是一个 idea ，想看看有没有人已经弄过了。交流一下先。

你曾经也考虑过这样的东西？

[qdk0901]

@imcj 数据还在，没整理很乱， mongodb 存的， 10G 左右

[imcj]

@qdj0901 还准备继续吗？都做了些什么？

[gaocegege]

https://github.com/gaocegege/scala-github-relationship

之前无聊的时候有做过类似的，一开始单机多线程类似事件驱动来爬的， API rate limit 很成问题，后来只能用单线程同步来做。

对于 limit 的问题，比较好的解决方案是用多几个帐号，用 token ，好像用的好的话 20 多个帐号就可以爬全站。

[Codewj]

@imcj 有想法，做个毕业设计

[imcj]

@gaocegege 嗯，有很多设想都是建立在数据完整的情况下。爬数据很费时费力。

@Codewj 可以多交流，这个帖子里面就有几个人在做这件事。我以前爬过网页，但是后来没有继续。

如果有可能，大家一起维护一份数据每个人都轻松。