如果要自己造轮子，一般解决方案是 hash 取余到多个文件，分别去重然后进行归并，这样就不存在内存耗尽问题了

@yubeiluo 过奖了，湖南的？

@helloworldwt 直接 star 或者 fork 就可以开始了 ：）

@kenshinji 非常欢迎~
@libiao5320 bug 已修复，雪球访问协议改成 https 了

@libiao5320 两种情况，一：你抓取太频繁，被限制了。 二：雪球网 cookie 机制有变化，这个问题需要经常维护的，你看看是那个模块出的问题

@zhtsuc 如果炒股的话，可以根据自己需要提供一些模块，以及修复一些可能的 bug ，虽然运行这么久鲜有 bug

@gxz1989611 项目核心就是 Java8 的并行流，所以拓展性几乎没有限制

@cs4814751 可以，按照约定开发即可

@ob 基本上都可以抓，架构为开放式设计的

数据库读写分离，或者数据库单独起个服务， tornado 进行异步请求

command + q

@triThirty 你这种需求异步也没意义，就像你饭馆就一个厨师，你揽那么多客有用吗？解决办法就是开多个 tornado 进程，用 nginx 进行反向代理

@triThirty 我觉得你首先要搞明白你业务逻辑是什么阻塞了程序执行，如果是计算耗时，那弄成异步有什么意义呢？异步的本质是提高单线程 CPU 效率，降低 IO 造成的性能瓶颈。如果你任然是用 http 调用别人接口，那跟我的 demo 没有本质区别啊。

https://github.com/decaywood/GithubSpray 这是我 tornado 异步爬虫的一个例子，简单易懂， clone 下来看吧 官方文档我也翻译了一份 http://blog.decaywood.me/2016/01/14/tornado/

我也很奇怪，为什么大部分标榜异步通信的框架没采用真正的异步通信呢

@wwulfric 那岂不是不能向前兼容了？ 以前要是有这些符号咋办？

入门肯定看 JUnit 啊

@slert 最好还是写清楚，不然别人看到 10k 就点右上角了，错失很多人才，再说，现在应届都不止 10k 啊。。。