金头条 - 股票即时新闻爬虫

[vitovan]

跳过正文：

http://new.jtoutiao.com

公众号：

预览：

能干啥：

• 添加自选股，获得即时新闻。

• 其他附加功能（全网热点、限售解禁预警、机构内参、异动个股等等）

技术栈：

• 爬虫: Python 3 - Celery - re2 - BS4 - Supervisord - Elixir

• 后端: Python 3 - Tornado - PostgreSQL

• 前端: Angular 2 - SystemJS

项目状态：

beta ，服务器随时挂掉 :-D

缺钱、缺人，聊一聊？邮件(base64)： YXdlc29tZXZpdG9AbGl2ZS5jb20=

技术坑：

• Angular 2 毛病多多呀，用作 Production 很是费劲：

  • Pros:

    • TypeScript, 好用。
    • Observable， 好用。

  • Cons:

    • Bug: OnInit not fired when using Safari's back button iOS 不能后退 貌似 Fixed
    • feat(router): implement otherwise/routeNotFound hook #2965 不能设置 404 ，现在状态不清楚
    • Angular 2 dynamic tabs with user-click chosen components 想动态创建一下 innerHTML ，难得要命。
    • Angular Universal 你要是用了个 Python 后端就还是算了吧

  • 总结：如果上天再给我一次机会，我会选择用 React，即使 JSX 让人相当讨厌。

• PostgreSQL

  • 想不起来有什么可吐槽的，就是 XX 云的 RDS 太贵了，性能也不敢恭维。

• Celery

  • Pros: 爽！分布式任务调度，加上 Flower 这个控制台，很方便呀~
  • Cons: 我是不知道为什么， worker 莫名的就那么消失了，要不然也不会非要再用什么 Supervisord 。

• Tornado

  • Pros: @gen.coroutine 好用！
  • Cons: 没什么不好的，刚接触 ioloop 概念的时候很不适应，这个是 Tornado 自创的么（挖鼻孔）？

• Elixir

  • Pros: erlang 美化版，好用呀~ 文档什么的也赞爆了：Kernel – Elixir v1.3.2。
  • Cons: 不知道为什么写着写着就恶心了，感觉语言中人为干预的太多了，预设模式太多了。可能设计出来的语言就有这毛病吧。尤其是用Postgrex这个库的时候越用越难受，也说不上为啥。
  • 总结：瞎折腾这些新鲜玩意儿，有这功夫咋不用 Java 呢？咋不去上天呢？

讨论：

大家有啥想聊的一起聊一聊，瞎吵吵架呗~

[vimffs]

感谢分享！ 1024

[GreatMartial]

一个人做的吗？

[GhostEX]

新闻抓取的范围是哪些网站？

[shaohuifan]

楼主，想找人一起玩？

[vitovan]

r#2 @GreatMartial 一个技术(Me)+ 一个产品兼前端(Partener)

[vitovan]

r#3 @GhostEX 这......几乎全网的中文金融网站吧，大大小小一百多个。

[vitovan]

r#4 @shaohuifan 不知道呀，缺钱缺人的迷茫期么，发上来随便聊聊。

[tkpc]

@vitovan 和选股宝　华尔街见闻的　差异点在哪呢
从网站没看出来

[vitovan]

r#8 @tkpc 哈哈哈哈！哈哈哈哈！

我竟无言以对（转身捂脸状）。

[shaohuifan]

@vitovan 现在股市不好，把期货带上吧

[vitovan]

r#10 @shaohuifan 期货是不是新闻不多？

[duolai798]

这东西是创业路子吗？感觉离实用还很远，怎么熬到赚钱的时间点是个问题。如果只是玩玩基本上只能自己玩玩了。

[GhostEX]

@duolai798 大多数类似创业项目都是不盈利的....

[GreatMartial]

@vitovan 不容易，支持楼主。 不知道你们的产品和其他家比优势在哪呢？

[vitovan]

r#14 @GreatMartial 哈哈哈哈~我也说不上来呀，或许是不上心吧，也不是在用生命去做这件事，成不成随便了~

[xujif]

我们也在做这个

[vitovan]

r#16 @xujif 自己烧钱呢？

[duolai798]

@vitovan 创业项目不盈利不代表没有规划如何盈利以及在哪个时间点盈利 你这个只能算是玩票性质 如果没有经验 这东西基本做不下去 这类 2C 的产品前期就是要做用户量 估计你等不到那一天就没兴趣和信心了

[GreatMartial]

@vitovan 额，股市数据的集合类应用应该很多了。
如果你们能加上数据分析，通过数据给小白荐股，还是有市场的。
不过估计技术方面相当难了， 2333

可以换个思路，有没有兴趣做个足彩的数据聚合，通过历史数据分析，然后给用户推荐购买，这个比起你们现在的项目，可行性更高，而且有市场空白，个人觉得。

[vitovan]

r#18 @duolai798 我觉得，你讲得很对。