5 年 HR 还来问这种问题，只从能力上讲应该被开除掉

@51300520 这么设计肯定有非常多的问题

1、用户删除某条评论，你这样怎么删，评论也应该有个唯一 ID 吧？
2、评论需求后续有扩展，需要加字段，而且某个需求需要在扩展的字段上加索引，你怎么加？

mongodb 虽然没有关系型数据库的设计范式要求，也不能随便来吧，无论哪种 db 的设计在某种程度上至少能满足各第二范式吧

"content":"评论库设计的有很多潜在问题","time":"2019 年 3 月 14 日"

你这同事可以被优化掉了，这是啥代码啊

评论小于 16M 的存 mongodb，超过 16M 的存 gridfs，觉得 gridfs 的性能有问题，评论存 ceph，mongo 里存 ceph 的文件地址

@Estherzhang 那就追加一下嘛，薪资已面谈为标准。

苏州这类的技术人才真的很少，不好找，这类职位一两个人基本也做不了啥

@Estherzhang 从招聘要求中提出三个关键字：C++，深度学习，工程+研究能力，按照北上广的薪资水平，能力在中上水平，两年经验及以上，30K+起步

建议你把薪资隐藏掉吧

这要求 vs 这薪资，绝了

楼主是不是认为爬虫就是将别人的接口数据或网页获取后进行解析？

如果是，那么按照 @dongya 说的，不需要看教程，直接写，用到什么包就去找，或者自己撸即可，没有多少技术含量可言

真正的爬虫，应该是如何破解别人的防爬程序，图片验证码破解，js、浏览器，代理等

各类爬虫实战的书籍都是教你，怎么分布式，如何高性能，哪哪个库解析会比较不错，连个怎么挂代理都不教你，别人服务从源头上把你访问量掐死，这些有啥用？ 还不如去 github 上找些相关的开源项目源码看看呢

一流爬虫是从防爬根源解决问题
二流爬虫是用某些 js 和无头浏览器解决问题
不入流爬虫是写个代码强搞，并发不控制，代理也不挂，拿别人当傻子

@jorneyr 写起来很麻烦，不代表不能写

@binux 说的没毛病，应该是我没有说清楚，下面我详细表述一下。

在连接的处理上没有本质区别。

我想表述的是解耦的问题：
1. 当 server 下达的任务量比较大，server 是直连多个 agent 的，如果换成 mq，server 只需要连接一个 mq 即可
2. 当 agent 上传的数据比较多，server 肯定不可能只存在一个，agent 需要连接多个 server 并做好负载均衡的问题，当然加入个 nginx 可以解决，但对 server 的处理能力要求比较高，否则必然导致阻塞，此时加入 mq，每个 agent 只需要连一个 mq 即可，server 可以慢慢处理 mq 的数据

我就喜欢 a6，但只买得起卡宴，怎么办？

建议投份简历，换一拨的节奏了，楼主能力应该不错，不建议待在外包公司，做些没有多少技术含量的活，还是要提升自己的技术，去正规的公司也能学到规范的开发流程，不能一直都是野路子搞

好了很多回答，为什么第二个问题大家都考虑使用 http，websocket 或 grpc 呢，http 不能解决全双工的需求，ws 和 grpc 虽然能解决全双工的需求，但是实际需求有多少是从 agent 给 server 发消息，长连接需要解决断线重连的问题。

问题二我给的解决思路：加入一个 MQ，任务的下达通过 mq，agent 信息的长传也通过 mq，能很好的解耦

@waibunleung 知道我为啥审题正确么？虽然不是做游戏，但类似这种需求的项目我写过好多个了。

你说的载体我不是很明白，定义一个 struct，把 ws 长连接的 conn 放进去，然后另开 goroutine 搞呗。

如果还不懂，去找个 example 看看，学起来轻松一点。

友情提示：自己玩玩 websocket 随便搞，考虑性能和功能的话，很多事情要做

lou zhu xin tai da, ju ran gan yong yuan tong you ji guan jian zheng jian, bu shi sha jiu shi sha

算法和数据结构先学好，没事多做做算法题目，leetcode 啥的刷刷，另外网络知识好好学习。
建议走 web 方向，前端多学一点，把 js 玩 6 了
后端语言放弃 python 吧，岗位太少了，没啥前途，nodejs, java 和 go 都比较不错

说你一句，二本学校（非学历歧视）还搞大数据，AI，你敢去，公司还不敢要呢。才大二，多掌握基础，眼高手低不好

这还不简单，按照房间进行分组，每个分组里面的成员与服务器保持一个长连接，建议使用 websocket，消息的传播可以分为：组内广播，组内 /跨组单播，跨组广播，跨组指定成员广播。

看一下 golang websocket 的操作即可，姿势正确，代码很好写

建议，送我