寻找技术顾问: Elasticsearch、Android 底层、Kafka、Minio、分布式爬虫、Ansible

2021-01-07 02:48:30 +08:00
 sunchuo

Hi

不好意思打扰大家了。

是这样的:因为公司业务发展还算挺快,我们已达到能力天花板又智商不行。学习新的东西很慢,从不知道怎么搞,到大概知道怎么搞但是又没搞过,搞出来了又遇到各种各样的小问题去各种解决。

整个过程充满选择纠结、认知不全面的不安、各种小问题一个接着一个的烦躁。精力都花在架构上而不是业务。 所以希望能在我们需要的一些领域里,找到 1 ~ n 个技术顾问。能够指导我们针对业务场景提供方案,指导快速上手,遇到问题给个思路。

这些领域包括:

Android 偏底层,反编译看同类的技术实现思路、保活、提升推送到达率、反反编译等。

Elasticsearch,部署、配置、参数调优,中文支持,拼音搜索、首字母搜索、同义词搜索、纠错等。

Kafka,部署、配置、参数调优。

Minio,分布式部署、多域名、多用户,每个用户存储空间、请求数、流量、带宽统计。

分布式爬虫,如何设计分布式爬虫支持多种语言的 worker 。

Ansible,服务器初始化(升级、防火墙、sshd 修改),部署代码。

PHP Swoole,如何用 swoole 写出虽然不快但是比也不太慢的代码。

Q&A:

问:你们大部分问题云服务都完美解决了,还免运维,为啥要自己折腾?

答:成本,我们在机房租用一台机器相同硬件性能(配置不准云会超售)、带宽的情况下,云服务成本大概是 20 倍。

问:怎么个合作方式?

答:1. 加好友。2. 说一下自己非常擅长哪方面。3.遇到问题就问您,并且说明想要什么样的结果。4. 您如果足够胜任,评估一下要多久,想要多少钱。5. 同意。6. 您给解决问题的文档。7. 付钱。8. 文档不理解的地方可能麻烦您解释一下。9. 问题解决。 如果中间有各种各样的原因导致没成功走到 9,希望买卖不成仁义在,继续做好友,下次遇到问题从 3 继续开始走。

问:合作会持续多久?

答:取决于 我们业务,您,谁扛得久。取小值。

问:不好意思谈钱怎么办?

答:您一天工资是多少,正常上班,去掉摸鱼时间,去掉和产品经理扯皮的时间。每天有效工作时间也就 2 ~ 3 小时。您解决我们的问题需要多少个 2 ~ 3 小时,就当多少天。

问:你们有钱么?

答:紧巴巴的,不然就招全职了。

问:这种人不屑于赚你这种小钱。

答:我相信乐于助人是主因,认识几个新朋友为辅。零花钱只是.....。让知识有尊严。

问:找不到顾问怎么办?

答:一边自己继续慢慢扣脑袋学。一边继续找。

问:你微信多少?

答:sunchuo

4138 次点击
所在节点    程序员
35 条回复
RangerWolf
2021-01-07 23:17:11 +08:00
啊啊啊 打错字, 越来越顺利。。。
YouLMAO
2021-01-08 00:36:04 +08:00
楼主我都会,但最少你表示最低价格吧,否则万一差 50 倍就白聊了
AkideLiu
2021-01-08 02:21:38 +08:00
隐约觉得不是缺钱,而是存在法律风险。
10g 带宽,10 亿数据,爬虫+反编译。

瞎说的,勿喷 /doge
jwangkun
2021-01-08 09:01:38 +08:00
@lancelee01 我们可以交流一下,我们公司目前正在大规模的使用
sunchuo
2021-01-08 09:59:06 +08:00
@firefox12 👍
buliugu
2021-01-08 10:59:42 +08:00
Minio 分布式部署的需求基本上可以用 k8s 部署来解决,不过自带的 Prometheus metrics 只有实例数据,每个租户给独立 minio 集群嘛?
lyc1116
2021-01-08 17:34:28 +08:00
Elasticsearch 的需求这个不是上云对机器能解决的,中文支持->中文分词(机械,字典等),实时索引,首字母搜索->doc 量大需要优化 wildcard query,纠错->speelcheck 索引,后面可能还需要优化召回和排序。
sunchuo
2021-01-08 17:52:41 +08:00
@lyc1116 👍
calmzhu
2021-01-09 01:01:37 +08:00
其他不评论。
不过 20 倍成本这个认真的吗,不带这么尬黑的。
阿里云 2vCpu 8G 内存 5M 固定带宽的月租是 387. 所以你们一个月同样服务器成本是 19 块?

服务器功率全部按接近待机的功率算 200W 。一个月大概 0.2Kw * 720h = 144 kwh 。每度电两毛。电厂现在已经这么丧心病狂了么。
sunchuo
2021-01-10 01:23:03 +08:00
@calmzhu

虽然你抬杠的角度刁钻并且很有道理的样子。但是仔细看我 10 楼的回复。
我们服务器的配置基本上是你说的配置每一项乘以 16 or 8 。

👀
calmzhu
2021-01-10 14:28:00 +08:00
@sunchuo
我已经算你们的服务器硬件成本为零 了。配置乘多少差别不大。

你看看服务器的功算算电费就可以了。这还没算数据中心的空调。

真建数据中心,服务器本身硬件费用并不是大头。

羡慕你杠的无知
calmzhu
2021-01-10 14:37:47 +08:00
@calmzhu

自建机房的成本。服务器硬件+服务人力+ 服务器电费消耗+空调电费消耗。前两者已经给你抹了当零算了。只要开机算,电费就会超过云的二十分之一
calmzhu
2021-01-10 14:40:42 +08:00
@calmzhu
真建数据中心,服务器本身硬件费用并不是大头。这句话说错了。是想表达,并没有比其他费用高出一个数量级的程度
calmzhu
2021-01-10 15:22:12 +08:00
@sunchuo

有一点确实看错了。也不是自建数据中心。而是整租机柜或者单个机位。所以不考虑电费。

按照我们之前租的电信机房整机柜。销售谈过的价格是 6w/年。每组机柜 13 台 2U 48 核 256G 服务器插满。每台每个月成本大概是 384.6 元.差不多也就是机房电费了。

阿里云上 256G 内存没有 48vCPU,按通用型 ecs.g5.16xlarge 32vCPU 单月购买价格的 20 分之一大概是 400.这大概就算你算的大概 20 倍成本的数据来源吧。但是请注意这是只购买一个月一台直接下款的价格。有量有长期谈一下轻松减半(官方直售超三年都是直接半价)
lancelee01
2021-01-11 09:15:15 +08:00
@jwangkun 可以呀,WX:bGFuY2VsZWVkZXY=

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/742381

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX