V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ga6840  ›  全部回复第 2 页 / 共 3 页
回复总数  57
1  2  3  
2020-11-11 16:17:43 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@coderunI 欢迎提建议
2020-11-11 16:15:58 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@Nillouise docker-compose 可能不够灵活,不过和 Docker swarm 结合的很好。目前我还不觉得有必要用,因为我都是直接通过 docker-cli 或者 API 调用 docker 。 可以不用增加 docker-compose 这一层。当然,没有用过就不发表太多意见。
2020-11-11 15:45:21 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@hpan Approach0,一个数学公式搜索引擎。
2020-11-11 15:44:29 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@mingl0280 不管是 Jenkins 还是 Docker 都是为了省时间、一劳永逸,怎么大家精神负担很重啊。公司玩自动化肯定也想节省各位时间的,只不过节省出来的时间是不是让你 996 就是另外一回事。大家看来被渣干了……
2020-11-11 15:41:22 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@skypyb 国外的 VPS 一个月 5 刀,而且我的提供商 Linode 提供了赞助。我之前的运维栈也是纯脚本,把爬虫和索引都放在本地,这样的话一个月 4 个节点就够了,也就是 20 刀。目前为了支持在线自动爬虫和索引更新,一个月花费是有点贵,但是也是可以靠自己的零花钱养的。当然,更好的服务上去了以后,也希望能找机会开始 monetize.
2020-11-11 15:37:49 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
来说一下为什么我要这么多的机器。首先,个人资金有限,考虑到项目不盈利,目前也不会投入太多成本。在这个条件下,我个人倾向最便宜的节点然后跑集群。比如 Linode 5$ 的节点跑四个(在我这个场景下)绝对比 20$的节点快。

但是单个节点的能力很有限,那么我需要很多服务和 sharding 的话就要很多节点。

我现在最小系统就有好多服务:gateway, calabash, 用户数据库,鉴权服务,calabash UI, 登录 UI, prometheus, grafana,corpus 同步服务( 4 个节点 4 个服务),爬虫( 4 个节点 4 个服务),索引器( 4 个节点 4 个服务),索引同步服务( 4 个节点 4 个服务),corpus 发送到索引器 的 feeder 服务,搜索服务( 4 个节点 4 个服务),搜索 mpirun 进程服务。最少 3*4 个节点了。
2020-11-11 15:27:23 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@skypyb 是个搜索引擎,一个节点肯定不行。即使你不要可用性,sharding 也是必须的。
2020-11-11 15:26:13 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@caicaiwoshishui 是的,一个个人的搜索的项目,目前需要至少 12 个 VPS 。Docker 镜像国内用 uhub, 国外的话用 DockerHub, 不行备用 fallback 到 ghcr 上。本来很倾向 ghcr 的,但是貌似他家 beta 阶段过了以后的价钱很贵,而且实际使用当中 push 的速度经常比不上 DockerHub 。目前看上去够用,自建镜像好像还没有需求。
2020-11-11 15:22:53 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
理解,我也同意有些场景不需要容器。但我自己的感觉是加了容器以后我的维护复杂度减少了,看上去系统依赖了容器,但是维护起来反而容易。
2020-11-11 12:50:14 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
容器化还有一点非常好的,就是方便 DevOps,程序员如果参与到自己代码的部署,可以写和部署环境无关的 Dockerfile,这样就可以在本地测试。
2020-11-11 12:43:14 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@acmore 另外,我知道很多人都不选择容器,而是用 Ansible 之类的。这样的好处当然可能性能上有一定优势(可以减少内存占用)但是隔离性不好,隔离性不好有安全问题也有部署问题。比如你不能在同一台机器上同时运行系统级的包管理安装,所以这样做一般都是一个脚本只能运行在一个节点上(比如 VPS ),也就没有办法更细化的占用整个集群闲置的资源。
2020-11-11 12:34:17 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@acmore 好奇问一下,请问选择 Kong 的原因是什么?有没有考虑 OpenResty?
2020-11-11 12:33:31 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@danRen 是在做小程序吗?
2020-11-11 12:33:00 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
@kop1989 及时策略的 AI OpenAI 应该做到极致了吧?可以看看 PPO 算法?中间的奖励最好用人工定义,我记得看过他们的一个视频提到很多人工自己定义的 奖励场景,用来克服奖励稀疏问题。
2020-11-11 12:29:35 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
有用 MongoDB 的,大家可以看看黄东旭的评价

https://www.bilibili.com/video/BV1nJ411T7Vm/#时间:54:32

当然很适合数据小的时候的小项目,但是我主要担心的是 MongoDB 在安全方面的不足,而且这个公司噱头比技术更厉害。
2020-11-11 12:19:13 +08:00
回复了 ga6840 创建的主题 程序员 来说说自己业余项目的技术栈
我选择的理由主要也是尽量减少自己维护的负担啦,没想到还被评价复杂 (哭

其实一开始也是觉得怎么这套技术栈不那么主流,所以想贴出来,如果用主流 k8s 的欢迎讨论一下使用场景和原因。
2019-12-27 01:05:07 +08:00
回复了 blingblingbili 创建的主题 云计算 新手求助,阿里云国内下载速度太慢怎么办?
搜索引擎带我找到这里的。只能说,太搓了。
2019-11-24 19:16:08 +08:00
回复了 lxerxa 创建的主题 程序员 Github 访问不了了??
大家可以在 hosts 里指定一下以下 ip:

199.232.5.194 github.global.ssl.fastly.net
140.82.114.4 github.com

亲测有效。
2019-11-24 16:17:38 +08:00
回复了 lxerxa 创建的主题 程序员 Github 访问不了了??
+1 云南电信
1  2  3  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2239 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 03:46 · PVG 11:46 · LAX 20:46 · JFK 23:46
Developed with CodeLauncher
♥ Do have faith in what you're doing.