V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  carmark  ›  全部回复第 1 页 / 共 22 页
回复总数  424
1  2  3  4  5  6  7  8  9  10 ... 22  
@liang723 规模大了的话,一般大厂规模会更大。不过现在小厂也是随便有百卡(盲猜)。
说下我的感受,做 AI 平台+系统 接近 8 年:
1. K8s 现在针对 AI 平台,技术点主要包括:调度器( Gang Scheduler ),Training-Operator 这种;这里面可做的点比如:调度器性能优化,调度器调度优化解决碎片问题,解决高低优先级问题,节点内亲和性,节点间 RDMA 网络亲和性; Operator 里面结合调度,如何做容错等;

2. K8s 结合存储系统,类似 Fluid 或者其他存储方案,如何针对性提升,或者针对存储解决 AI 训练或推理场景的问题,比如训练的低延迟,推理的高吞吐;是否可以搞个缓存系统,缓存如何优化,Dataloader 如何搞;

3. K8s 结合网络,这里主要是 SRIOV 相关的技术,基于 sriov-Operator ,以及网络上 multus 就差不多;

4. K8s 结合 GPU ,GPU Device plugin ,GPU Operator 以及其他,基于 nv 的卡都具备了,GPU 可以搞搞虚拟化,容器 GPU 虚拟化,虚拟机咋接,怎么调度这些;

5. AI 平台流程化,比如熟悉 AI 算法的开发流程,调试流程,上线流程,CV 和 LLM 的特点是啥,数据集管理这些;

6. 需要了解 AI 任务分布式特点,如何建立,如何容错,如何与 K8s 结合,这部分就是 Training Operator 的内容,需要知道。

7. 进一步就是了解 AI 算法本身,比如大模型计算过程,参数量啥的,还有推理优化、预训练优化等等;
类似脉脉的思路,辅助生成答案?
122 天前
回复了 xfrgux 创建的主题 游戏 2024 年了,云游戏体验还是不行
国内的话可以试试 haixingcloud.com ,专为游戏配置的高主频 CPU ,RTX 3090,4090 显卡。
243 天前
回复了 lufeng666 创建的主题 奇思妙想 [需求征集] 最想要个什么样的应用?
@lufeng666 是的,所以才是少见,但是感觉是刚需,即便把这个做成一个服务,都会有人付费的。
246 天前
回复了 lufeng666 创建的主题 奇思妙想 [需求征集] 最想要个什么样的应用?
@lufeng666 现有的开源的 app 就没有云图的。
246 天前
回复了 lufeng666 创建的主题 奇思妙想 [需求征集] 最想要个什么样的应用?
准确,无广告的天气 app ,对标彩云的效果就行。
2023-02-20 10:06:45 +08:00
回复了 balabalaXMX 创建的主题 职场话题 后端面试—关于系统设计与项目难点
> 老生常谈的项目亮点和遇到的难点是什么,这个需要说到什么粒度?比如我优化了一个本地缓存,本来是全局一个前缀树,解析字符串,根据 xxxx 的业务场景,改成了二级 map ,减小了锁的粒度。这么说是不是过于简单了?

是的简单了,我的思路是:
1. 实际过程中,在线上业务或者 perf 测试时候发现了问题,如何发现的?这里涉及到了可观测性工具,以及 perf 工具,以及 debug 思路
2. 找到了问题,那么就要考虑原有的结构, 如何调优,如何测试,有没有更好地思路,是否去做了探查,业界有哪些方法来解决这个问题(方法论问题)
3. 解决完成后,看收益,要具体到数字指标
4. 如何持续性优化思路
2023-02-20 10:02:53 +08:00
回复了 balabalaXMX 创建的主题 职场话题 后端面试—关于系统设计与项目难点
分享下我的经验,我作为面试官期望得到的结果:
2023-02-01 08:42:17 +08:00
回复了 carmark 创建的主题 酷工作 诚招资深 DevOps Engineer/运维工程师
@bigpigB 有办公室的,资深可以 base 成都
2023-01-31 10:35:56 +08:00
回复了 carmark 创建的主题 酷工作 诚招资深 DevOps Engineer/运维工程师
@kevin1234 五年以上资深的也可以放
2023-01-31 09:53:09 +08:00
回复了 carmark 创建的主题 酷工作 诚招资深 DevOps Engineer/运维工程师
@idblife 您好,具体薪资会根据您的面试情况以及原有薪资来定(比较官方的说法,但是事实上确实是 这样)
2023-01-31 09:45:01 +08:00
回复了 carmark 创建的主题 酷工作 诚招资深 DevOps Engineer/运维工程师
@Tianny 您好,运维比较敏感,无法 remote
2022-12-16 12:10:55 +08:00
回复了 wcao 创建的主题 分享创造 我要把 eagle 图片软件,打造成后台管理系统。
文件规模大了,寻址就可能会慢很多,这里可以考虑用 db 做索引,然后小文件聚合。
2022-12-15 14:11:59 +08:00
回复了 fy1206 创建的主题 Kubernetes 寻一个 K8s 开发群
这有啥可交流的呢?官方文档以及开源项目不够完整么?
2022-12-10 20:02:39 +08:00
回复了 phoenixshen 创建的主题 酷工作 大厂不招我们招,芯片行业靠谱公司来招人了
@MyBules 我们招,摩尔线程,可以查看职位 https://mthreads.zhiye.com/social ,如果有兴趣可以联系我内推 vfs # live.com
2022-11-27 10:56:11 +08:00
回复了 edis0n0 创建的主题 程序员 有能使用 qemu 作 backend 运行 docker 镜像的程序吗
kata 试试
1  2  3  4  5  6  7  8  9  10 ... 22  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2386 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms · UTC 15:31 · PVG 23:31 · LAX 08:31 · JFK 11:31
Developed with CodeLauncher
♥ Do have faith in what you're doing.