请教各位大佬,现代硬件架构下,“传统压缩算法 + 高性能 I/O / 外存算法”还有深入研究的前景吗(考虑读博

5 月 31 日
 maocili
目前在考虑未来的方向(有读博的打算),想请教一下大家关于传统数据压缩算法在工业界和学术界的前景。

近几年大模型太过于热门,我也曾尝试跟进和学习过一些相关的架构。但深入接触后发现,自己能触及的也只是些表层应用,并不是做大语言模型的那块料。

近期也再探索其他方向的可能性,发现对 I/O 模型和外存算法有点兴趣,也联系了学校老师希望可以进组对 I/O 模型进行一些深入的研究。

不过,目前还对这块领域背景知识比较少,想向各位前辈请教,如果把 I/O 模型和底层存储作为读博或长期的核心研究方向,会不会因为太垂直而导致毕业后的就业面太窄?工业界对这类系统方向的 PhD 岗位需求到底如何,会不会就业门槛太高,导致找不到岗位。
1410 次点击
所在节点    职场话题
4 条回复
NotLongNil
5 月 31 日
建议你问问自己的老师和师兄,或者相关行业内的专业人士吧。互联网上说话又不用负责,人均百万,人均专家,对面是人是狗都不知道
hushao
5 月 31 日
1. 压缩算法当前需要的是革命性的,而非传统算法,死磕这套还不如 gpt 进化一次
2. 高性能 IO 一直都太需要,且未来也会长期需要,但就业需要的是顶尖人才而非一般力工
3. 自信你在算法领域是 top1% 的那一群体,毫不犹豫去做,若不是,尽早放弃,选择当下热门领域/至少是赚钱效应明显/就业面宽的领域,不然你早晚会后悔,那不如一开始就不选择至少后悔少些
4. 有读博打算,你应该看的是你老板而非就业前景,面向老板读博才是正解,不如花心思研究下哪个老板靠谱。
ryd994
5 月 31 日
软硬件结合的高性能 SAN 是有需求的。

云服务器都是存算分离。储存系统用的分布式文件系统,需要满足副本数量的要求。所以就需要 RDMA 等技术。
但是,随着数据安全和隐私保护法规的变化,有些数据还需要加密传输和储存。简单的 RDMA 已经不够了,需要再增加专门的硬件来处理这些任务。

高性能压缩储存目前来说用得很少。因为没必要。如果是高性能储存,用户都花大价钱 nvmeof 了,不在乎成本。压缩始终会增加延迟 ,这就没意思了。如果是对成本敏感的冷储存,那也就不需要高性能。高性能和压缩这两个特性很少同时出现。
maocili
7 天前
@NotLongNil 国内就业的东西他们真不一定会有了解,如果有关联性更多的学术问题我倒可以请教一下他们。


@hushao 导师看起来还挺厉害,就是这个压缩算法或者 IO 算法这个领域太小了,文章没那么好发。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1216726

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX