大数据学习

[liushawn1999]

有老哥从事大数据方面的工作吗?想了解一下这方面的就业情况,目前我刚学完 sql,目前在学习 pl/sql,感觉难度一步一步加大啊,后面还要学 python 这些,但是 python 不是我比较担心的东西,就是对前面学过的 sql 还不熟练,很多题还不会写,有老哥分享一下你的学习经验吗?

[moyi97]

大数据学习 pl/sql .... 这不是 Oracle 的工具吗, 目前来说,如果你要做平台开发,那就去看 java 和各个组件的调用吧.如果你要做数据开发,那就练 sql+学习各个组件(从存储到传输到计算到调度到 bi),然后就是模型设计方法论(其实就是建表) , 刚开始实习的时候是先学的 hadoop 一套, 然后学的模型方法论(比如阿里巴巴大数据之路,数据建模工具箱等) ,再之后就可能是各种其它组件的原理,使用等, 比如说 olap 数据库,多数据源传输工具,开源调度系统等等.
以上仅代表个人观点,如有不妥请大佬指出

[qipan0321]

大数据已经凉了，市场上产品非常成熟。而且主要是 java(scala)生态，只有 flink 等少部分对 python 支持比较好。

[littleJohn]

数据开发 数据治理 数据分析 大数据平台开发 所需技术栈都不同

[quanqqqq]

主要还是看你之后是算法方向还是数仓方向吧，数仓方向，就搞搞 hadoop 生态的那套东西，玩玩 hive 、spark 、hbase 啥的一些经典组件，有精力也可以玩玩一些比较新的类似于 Hudi 、Iceberg 啥的数据湖，当然一些数据治理、数据仓库的理论也是必须的，算法的话还是以 python 为主，pandas 、sckit-learn 、tensorflow 、pytorch 几个算法组件库得熟，也可以练练 spark ml 、flink ml

[Super8]

同上
就个人感受来说，大数据行业近几年是非常沉寂不像 20 年左右那么火了，我所在城市是杭州，做大数据的公司有袋鼠云、奇点云、树澜科技等等算的是做大数据比较专业的企业，做的方向也是轻量 ETL 的业务系统研发，政府、企业项目偏多。做业务也是离线开发、在线开发、数据同步、数据安全开发、隐私计算等等。
未来可能会有发展，毕竟 AIGC 目前正在快速发展，需要大量数据去训练模型。。。。。

[Super8]

当然使用技术也是 hadoop 全家桶那一套。。。hadoop ，hive ，spark ，pyspark ，hbase ，等等
或者 flink 流式计算，其实都可以归结到在线离线的开发业务技术体系当中。

[HomeZane]

学 pl/sql 多多少少有点多余了

Oracle 这个工具 除了 Sql 外，其他和大数据相关的一点关系没有呀

[purringpal]

这方面你学个两三年应该还不如现在的 ChatGPT 水平，而且到时候它又上升都新的高度了。

[Xbluer]

https://ruanyifeng.com/blog/2023/03/weekly-issue-244.html

[liushawn1999]

@littleJohn 是吗?这几个岗位薪资和工作内容有什么区别吗?另外,所需的技术栈是什么?新人小白入行适合其中哪个工作岗位?

[liushawn1999]

@Super8 Hadoop 全家桶是吧,okok

[liushawn1999]

@quanqqqq 算法方向可能不太适合我,这个有难度的,我就一普通二本,水平不太够

[liushawn1999]

@Super8 没落的学科是吧,呜呜呜呜还能入行吗?^_^

[tensorzhang]

现在入行大数据似乎已经晚了，工具很成熟了，而且大数据门槛没有很高，sql boy 和 sql girl 名不虚传。

[liushawn1999]

@tensorzhang 那推荐入行哪个?Java 吗?

[kangkag0231]

数据平台开发学学 Java ，算法 Python ，数仓基本就 SQL ，没必要 orcale 。

[kangkag0231]

数仓理论国内就看那个大数据之路。计算框架基本就 flink 、spark 。成熟的公司基本都写 sql ，scala\python\java 不到 10%，平台开发另说。hadoop 全家桶实际会用就行，面试能过就没啥了

[abcfyk]

SQL 都觉得难的话，可能不适合干这行。

可以看看 GitHub 上面这个 repo
https://github.com/heibaiying/BigData-Notes

[gorillaL2sll]

大数据已经凉了 现在 基本找不到工作 不是外包就是顶级的那种，中间级别已经没工作了

[fuckallmm]

人家都跳出坑了，你还准备着往坑里跳。
非要往这个行业里面挤么？
妹子搞搞直播带货它不香么嘛？