V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  user919lx  ›  全部回复第 4 页 / 共 5 页
回复总数  85
1  2  3  4  5  
2019-05-13 14:12:05 +08:00
回复了 xiaolingxinna 创建的主题 职场话题 只想干 4 个月全职,还有可能找到工作嘛
楼主想要高工资的话,可以去投猿辅导,他们给实习生开的工资能达到 1000/天。全职肯定不会只给做 4 个月的。
2019-05-01 20:48:17 +08:00
回复了 cqcn1991 创建的主题 问与答 Data Science: 自动化的时间序列分析(descriptive)?
再增加一张增长率表。

数值稳定就是增长率绝对值小于 a

峰值的话,如果只是检测突增、突减,就看增长率绝对值 是否大于 b。如果需要看两边,则需要在增长率表上做滑动窗口计算

增加、下降的趋势,这个你可以设定滑动窗口,在窗口内做个线性回归就好。

其实方法很多,灵活应用吧。
去找实习,去和更多的人接触,交流。自己一个人闷着想只会越来越自闭,也无法解决问题。个人的亲身经历,我读书的时候也对前途特别迷茫,也就开始干活之后才在工作中找到了方向。
听力问题的话还是建议花点钱配一副助听器,毕竟工作交流还是很重要的。
2019-03-15 11:44:21 +08:00
回复了 anyV 创建的主题 求职 本硕 985 应届生,求职解惑
@anyV base64 解码
2019-03-15 11:06:56 +08:00
回复了 anyV 创建的主题 求职 本硕 985 应届生,求职解惑
我就是学统计学的,现在在做数据工程师,感觉还不错。


首先不建议你做 Java 开发,完全发挥不出自己统计学专业的优势,建议还是走数据领域。


就我自己的个人体验,以及对同事们的观察来说。如果你在学校的时候有认真学习的话,统计专业在数据工作上的优势非常明显。你会对数据有独特的敏感性,无论是做开发还是分析都很有优势,学习各种算法和模型,效率也比其它专业的人更有优势。
在求职上的优势也非常明显,统计专业强校,即使你什么都不会,面试官也会愿意给你一个机会,因为他相信你的专业和学校,这都是我自己的切身体会,我当初入行的时候,面试时连简单的 SQL 题都没写对,还是拿到了 offer。


然后说说该做数据领域里的哪个职位。
现在市面上的数据岗位有这么几种:
数据分析师
数据科学家
算法工程师
数据工程师
大数据工程师
爬虫工程师

初级数据分析师待遇不高,而且由于入行门槛最低,竞争也最激烈。所做的事情主要是给业务部门取数、扯皮等等,想要做分析的话得看你的部门职能还有 leader 给不给机会,最重要的是 SQL 和 Excel 用得好,Python 掌握得好也是加分项。最不推荐,但实在没办法了也可以做,你的专业优势能让你很容易拿到 offer,数据驱动的理念越来越深入人心,许多公司都会提供相应的坑位,努力一把还是能找到的工作,只是可能待遇通常都不太令人满意。

数据科学家,比数据分析师的 level 更高一些,你会有机会做一些算法和模型。面试的要求通常会比较高,而且由于每家公司的需求不一样,问的问题会非常杂,覆盖面很广,基本没法提前针对性准备。这个岗位最难的是过面试关,你要是能拿到 offer,待遇通常都不会太差,做的事情也很有挑战性,很有趣。有些公司可能挂个数据分析师的岗位但要求是数据科学家的,这个只能自己看看 JD 了。

算法工程师,需要你深入了解机器学习算法,最好能发几篇相关领域的论文啥的。待遇没得说,同数据科学家一样,难在面试。如果你在学校的时候没有深耕,就不建议投这个岗位了。

数据科学家和算法工程师这两个岗位,都是高薪、高挑战的岗位,面试也非常难。而且这些岗位成本高,又缺乏落地方法论,所以通常来说坑位偏少,加上高薪吸引大量人才,你面对的竞争最为激烈。数据分析师是人多,但你仍然有优势。而在这两个岗位上,你将面对各种 985 以上的优秀人才的竞争,自己估量一下吧。而且数据科学家对经验的要求同样很高,许多公司都只想招有经验的人,初级岗位很少,比较常见的是数据分析师升上来或者从别的岗位转过来的。


数据工程师,也就是我的岗位,日常主要是做 ETL,数据仓库建设,基础设施运维等等。工作内容繁杂枯燥。需要维护 ETL 定时任务,所以每天都得看一眼监控,遇到任务出错也和运维一样需要及时抢修,大数据文摘翻译过一篇文章《数据工程师的没落》,对这些情况讲得很清楚了。
需要的技能就是 SQL、Python 以及各种开源软件的使用( Hive、HBase、Spark、Kafka、Airflow 等等)。要做好这个工作,除了数据处理能力,还需要能理解各种算法模型,因为会需要帮助数据科学家把算法工程化。
待遇就是一般的研发工程师水平,比算法工程师和数据科学家低,比数据分析师高。竞争激烈程度不高,因为很多编程好的人没有数据 sense,有数据 sense 的人编程不一定行,就算编程还可以,一般也是优先考虑数据科学家。
坑位很多,毕竟要搞数据驱动的话,必然需要人手来建设数据仓库的,在很长一段时间内,都会是一个必不可少的角色。

大数据工程师,偏底层运维性质,主要是维护大数据集群和相关服务,以及基于开源生态做二次开发。很多公司会把这个和数据工程师混淆,自己看 JD 判断吧。这个岗位需要对开源生态很熟悉,了解底层知识,阅读过源码。待遇和数据工程师类似,坑位主要是大公司有,中小公司一般是数据工程师兼任这部分职能,只有大公司才会有定制化开发的需求。开源组件基本能满足大部分数据需求了,所以实际上岗位需求比较有限。

爬虫工程师,需要对爬虫知识有全面的了解,这里也不多谈。有爬虫需求的公司很多,但需求一般都不会强到单独设置爬虫岗位,都是其它岗位的人根据需求临时开发一下。坑位是非常非常少的,大公司也不一定有。


综上来说,你觉得自己能力强就去拼一把数据科学家和算法工程师,要是能拿到 offer,待遇通常不会差。
如果觉得自己竞争不过,就去试试数据工程师吧,需要的知识技能比较固定,面试很好准备,面试官也很青睐统计学这个专业。
保底的选择就是数据分析师,相信我,凭着这个专业,无论怎样你总能找到一份工作的,如果你不满意待遇和前景,可以先做着积攒经验,以后找机会再跳槽就行了。数据领域的工作,岗位边界其实并不明确,如果你愿意,完全有机会在完成本职工作之后申请干点别的事。

大数据工程师、爬虫工程师,如果你没有相关经验,就不推荐了,现在来不及准备。



最后,我们公司正在招人,base 深圳。数据科学家、算法工程师( NLP )、数据工程师、爬虫工程师都有需求。
我们是一家 ToB 的数据服务公司,拥有爬虫、数据清洗、挖掘数据价值的全链路数据能力,服务的公司有好几个全球知名的快消品巨头。

有兴趣的话加我微信了解详细情况 dXNlcjkxOWx4
2018-12-27 01:31:00 +08:00
回复了 mrchi 创建的主题 程序员 Python 执行定时任务(cron)有什么好用的框架吗
按照你的需求, 部署 Airflow 配置个 LocalExecutor 就足够满足了。

1. 写一套东西,以后添加新定时任务的时候直接扔代码和运行配置
Airflow 的任务是用 Python 写的,你完全可以写成动态的形式,可以通过读取数据库或者 csv 文件来动态生成定时任务,事实上我在实践中经常这么用。

2. 能够出错重试,然后对结果啥的能进行查看
Airflow 提供 Web UI 界面,可以查看每个周期下的 task 的运行状态,还有完整的信息(执行时间、重试次数、运行日志等等),出错自动重试,可以发送邮件,并且有按钮能让你重试任务,连 ssh 登陆服务器都不需要。
2018-12-27 01:23:31 +08:00
回复了 mrchi 创建的主题 程序员 Python 执行定时任务(cron)有什么好用的框架吗
我是做数据开发的,需要处理大量的定时任务,还有重重复杂的依赖关系。
很推荐用 Airflow,已经有非常多的公司在使用这个调度系统了,就调度这件事而言,我觉得它提供的功能已经非常全面了,足够满足你的需求。
如果觉得官方文档比较难懂,可以参考我写的几篇博客,http://longfei.leanote.com/cate/bigdata 不过我这几篇都是概念和使用方法。如果你要想了解如何安装部署,要么看官方文档,要么就搜一下网络上的教程。
2018-12-26 14:29:31 +08:00
回复了 javaWeber 创建的主题 职场话题 这份跟开发没关系的工作,要不要去干?
遵循你自己的兴趣。

如果你真的很热爱编程,希望在这上面有长远发展,就选第一份。真正热爱的人,一周工作 80 个小时也不嫌累的,如果你去看早期的程序员大神的传记,这样的情况比比皆是。当然,他们是在为自己工作,这与我们为工资工作还是有本质区别的。不过这也取决于你怎么看待自己手上的工作。如果你觉得这工作与自己无关,就是资本家在剥削你,早点干完下班当然是最好的。

如果只当成是工作,当然选第二份,钱同样多,还轻松。别说什么下了班再搞自己的个人项目或者自习,要做到这一点的,乃至于做得出彩足够成为简历上的亮点,需要强大的自制力,或者养成习惯,这都不是朝夕可成的。事实上,更常见的情况是,下了班就随便玩玩,把时间浪费掉了。而且,应该往长远看,你就满足于这 14k 吗?也得考虑一下工资增速。

这两种选择并没有高低之分,只是每个人想法不一样罢了。
上面的回复清一色地都选第二份,但我觉得如果真心热爱开发的话,第二份是个很糟糕的选择,这意味着你有一段空档期,不要小看这段空档期,对成长的伤害是非常大的,等你再回来的时候,很多东西都得重头再来。
当然,第一份也不好,因为是强制的加班,这通常会伴随着较大的工作压力,得不到良好的休息,导致工作效率降低,甚至损害身体,得不偿失。 如果有可能,尽量寻找一份不需要强制加班,或者加班强度不那么大的开发工作。
这个要求至少得 3000 起
2018-12-03 10:25:22 +08:00
回复了 ihjk 创建的主题 游戏 应该买什么游戏机和游戏和四岁孩子玩?
这个我有研究过。
switch+ 马里奥派对 /just dance/arms 这几款是最适合的。
这些游戏能多人同玩,依靠体感操作,游戏逻辑简单,能让小孩子能迅速上手,玩得开心,是亲子游戏的最佳选择。
2018-11-30 09:50:52 +08:00
回复了 lzl893719 创建的主题 求职 15 届 985 本科自学 Python ,求一份爬虫开发工作。
目标城市?
2018-11-12 14:01:20 +08:00
回复了 JXL1024 创建的主题 深圳 南山区科技园周边缤纷滚石健身健身卡转让
正好住在附近,有意
就喜欢这种啥套路都没有的活动! 之前参加 Rails Girl 中了个倍恰的 T-shirt,还是很棒的。
2018-10-11 10:11:00 +08:00
回复了 cybermonster 创建的主题 游戏 游戏和游戏机买太多了怎么破?
同 PS4+NS+Steam
PS4 游戏 2000+,额外三个手柄 380*3
Steam 游戏 500+ ,XBOX 手柄 450
NS 游戏 2000+,joycon 460,pro 440

不过我是有时间玩的,每周五晚上组织公司同事一起玩,周末在家自己玩或者去找朋友玩。

建议 NS 留在家里和小孩子一起玩。NS 上有非常多适合亲子同乐的游戏,比较推荐的是那种操作简单,能充分发挥 joycon 体感功能的游戏,比如马里奥聚会,Just Dance,Arms 等等。

PS4 可以考虑带去公司放着,有空时大家玩几局实况或者 NBA2K 之类的,挺不错的。

Steam 就喜加 1 吧,好歹能混点等级经验呢(手动滑稽
2018-10-10 08:59:10 +08:00
回复了 heamon7 创建的主题 程序员 一个入坑传统行业的码农之感悟
既然楼上有人说批评得似是而非,那我就来详细说说。

为什么大家都喜欢扎堆在互联网?

1、薪资待遇好:这个不用多说,现在行业平均薪资已经到第一位了,这一点传统行业怎么都比不了。刚毕业觉得没钱无所谓,再过几年要用钱了再来看看?钱就是关乎你活着的尊严。

2、上升通道明确:你努力钻研技术提升自己,就有很大机会晋升,即使在这家公司不行,你也完全可以跳槽,只要实力硬,大把公司抢着要。

3、 同事、领导水平高:薪资高随之也吸引了高学历人才。稍微好一点的互联网公司,名校人才大把抓。学历是一方面,能力同样也很出色,和他们一起合作很舒服。

还有很多很多条可以写,不过没必要了,楼主看看传统行业能不能满足这几条。
选择工作,一是要获得足够的回报(工资、技能提升、人脉等等),二是要工作开心(领导管理好,同事优秀等等),我觉得互联网公司在这两方面都做得最好。
抱怨互联网行业不好,无非就是觉得加班多,没有自己的生活。这一点我同意的,不过也和你所在的公司和部门有直接的关系。我有个师妹在腾讯,她就很少加班,我自己也只是偶尔项目忙的时候需要加。然而传统行业也不是个个都不加班的,还是得看公司、部门、直接领导、岗位职责的情况。用这个理由来说互联网不好是有问题的,你只能说某个公司某个部门不好。
@vowers

我自己也是做大数据方面的工作,现在是一名数据工程师。我对未来的方向还是比较清晰的,我的目标就是深耕数据工程这个领域,不拘泥于技术(当然,主流技术是要学习的,只是不过分深究细节),把重点放在建立数据体系上,总的来说,就是让数据变得更易使用。

首先推荐你看一篇文章,《数据工程师的崛起》,Airflow 的开发者写的,大数据文摘翻译。流传比较广,随便搜一下就有了。这篇文章对数据工程师的工作做了比较全面的总结,可以帮助你梳理一下数据工程的整体概况,对未来的方向会有更清晰的认识。

然后如果找不到方向,建议学习一下数据仓库的相关知识。就我自己的经验来看,有数据仓库项目经验的工程师,在求职时真的非常有优势。很多公司都开始意识到数据仓库的重要性了,都想建数据仓库,但懂得怎么搞的人真的不多,能把大数据和传统数仓结合起来的人就更少了。这东西投入大,见效慢,风险高。我之前的公司,就有这种情况:大老板专门成立一个部门搞数据仓库,但搞了几个月都没什么产出,最后又解散掉了。

另外,可以去买一本阿里数据部出的《大数据之路》看一下。这本书讲的东西都比较浅,但内容全面,数据工程涉及的方方面面都有提及,你完全可以选其中比较感兴趣的部分深入研究。

如果打算在这个行业里继续发展,还是考虑到一线城市去,到有数据氛围的公司去。这些公司,一则对数据比较重视,使用的场景也多,相应地踩坑也多,有很多可以学习的相关经验。二则数据量大,种类丰富,需求多样,对你自己是挑战也是提升自我的机会。三则数据分析师比较优秀,你的工作的价值会得到体现(数据仓库建得再好,也得有人用才有意义)

就我自己了解的情况来看。国内有名的大公司里面,阿里和美团在这方面应该是做得最好的公司了,他们有非常强大的工程和分析团队,还有自己开发的各种系统,满足方方面面的数据需求。
遇到过最恶心的套路

HR:期望薪资是多少?
我 :XX k (月)

HR:所以是 XX*12 k 一年对吧?
我: 嗯……对的,这个没算年终奖吧。

HR:blabla, 顾左右而言他
我: 好的那就这样

过几天发 offer

HR:你好我们给开的薪水是 (XX*12)/14 每月,年终奖是两个月的薪水
我:???

这种行为真的让人非常生气,但除了拒 offer 没别的办法反制。要接受了去入职的话心里也会有疙瘩,很难受。
这也从此让我在薪酬谈判的时候,对 HR 非常警惕。

还有,HR 如果没法在薪酬、福利上给出更多的时候,他们就会开始扯说公司会培养你之类的话。
但是,没有给出计划的所谓培养,都不过是把你丢在工作里自生自灭而已,不要相信 HR 的鬼话。(直到我来到现在这家公司才知道什么是真正的培养:会出钱给我们去参加培训,会找 CEO 级别的大佬来给我们上课,还有一对一聊天的机会)
2018-09-06 15:46:02 +08:00
回复了 guancyxx 创建的主题 求职 求个 Python 后端/爬虫工作 两年半工作经验 深圳或者成都
@guancyxx

www.yimian.com.cn/career/

到这里看一下你觉得合适的岗位,稍后我会把你的简历转给面试官看看。
我们组在招的岗位:Python 工程师(数据平台)、大数据工程师、ETL 工程师
2018-09-06 11:35:48 +08:00
回复了 guancyxx 创建的主题 求职 求个 Python 后端/爬虫工作 两年半工作经验 深圳或者成都
base 深圳,数据工程师的岗位是否考虑?
1  2  3  4  5  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2313 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 03:27 · PVG 11:27 · LAX 20:27 · JFK 23:27
Developed with CodeLauncher
♥ Do have faith in what you're doing.