平常大家经常说大数据、大数据工程师等概念,具体到互联网大厂主要和数据相关的岗位主要有三种:数据仓库工程师、数据挖掘工程师、数据分析师。下面我们就介绍下这三种岗位的具体职责,以及各种岗位名称间的关系。
数据仓库工程师
岗位职责:这个岗位用大厂的话说就是“数仓”。关于数据仓库(Data Warehouse)建设是一个比较成熟的技术方向,业界主要有inmon与kimball两位大佬为数据仓库建设的方法论奠定了基础。公司业务会沉淀下大量的数据,这些数据都是业务系统产生的,比如在电商系统里有用户的注册信息、用户的订单信息、用户的物流信息等,这些数据在大厂都是TB级别的,数据仓库工程师的一个主要工作职责就是把这些数据从业务系统流入到数据仓库,当前大多数数据仓库主要是依赖了hadoop体系,数据仓库工程师需要把这些数据通过维度建模的模式进行组织,组织好的数据可以用于公司业务报表的展示,用于下游推荐系统的消费。我们经常说的大数据工程师,很多情况下是指数据仓库工程师。随着技技术的发展,大厂数据建设从离线的hadoop模式逐渐向实时的模式发展,所以还有一些岗位叫实时数据仓库工程师,或者实时数据研发工程师。数据仓库工程师有时也被叫做数据研发工程师。这些名字并没有绝对的行业标准,还是主要了解每个岗位时做什么的。
主要技能:SQL,数据仓库工程师需要一些维度建模的思路,但主要的落地技能就是写SQL。
数据挖掘工程师
岗位职责:大厂的数据很多,很多数据需要基于算法加工后才能使用,比如用户填写了很多商品信息,都是不规范的,需要通过自然语言处理算法提取出商品的品牌、型号等信息,这些都是数据挖掘工程师要做的工作,有些时候也叫数据算法工程师,可以简单理解为用算法处理数据的工程师。这个岗位和算法工程师有交集,算法工程师具体介绍见《互联网大厂算法相关岗位介绍》。
主要技能:机器学习算法、深度学习算法
数据分析师
岗位职责:这个岗位用大厂的话说就是BI(Bussiness Intelligent),公司的高管、领导需要了解一些公司业务的数据情况,比如日活用户、月销售金额等,这就需要做一些数据分析,这个岗位的同学就是要做这些数据分析,或者叫商业洞察。这个岗位需要对业务逻辑比较清楚,数据是业务决策的基础,这个岗位上普通的数据分析师做的工作比较繁琐,因为老板有各种需求需要处理,数据分析师需要协同各种岗位获取数据口径,甚至推动决策执行,但是这个岗位做到一定程度后会对于业务有比较深的洞察的。另外大厂需要做一些线上流量的AB实验,往往都会有一个AB实验平台,AB实验简单说就是一个新的版本常品要上线需要分一部分流量和原版本做对比,这个实验的设计往往需要数据科学的同学,数据科学同学主要的知识储备是统计学的知识,数据科学在大厂目前没有太大的群体,和BI的技能有相似处,也往往很多BI和数据科学的同学在互转岗位。
主要技能:SQL,Excel,数据分析师需要出一些分析报告,主要依赖的就是SQL这些数据处理语言。
很多同学肯定会问,那个岗位好哪?总体看数据仓库工程师一般男员工比较多,数据分析师女员工比较多,数据挖掘工程师男员工多一些,这几个岗位其实很难在学校里学到具体对应的工作技能,大厂招聘主要看学生的综合能力,比如数据结构、算法能力、逻辑分析能力等。如果对算法不感兴趣,但是有严谨的数据分析思路可以选择数据分析师,如果能在算法上深挖可以选择数据挖掘工程师,在大厂里数据挖掘转数据仓库比较容易,反之比较困难了,甚至转成功的几乎没有。为便于简单理解,这里直接排个序:数据挖掘工程师、数据分析师、数据仓库工程师。
岗位选择有点像高考报志愿的选学校和选专业的关系,来到大厂工作是一方面,选择一个好的岗位更重要。因为后续换工作时,下家公司往往看重的是你的上一份工作经验,所以选择一个有发展前景、能伴随自己职业生涯多年的岗位非常重重要。
评论留言