职位描述：
工作职责：
1、在架构师在指导下，配合参与设计公司的大数据平台架构
2、主导数据探索、分析等工作，主导大数据平台核心代码开发
3、负责提取项目中的通用需求和通用组件；
4、配合架构师进行新技术研究，评估新技术的可行性。
5、负责大数据平台的架构评审，代码评审，上线评审；参与数据应用需求、设计和评审。
6、负责核心技术问题的攻关，解决项目开发过程中的技术难题
7、指导普通工程师进行大数据平台业务需求的开发
岗位要求：
1、本科以上学历，5年以上相关工作经验。
2、精通linux操作系统，熟悉java、scala、python开发常用语言框架，熟悉scala尤佳
3、3年以上大数据项目实战经验，熟悉hadoop、hbase、spark、pig、hive、hdfs、sqoop、yarn等开源框架，并熟悉其工作原理；
4、熟悉传统数据库，对flume、kafka、es、redis、mongodb等技术有实际项目经验
5、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、预处理、存储、分析和可视化；有pb级别数据处理经验尤佳
6、熟悉整个数据平台搭建工作
7、有较强的独立、主动的学习能力，良好的沟通表达能力和团队协作能力；
微信分享