职位描述:
- 根据业务需要,带领团队负责公司基础数据平台的设计和研发,向集团各业务线提供高质量(稳定、高效、可依赖)的数据获取和清洗服务,具体包括:
- 功能上:
- 用户授权数据的抓取和清洗,例如用户授权的通讯数据、电商数据、金融数据、收入数据以及其他数据的抓取和清洗;
- 公司合作采买的三方数据的调用和维护;
- 公开数据的抓取和清洗,即和公司业务相关的互联网上的公开数据的抓取和清洗;
- 其他需要获取和清洗的数据。
- 性能上:
- 平台具有高度的稳定性,具备较好的容灾能力,能够主动发现并快速修复系统异常;
- 平台具备弹性扩展能力,能够快速应对业务增长带来的网络/计算/存储等各方面的压力;
- 平台能够高效利用各项资源,在统一的系统架构下隔离业务之间的相互影响。
- 其他: 良好的系统设计和交互设计,实现可扩展性、可维护性、易用性的不断提升。
职位要求:
- 国内211/985本科以上学历,电子信息、计算机相关专业;
- 专业知识和能力 (非学历和职业培训) ;
- 精通Hadoop生态圈相关技术,对主流的批处理和流式处理框架,如Mapreduce, Spark, Storm, Flink,至少精通其中1~2个,熟悉Hive, HBase,Kafka等,有TB级准实时的数据生产项目经验;
- 扎实的计算机基础,精通Java、Python或其他任意一门服务端语言,精通Linux,Bash,对于软件架构和程序设计思想有深刻理解;
- 良好的数据产品思维,通过数据平台的建设和管理,不断推动业务提高效率、向前发展;
- 强烈的自我驱动力和成就动机,良好的沟通能力。