大数据开发工程师

岗位职责

此岗位需要到客户处进行驻场，需能接受驻场工作。基本要求：1.3年以上大数据开发经验，熟悉常见的大数据处理框架和技术栈；2.熟练使用Scala编程语言，具备扎实的函数式编程基础；3.有Flink项目实施经验，至少参与过2个以上Flink相关项目；4.熟悉Hadoop生态系统，包括HDFS、MapReduce等组件；5.具备良好的数据处理和数据分析能力，能够设计和优化大规模数据处理流程；6.熟悉常见的数据库技术，如MySQL、ES等；7.具备良好的问题分析和解决能力，能够独立解决技术难题。加分项：1.有实时流处理经验，熟悉Kafka、Spark Streaming等技术；2.熟悉常见的数据存储和查询工具，如Hive、Presto等；3.具备机器学习和数据挖掘的相关知识和实践经验；4.熟悉容器化部署和管理工具，如Docker、Kubernetes等；5.具备团队合作精神，良好的沟通能力和项目管理经验。工作职责：1.设计、开发和维护大规模数据处理和分析的系统；2.使用Scala语言编写高效、可靠的数据处理代码；3.进行数据流的清洗、转换、聚合和计算，保证数据质量和准确性；4.优化数据处理流程，提高系统性能和可扩展性；5.与团队成员合作，解决技术难题，确保项目按时交付。