大数据开发工程师的具体职责（精选20篇）

大数据开发工程师的具体职责 篇1

职责:

1、 负责公司大数据平台数据处理工具ETL、流处理平台等建设，功能规划，平台演进，维护调优等;

2、 结合公司业务特征，负责公司数据仓库规划、数据仓库建设、数仓管理等;

3、 负责大数据处理技术研究及新技术引进，参与超大规模实时/离线数据计算框架，存储、查询、可视化解决方案的设计，研发;

4、 负责公司业务数据仓库模型建设及全业务数据域打通;

5、 负责BI报表和可视化项目，和客户深度沟通，理解客户的业务挑战，提供解决方案，制定开发计划并执行，支持各单位日常数据需求和任务;

任职资格:

1、 熟练掌握关系型数据库,例如：Oracle、Mysql、Vertica等;熟悉NoSql数据库，例如HBase、Redis、MongodDB等;具备丰富的数据库管理和运维调优经验;

2、 熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理，数据打通等;

3、 有从事分布式数据存储与计算平台应用开发经验，熟悉Hadoop生态相关技术并有相关实践经验着优先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;

4、 精通数据预处理、检验、清洗、分析方法，精通各种常用统计检验方法;熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，如Java、Python、Shell和scala等;

5、精通Linux，熟悉日常运维、搭建常见服务器、定位解决日常问题的能力，具备ETL开发经验优先;

6、 良好的语言沟通与表达能力，有丰富的数据开发经验，较强的数据、平台、技术理解能力;

7、 具备数学类、计算机类等相关专业统招本科及以上学历，具有3年及以上大数据开发工作经验，有互联网行业背景优先。

大数据开发工程师的具体职责 篇2

职责：

1、本岗位培养方向为证券基金行业数据架构师;

2、辅助大数据架构师制定项目开发流程、规范，辅助数据模型设计人员进行模型设计;

3、辅助技术架构师进行大数据平台调优(业务逻辑角度);

4、负责大数据平台开发，包括数据抽取、转换和加载;

5、负责控制数据需求、管理项目开发进度，配合QA完成项目质量管理;

职位要求：

1、2年以上证券或者基金行业数据中心、大数据平台建设经验;

2、具备较强的学习能力，对数据模型和大数据技术有浓厚的兴趣;

3、熟练掌握基于ORACLE或MPP数据库或Hadoop等开发技术;

4、至少掌握一种ETL开发工具。如：Informatica、DataStage、SSIS、Kettle等;

5、良好的团队合作精神、公司提供优厚待遇。

大数据开发工程师的具体职责 篇3

职责：

1、大数据的分布式采集与环境搭建和测试;

2、大数据存储、处理和分析工作;

3、大数据相关产品线的改进和相关核心开发工作;

4、其他大数据相关工作。

任职要求：

1、本科及以上学历，计算机相关专业;

2、2年以上Java开发及大数据相关开发经验，java基础扎实，熟练掌握多线程、集合、缓存、序列化、nio等技术;

3、熟悉Linux环境，熟悉Linux shell/python/perl任一脚本;

4、熟悉Hadoop、Spark、ZooKeeper等主流的大数据处理架构，并有1年以上Hadoop相关的实际开发、架构及调优经验;

5、使用过阿里云;

6、熟悉架构;

7、具有较好的学习能力、沟通表达能力及团队合作能力。

大数据开发工程师的具体职责 篇4

职责

1. 负责大数据分析需求设计和开发工作，包括数据存储、预处理、查询、统计、实时分析、数据优化及配置等功能;

2. 对大数据分析系统存在的问题进行跟踪和定位并及时解决;

3. 负责上级交办的其他相关工作。

岗位要求：

1. 本科以上学历，2年以上工作经验;

2. Java基础扎实，熟练使用Java IDE 进行代码编写和调试，熟悉JUnit单元测试框架;

3. 熟悉Linux操作系统，能在Linux上完成开发、调试工作;

4. 熟悉网络IO、多线程并发编程、集合等基础框架，精通数据结构和数据算法;

5. 参与过分布式高性能服务的设计开发过程，有大规模分布式系统的实践经验;

6. 熟悉数据库操作和使用的基本技能，熟练一种关系型数据库的使用;

7. 能独立编写详细设计文档;

8. 有大数据分析工具Hadoop、spark使用开发经验优先;

9. 具有团队精神与敬业精神，学习钻研能力强，具有良好的协调沟通能力。

大数据开发工程师的具体职责 篇5

职责：

1、在hadoop平台进行hive/hbase/spark开发;

2、处理公司大数据平台产品的技术工作，包括存储、处理、分析、挖掘、架构设计、研发工作;

3、熟悉设计、构建和优化基于hadoop/Hbase的存储平台架构;

4、熟悉整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;

5、部门相关工作。

岗位要求：

1、计算机等相关专业大专及以上学历;

2、3年以上软件开发经验，精通Java开发，至少2年以上Hadoop相关开发经验;

3、熟悉分布式系统、分布式计算系统的工作机制，具有大规模数据平台，高并发大型系统，大数据等架构设计和开发经验;

4、熟悉sqoop、Hive、hbase、spark等大数据生态组件;

5、精通linux shell和sql脚本;

6、有java web开发经验者优先;

7、良好的团队精神和沟通能力，很强的逻辑思维能力和学习能力。

大数据开发工程师的具体职责 篇6

职责：

1. 参与软件产品设计、开发、实施和维护，保证设计合理、应用技术得当。

2. 进行单元测试，确保功能稳定，性能优异，保证开发工作高质量完成。

3. 参与软件设计的重构、优化，保证产品的可迭代、可维护性。

4. 参与软件设计文档的起草和完善，保证文档及时更新。

任职要求：

1. 本科及以上学历。

2. 有3年以上Java Web开发工作经验;有高访问量，高负载网站系统开发经验者优先。

3. 熟悉Spring、Spring Boot、SpirngMVC，Mybatis/iBatis、Maven及前端Html5/CSS/Javascript等。

4、JAVA基础扎实，理解IO、线程、集合等基础框架，对JVM原理有一定的了解。

5、熟悉分布式、多线程及高性能的设计与编码及性能调优。

6、熟悉Linux下的常用命令。

7、熟悉Mysql/Oracle等数据库的开发和数据库的维护。

8、有电力行业或轨道交通行业应用开发经验者优先。

大数据开发工程师的具体职责 篇7

职责：

1.参与大数据平台搭建以及项目技术架构。

2.数据分析，挖掘，模型具体的产品化;

3.根据产品需求，分析编写和制定大数据相关解决方案

岗位要求：

1、计算机相关专业本科以上学历，编程基础扎实，有2年以上大数据开发经验

2、熟悉Hadoop生态和体系架构，熟悉Flink、Spark，Hive等常用开源工具

3、熟悉Flume，kakfa，scribe等日志收集体系

4、熟悉主流数据库(Oracle、postgresql、Mysql、Sql Server)中的1种及以上，有较好的SQL性能调优经验

5、有数据仓库ETL经验者优先

6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先

7、有持续学习的能力;喜欢开源软件，乐于知识分享;对工作认真负责;可以独立承担较大工作压力

大数据开发工程师的具体职责 篇8

1.负责公司移动端Android的软件系统架构分析、设计及实现;

2.分析业务需求，参与系统设计与开发;

3.参与公司前端技术架构和关键技术的攻关;

4.参与项目设计与编码实现,跟踪并研究Android新技术的发展，并将成果实际应用到产品中;

5.对开发代码进行调试及测试，修复测试发现代码缺陷，确保质量;

6.参与团队未来技术方向研究与制定。

大数据开发工程师的具体职责 篇9

1、按时间节点完成项目经理交办的项目开发任务;

2、配合同事完成项目进度中的节点任务;

3、完成项目经理交办的其它各项任务。

大数据开发工程师的具体职责 篇10

职责：

负责所属模块详细设计文档撰写、编码、单元测试等工作;

严格遵守团队的代码格式、结构的规定，编写易读、易维护、高质量、高效率的代码;

负责业务架构设计和实现;

负责公司官网的程序维护及服务器维护;

带来技术团队做好开发任务;

职位要求

5年以上服务端开发经验;

精通PHP(THINKPHP)有大型项目架构能力;

精通php开发语言，了解php的性能最优化和安全最大化;

精通 数据库开发，熟悉读写分离，数据纵向横向划分，查询效率;

熟悉LINUX服务端分布式架构，APACHE,REDIS,MYSQL等(阿里云产品);

有项目领导能力，分配任务，项目安全，上线部署;

大数据开发工程师的具体职责 篇11

职责：

1、参与项目需求分析及功能模块的设计工作;

2、根据工作进度和任务分配，开发相应的软件模块;

3、负责产品的日常维护工作，跟踪解决用户的问题和故障;

4、根据项目需要，学习新的开发语言，如Delphi;

5、完成领导安排的其它项目工作。

岗位要求：

1、统招二本以上，计算机相关专业;

2、英语四级，能阅读英文资料;

3、有较强的自学能力和学习动力，愿意学习心的变成语言;

4、积极主动，责任心强;

大数据开发工程师的具体职责 篇12

职责：

1、服从公司的发展要求，配合公司的工作安排;

2、作为储备工程师要认真学习和全面了解公司的相关情况和工作细节;

3、熟练掌握公司所应用的专业技术;

4、负责公司基本项目的开发;

5、参与公司所用技术的优化和升级;

任职要求：

1、对计算机编程语言有兴趣;

2、吃苦耐劳，有一定的自我约束和控制能力，意志力坚强;

3、表达能力好，听说能力强;

4，有志于从事互联网以及移动互联网行业，本科学历，985,211学校毕业者优先考虑;

大数据开发工程师的具体职责 篇13

职责：

1、负责各类CI/CD环境的搭建与维护。

2、负责公司容器云平台的实施，监测，故障定位等。

3、负载云平台容器应用编排，提升公司产品的稳定性、安全性，协助优化产品性能。

4、开发适用于公司业务场景的相关运维工具。

相关要求

1、能熟练使用Kubernetes搭建生产和测试环境。

2、熟悉Docker/Kubernetes组件和生态，包含存储、网络、监控、日志、安全等。

3、熟悉常用工具如Git，Harbor，Helm，Jenkins安装和使用。

4、熟悉Rancher/Kubespray等K8S安装管理工具者优先

大数据开发工程师的具体职责 篇14

职责：

1、负责电商平台Java Web系统的开发编码工作;

2、负责重点难点技术问题的研究及解决，编写较规范和高质量的设计文档;

3、对初中级开发人员提供技术上的指导，帮助项目组成员进行详细设计和开发。

任职要求：

1、计算机或相关专业优先;

2、三年以上JAVA研发和软件设计经验;

3、熟练html5、javaScript,jquery等web前端技术;

4、参与过大中型项目的核心功能开发工作，有良好的系统规划能力，制定系统架构，编写技术规范和项目开发文档;

5、熟悉SpringBoot、SpringCloud、SpringMVC、MyBatis、hibernate等开源框架;

6、熟悉MySQL、Oracle或NoSQL数据库技术，熟悉SQL调优机制，有大型数据库软件开发经验者优先;

7、熟悉分布式、缓存、消息、数据分析等工作机制，具有大型分布式、高并发、高负载、高稳定性的系统设计开发经验优;

8、表达能力好，思维清晰敏捷，工作认真负责，善于学习、具有分析、解决问题的能力，创新意识强，有团队精神;

9、有参与过医药行业项目经验优先。

大数据开发工程师的具体职责 篇15

职责：

1、按照项目计划，配合产品经理，按时提交高质量代码，完成开发任务;

2、及时反馈开发中遇到的难点问题，沟通并寻求解决方案，按阶段有计划地完成开发任务;

3、负责系统详细设计和核心代码编写，参与设计评审;

4、负责部分技术攻关工作，协助架构师进行架构优化和代码重构工作;

5、对系统进行单元测试编写，并审核测试用例。

任职要求:

1、计算机相关专业，4 年以上工作经验，具备扎实的Java语言基础、有分布式,SaaS等架构设计和开发经验优先考虑;

2、精通Spring、Spring MVC、Spring Security和MyBatis/Hibernate等，熟悉SpringCloud、Spring Boot和Spring Cloud 等开源框架;

3、熟练使用 GitLib、SVN、Maven 等其中至少一种代码管理工具;

4、熟练掌握 SQL 语言，使用过 SqlServer、Mysql、Oracle 等其中至少一种数据库;

5、熟悉Redis、RabbitMQ、fastDFS 等技术;

6、熟悉Linux下服务器环境部署和性能调优(包括Nginx、Tomcat等);

7、具备中大型项目的实际开发经验, 具备微服务开发经验者优先;

8、有强烈的责任心，优秀的表达能力及沟通能力，较强的学习和理解能力，思路清晰，善于思考，能独立分析和解决问题。

大数据开发工程师的具体职责 篇16

l 参与数字矿区系统技术规划、功能设计、功能实现，撰写技术文档;

l 负责数字矿区系统软件及模块功能开发工作;

l 负责数字产品开发;

l 完成领导交办的其他任务。

大数据开发工程师的具体职责 篇17

1、根据客户需求，在规定的工期与质量要求下，进行产品模块级或功能级的设计与开发;

2、与开发上下游密切协作，不断提升产品的品质，提升用户体验;

3、不断提升个人技术能力，精通HR产品技术体系。

大数据开发工程师的具体职责 篇18

职责：

1、 与UI设计师、交互设计师、产品经理协作，分析并给出较优的移动界面前端结构解决方案和效果实现;

2、 与后台开发工程师协作，完成各种数据交互、动态信息展现和用户的互动;

3、 维护及优化移动端前端页面执行性能和加载性能，优化前端代码规范;

4、 负责解决产品在不同移动设备端及不同版本下的兼容问题;

5、 根据产品开发需要，配合相关人员完成产品各部分设计的更新和修改;

任职要求

1、 熟悉微信小程序开发，有实际项目经验的优先;

2、 熟悉微信H5开发，了解微信jssdk;

2、 熟练运用HTML5、CSS3、Javascript/Jquery/zepto构建高性能的Web应用程序;

3、 熟练使用CSS3动画，并有一定的项目经验;

4、 熟悉前端相关标准，对前端语义化、浏览器兼容性问题有深入理解;

5、 良好的代码习惯，结构清晰。命名规范，逻辑性强;

6、 良好的人际沟通与团队创作能力，能够按时完成安排的任务。

大数据开发工程师的具体职责 篇19

职责：

1)根据需求报告进行需求反讲、代码编写。

2)完成系统中业务逻辑相对简单的功能开发。

3)完成客户功能、数标相关的功能优化。

4)完成开发经理安排的其他开发工作任务。

具备要求：

1)计算机、软件类等相关专业，本科及以上毕业，1-2年工作经验。

2)有3个以上项目经验.

3)有扎实的java基础知识，对编程有兴趣爱好。

4)使用过spring、Mybatis等开源框架;

5)熟练使用sql语句的增、删、改、查。

6)熟练掌握eclipse、pl/sql或svn。

7)使用过tomcat，熟悉tomcat基本操作。

8)有良好的学习、理解能力、沟通能力、逻辑思维能力。能够虚心学习，上进心强。

9)，年龄在28岁以下。

大数据开发工程师的具体职责 篇20

职责：

1、负责Web产品前后端开发和项目定制开发;

2、负责UI/UE设计、技术实现，能独立解决开发中的重难点问题;

3、负责对现有产品提供维护和支持，及时解决运行过程中出现的问题;

4、对分配的软件功能模块进行设计、编码、维护，符合公司规定的规范要求;;

5、根据产品经理的策划，完成产品的设计开发、代码编写，撰写技术文档和技术报告。

6、跟踪新技术发展，并将其应用于产品中

岗位要求：

1、全日制本科以上学历，计算机相关专业，3年以上相关开发工作经验;

2、具备良好的计算机基础、编程能力、分析能力，熟悉常见的数据结构和算法，对Html/Java语言有一定的了解;

3、熟练使用后端主流开源框架(Spring MVC/MyBatis)进行快速开发，以及熟悉Web前端开发技术(Html/Javascript/CSS)，熟悉流行的Web前端框架(JQuery/Bootstrap);

4、熟悉Oracle、MSSQL、MySQL至少一种主流关系型数据库;

5、熟悉常用服务器的配置及维护和管理等工作;

6、有创业创新精神，抗压能力强，具有良好的学习能力、语言表达能力、沟通能力