大数据开发工程师的具体职责（通用17篇）

大数据开发工程师的具体职责 篇1

职责:

1、 负责公司大数据平台数据处理工具ETL、流处理平台等建设，功能规划，平台演进，维护调优等;

2、 结合公司业务特征，负责公司数据仓库规划、数据仓库建设、数仓管理等;

3、 负责大数据处理技术研究及新技术引进，参与超大规模实时/离线数据计算框架，存储、查询、可视化解决方案的设计，研发;

4、 负责公司业务数据仓库模型建设及全业务数据域打通;

5、 负责BI报表和可视化项目，和客户深度沟通，理解客户的业务挑战，提供解决方案，制定开发计划并执行，支持各单位日常数据需求和任务;

任职资格:

1、 熟练掌握关系型数据库,例如：Oracle、Mysql、Vertica等;熟悉NoSql数据库，例如HBase、Redis、MongodDB等;具备丰富的数据库管理和运维调优经验;

2、 熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理，数据打通等;

3、 有从事分布式数据存储与计算平台应用开发经验，熟悉Hadoop生态相关技术并有相关实践经验着优先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;

4、 精通数据预处理、检验、清洗、分析方法，精通各种常用统计检验方法;熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，如Java、Python、Shell和scala等;

5、精通Linux，熟悉日常运维、搭建常见服务器、定位解决日常问题的能力，具备ETL开发经验优先;

6、 良好的语言沟通与表达能力，有丰富的数据开发经验，较强的数据、平台、技术理解能力;

7、 具备数学类、计算机类等相关专业统招本科及以上学历，具有3年及以上大数据开发工作经验，有互联网行业背景优先。

大数据开发工程师的具体职责 篇2

职责：

1、在hadoop平台进行hive/hbase/spark开发;

2、处理公司大数据平台产品的技术工作，包括存储、处理、分析、挖掘、架构设计、研发工作;

3、熟悉设计、构建和优化基于hadoop/Hbase的存储平台架构;

4、熟悉整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;

5、部门相关工作。

岗位要求：

1、计算机等相关专业大专及以上学历;

2、3年以上软件开发经验，精通Java开发，至少2年以上Hadoop相关开发经验;

3、熟悉分布式系统、分布式计算系统的工作机制，具有大规模数据平台，高并发大型系统，大数据等架构设计和开发经验;

4、熟悉sqoop、Hive、hbase、spark等大数据生态组件;

5、精通linux shell和sql脚本;

6、有java web开发经验者优先;

7、良好的团队精神和沟通能力，很强的逻辑思维能力和学习能力。

大数据开发工程师的具体职责 篇3

职责

1. 负责大数据分析需求设计和开发工作，包括数据存储、预处理、查询、统计、实时分析、数据优化及配置等功能;

2. 对大数据分析系统存在的问题进行跟踪和定位并及时解决;

3. 负责上级交办的其他相关工作。

岗位要求：

1. 本科以上学历，2年以上工作经验;

2. Java基础扎实，熟练使用Java IDE 进行代码编写和调试，熟悉JUnit单元测试框架;

3. 熟悉Linux操作系统，能在Linux上完成开发、调试工作;

4. 熟悉网络IO、多线程并发编程、集合等基础框架，精通数据结构和数据算法;

5. 参与过分布式高性能服务的设计开发过程，有大规模分布式系统的实践经验;

6. 熟悉数据库操作和使用的基本技能，熟练一种关系型数据库的使用;

7. 能独立编写详细设计文档;

8. 有大数据分析工具Hadoop、spark使用开发经验优先;

9. 具有团队精神与敬业精神，学习钻研能力强，具有良好的协调沟通能力。

大数据开发工程师的具体职责 篇4

职责：

1、大数据的分布式采集与环境搭建和测试;

2、大数据存储、处理和分析工作;

3、大数据相关产品线的改进和相关核心开发工作;

4、其他大数据相关工作。

任职要求：

1、本科及以上学历，计算机相关专业;

2、2年以上Java开发及大数据相关开发经验，java基础扎实，熟练掌握多线程、集合、缓存、序列化、nio等技术;

3、熟悉Linux环境，熟悉Linux shell/python/perl任一脚本;

4、熟悉Hadoop、Spark、ZooKeeper等主流的大数据处理架构，并有1年以上Hadoop相关的实际开发、架构及调优经验;

5、使用过阿里云;

6、熟悉架构;

7、具有较好的学习能力、沟通表达能力及团队合作能力。

大数据开发工程师的具体职责 篇5

职责：

1、本岗位培养方向为证券基金行业数据架构师;

2、辅助大数据架构师制定项目开发流程、规范，辅助数据模型设计人员进行模型设计;

3、辅助技术架构师进行大数据平台调优(业务逻辑角度);

4、负责大数据平台开发，包括数据抽取、转换和加载;

5、负责控制数据需求、管理项目开发进度，配合QA完成项目质量管理;

职位要求：

1、2年以上证券或者基金行业数据中心、大数据平台建设经验;

2、具备较强的学习能力，对数据模型和大数据技术有浓厚的兴趣;

3、熟练掌握基于ORACLE或MPP数据库或Hadoop等开发技术;

4、至少掌握一种ETL开发工具。如：Informatica、DataStage、SSIS、Kettle等;

5、良好的团队合作精神、公司提供优厚待遇。

大数据开发工程师的具体职责 篇6

1、负责TV、电子白板、广告机、显示器、智能会议平板等产品安卓系统模块的设计及开发，主导代码编写、审查、技术文档撰写等;

2、依据产品规划及用户反馈，迅速迭代、更新产品，参与应用需求、UI设计评审，并给出建议。

大数据开发工程师的具体职责 篇7

职责：

1、认真分析软件的架构，整理设计者(项目经理)的设计思路之上进行功能设计;

2、独立完成项目经理分配的开发任务，负责程序开发、代码编写;

3、参与项目中遇到问题的讨论会并有效提出解决方案;

4、详细记录测试过程，发现并修复BUG;

5、对现场实施日志中出现的问题及时进行修正;

6、自主学习、追求创新，掌握岗位需要的技能;

岗位要求：

1、本科及以上学历，3年以上的java web应用开发经验;

2、有扎实的Java编程基础，熟悉java开发工具及代码编程，精通SSH，Jsp、Javascript、CSS、Ajax、jQuery等web应用开发技术;

3、熟悉微服务相关设计理念，熟悉高并发、高负载等相关技术，并具有实际开发经验;

4、熟悉各种主流开源框架，精通SpringBoot，Mybatis，JPA，Springmvc，Shiro等开源框架并熟悉其实现原理;

5、熟练操作Linux服务器，熟练搭建运行环境集群;

6、熟悉主流关系型数据库(ORACLE、MYSQL等 )的开发应用;

7、了解前端开发技术，例如react，vue，bootstrap等，或国内主流的开发框架;

8、具备较强的团队协作能力和沟通理解能力，责任心强;

9、熟悉系统搭建过程(例如WEB项目搭建)，并编写过公用代码(例如：公用DAO、SERVICE层代码);

10、有基于H5的APP、微信开发人员优先考虑。

11、接受过社会培训机构全方面技术培训者优先考虑。

大数据开发工程师的具体职责 篇8

职责：

1.根据软件需求说明书和软件设计文档实现软件产品;

2.负责项目概要设计、详细设计等开发文档的编制并实施;

3.从事具体的软件开发，确保研发软件的安全、质量和性能;

4.维护和升级现有软件产品，修复现有软件产品的缺陷。

任职要求：

1. 精通Java后端技术，熟练掌握 HTML/CSS/Javascrtip等前端技术，

2. 精通对象模型，熟练进行对象操作和转换;

3. 熟练使用Spring， hibernate，设计模式;

4. 熟悉Oracle/MySql数据库，能够熟练编写常用SQL语句

5. 熟练掌握Eclipse等开发工具，熟悉Maven、GIT、SVN等版本控制工具。

大数据开发工程师的具体职责 篇9

1.采用Go语言(Golang)开发稳健可扩展的网络服务;

2.与团队一起构建高并发、高可用的分布式平台;

3. 为各类项目需求设计架构，开发后端功能服务，同团队成员合作并积极提出建议和反馈;

大数据开发工程师的具体职责 篇10

1、配合架构师完成系统设计和工作任务分派;

2、负责平台分布式与高可用的核心模块设计与实现;

3、分析系统所产生的问题，并提出解决方案解决系统问题，以保障系统能够按照需求正确达成预期效果;

4、跟踪和分析现网平台，以提高生产系统的健壮性、可复用性;

5、指导和帮助组员，以确保产品质量和进度。

大数据开发工程师的具体职责 篇11

职责：

1、负责开发和迭代运维自动化平台及其组件。

2、负责优化、改进运维支撑系统，并保证其安全高效稳定的运行。

3、负责研究新的方式，将重复的事情做成自动化、自助化的工具平台提升运维质量及效率、安全性。

4、通过技术手段控制和优化成本，提升资源使用率。

5、需要推广工具平台到使用公司内部其他部门使用，乐于分享自动化过程中的经验。

6、需要开发多云管理工具，以及混合云自动化工具平台。

岗位要求:

1、熟悉Linux操作系统，对自动化运维工具有3年以上实际开发经验，真心懂运维。

2、具备2年以上开发经验，至少精通1种开发语言：Python/Go/Java,精通下列框架Django、beego、SpringCloud优先。

3、具有良好的学习能力、沟通能力、服务理念和合作精神。

4、强烈的责任心与主动性，对所负责工作有owner意识，并能自我驱动成长。

5、有运维自动化、监控系统、发布系统、CMDB、运营支撑系统、AIOPS系统等开发经验者优先。

7、对容器、K8S有着2年以上实际生产使用经验优先。

8、做过Openstack、Cloudstack、CoreOS、Zstack、K8S、MeSos、ranchaer等等二次开发和平台的优先。

9、有人工智能和深度学习经验的优先。

大数据开发工程师的具体职责 篇12

职责：

1. 根据开发进度要求和任务分配，完成相应模块软件的 开发、测试 任务;

2. 配合项目经理进行框架搭建、调试以及相关技术的技术可行性验证工作;

3. 承担功能模块的 概要设计编写 与 代码开发工作;

4. 参与问题、技术方案的讨论，设计与代码评审;

任职要求：

1. 具有3年以上软件设计、开发工作经验;曾独立承担模块级以上的软件开发工作，具备系统软件分析设计能力及很强独立解决问题的能力;

3. 熟悉Jquery、html、easyui、layui等前端技术.对于浏览器兼容性(IE8)能够很好的处理优先;

4. 精通开源技术框架(spring mvc,spring,mybatis,spirngboot,redis,shiro,sso)，熟悉各种常用设计模式，熟悉J2EE规范，并对面向对象设计、分层体系有深入了解;

5. 熟悉Tomcat、maven、svn、eclipse、idea;

6. 熟悉 Oracle，Mongodb等主流数据库相关技术及工具;

7. 熟悉Linux操作系统，掌握Linux基本命令;

8. 熟悉设计文档编写(优先)

9. 具有良好的沟通能力和团队合作精神、对工作认真负责，踏实，责任心强，善于学习总结。

大数据开发工程师的具体职责 篇13

职责：

1. 根据公司的研发流程，负责业务系统核心模块的设计和开发工作;

2. 负责服务器端业务代码的编写工作;

3. 配合团队其他成员进行模块开发及整合。

任职要求：

1. 计算机相关专业，本科及以上学历;

2. 3年以上java开发经验，对J2EE体系有较为深刻的理解，熟练使用jaca8的新功能;

3. 熟悉开源框架SpringMVC,Spring Boot ,MyBatis等，对Ajax有了解;

4. 对分布式应用服务，消息中间件，RPC有较深入的理解，熟悉使用Spring Cloud,zookeeper,RabbitMQ,等;

5. 熟悉使用mysql,nosql,对数据库优化有经验者优先;

6. 良好的编码习惯和文档编写习惯;

7. 熟悉阿里云中间件优先;

8. 具有良好的学习能力和沟通能力，工作积极主动，具有强烈的责任心和团队合作精神。

大数据开发工程师的具体职责 篇14

职责

1负责研发公司应用软件、基础平台组件的模块设计、开发、单元测试和交付

2编写技术文档，为使用平台组件的应用开发团队提供技术支援

3关注新技术，对新技术进行调研和引入

应聘要求：

1. 本科或以上学历， 计算机或相关专业背景。5年以上Java开发经验

2. 有较强的Java语言功底，熟悉I/O、多线程、集合等基础知识，熟悉分布式、缓存、微服务、消息等机制

3. 熟悉J2EE架构和相关的Java开发技术，熟悉Maven的使用，精通Spring / Spring Boot、Spring MVC、Spring Data JPA、 RESTFul定义与开发等，能快速适应现有UI框架

4. 熟悉MySQL数据库，熟悉关系数据库逻辑和物理建模，熟练使用SQL语言，熟悉Linux环境及常用命令

5. 热爱技术，喜欢钻研，能对已有框架进行扩展的能力

6. 能够独立担当功能模块的设计开发，具备较强的问题排查及分析能力，快速定位并解决，具有良好的开发文档编写能力

大数据开发工程师的具体职责 篇15

职责：

1、负责公司ERP、OA等信息系统等项目开发;

2、参与系统需求调研、流程设计、开发实施及培训交付。

3、负责IT部的技术路线规化，引入并建立成熟的软件开发模式;

任职资格:

1、计算机相关专业本科以上学历，5年以上工作经验;

2、熟悉Spring、Spring、Boot、Maven、Mybatis、Hibernate 、Shiro等Java开发框架优先;

3、熟悉Mysql、Oracle、SQLServer数据库;

4、熟悉Redis、MongoDB数据库;

5、具有IT技术开发架构师或类似工作经验优先，有研发团队管理潜质;

大数据开发工程师的具体职责 篇16

职责

1、负责公司现有PHP网站优化和新产品开发;

2、按照项目计划，与项目组其他成员协同工作实现开发目的;

3、协助工程师测试和发布系统，准备相关的技术文档，协助解决各种技术问题;

4、负责文档撰写，在前期期间设计交付URL接口文档、模板数据描述文档，在编码期间能撰写清晰明了的注释。

任职资格

1、计算机相关专业

2、有严谨的逻辑思维能力，沟通、协调、组织能力、有较强责任心和团队精神

大数据开发工程师的具体职责 篇17

职责：

1.承担系统核心功能、公共核心模块的代码编写，确保项目进度和质量;

2.参与系统架构设计、接口规范制定、技术文档编写等;

3.负责相关故障、疑难问题排查处理，编制汇总故障、问题，定期提交汇总报告;

4.负责日常系统维护，及监控

任职要求：

1、专科或以上学历，计算机软件或相关专业;

2、精通Web编程，3年以上使用Java语言进行web开发的经验，熟悉html、javascript;

3、精通servlet，JMS开发，熟悉Spring、MyBatis等开源框架，熟悉各种常用设计模式;

4、熟悉基于Oracle或者Mysql的设计和开发、Linux操作系统、GIT操作;

5、对技术有强烈的兴趣，喜欢钻研，具有良好的学习能力，沟通技能，团队合作能力;

6、熟悉SOA，有平台化实施经验者，有大数据量、高并发系统和大型网站构建经验者优先。