大数据开发工程师的岗位职责（通用19篇）

大数据开发工程师的岗位职责 篇1

职责

1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜索引擎的产品研发;

2、基于海量用户行为数据和其他数据，分析和研究数据与实际业务的关联关系，并与实际业务应用相结合开发;

3、负责大数据分析需求设计和开发，承担数据抽取、清洗、转化等数据处理程序开发。

任职要求：

1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发经验，有数据实时计算项目经验优先;

2、有搜索引擎全文检索开发经验 ，如：elasticsearch、solr;

3、熟悉python、R任意一门开发语言;

4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发经验优先考虑;

5、 本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作经验;

6、拥有良好的代码习惯，要求结构清晰、命名规范、逻辑性强、代码冗余率低，代码注释清晰;

7、熟悉使用svn，禅道等项目管理工具，有良好的团队协作开发经验.

大数据开发工程师的岗位职责 篇2

职责：

1、依据客户需求完成大数据项目的数据分析及建模;

2、进行大数据核心算法的编写;

3、参与项目的需求分析、系统设计、编码工作;

4、参与开发过程中相关新技术的研究和验证。

5.协助承担架构性的体系设计和改造工作，配合制定技术实施方案，按照总体设计组织子系统的设计和开发。

任职要求：

1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关经验;

2、具有丰富的基于hadoop体系的数据平台、数据仓库建设经验，精通基于hadoop源码的开发、优化改造及成功应用案例;

3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维经验;

4、具有对大型hadoop集群的硬件规划能力;

大数据开发工程师的岗位职责 篇3

职责：

1、负责数据分析、加工、清理，相关处理脚本和程序的开发;

2、负责开发大数据工具，如报表平台、多维度分析工具、ETL平台、调度平台的研发;

3、负责分布式大数据平台应用开发(Hadoop/Spark/Hive/HBase等);

4、负责大数据相关平台的维护、优化。

任职要求：

1、本科及以上学历，计算机相关专业，具有5年及以上的大数据ETL或数据开发经验，熟悉大数据组件的维护以及调优;

2、熟练掌握Java或Python编程语言，熟悉大数据架构体系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术中的一个或者多个，熟悉Sqoop、DataX等数据导入工具;

3、能熟练使用Hive、HBase、Spark等加工和处理数据，有海量数据处理经验;

4、有数据仓库开发经验/BI系统开发经验优先;

5、有电商行业数据处理与分析平台开发经验者优先。

大数据开发工程师的岗位职责 篇4

职责：

1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发;

2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;

3、大数据平台各类数据业务抽象及模型化;

4、参与大数据管理平台的开发及维护;

5、负责大数据平台数据及相关的应用开发，调优及维护;

6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;

7、良好的团队合作与沟通能力。

任职要求：

1、本科及以上学历，2年以上大数据应用开发经验;

2、具备Java、Python、Scala其中两种语言的开发经验;

3、了解泛Hadoop大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先;

4、具备ETL开发与运维能力，有Flume、kettle经验优先;

5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先;

6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先;

7、熟悉Linux系统环境，有shell等脚本编写经验，熟悉Mysql、PostgreSql、Oracle等常用关系数据库，熟练编写SQL语句;

8、熟悉Yarn,Kubernetes,Azkaban等资源调度框架者优先;

9、熟悉Datax的二次开发，并有实际开发经验优先。

大数据开发工程师的岗位职责 篇5

职责:

1、负责所分管团队的团队建设和日常管理工作;

2、负责核心技术问题攻关和性能优化，持续维护和引进最新的大数据技术到城市大数据平台中，支撑城市级大数据平台业务;

3、承担城市数据标准编制和数据模型的设计;

4、承担项目中数据相关方案设计及数据团队管理;

5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。

任职资格:

1、1年以上数据开发工作经验，熟练使用SQL查询引擎;

2、熟悉Hadoop、Mpp、Oracle等至少一种数据仓库工具

3、具备良好的编程语言基础如：java/python/scala/c++/shell等

4、二本以上学历，计算机相关专业或者有相关培训经历者优先

5、 个人素质要求：目光长远、态度诚恳、岗位有稳定性，能够长期培养、具备很强的自学能力、承压能力强、接受出差支援项目等工作。对数据工作具备浓厚的兴趣并有明确职业规划，优秀的学习能力和团队沟通协作能力，对新技术有浓厚兴趣并有钻研精神。

大数据开发工程师的岗位职责 篇6

职责：

1. 参与软件产品设计、开发、实施和维护，保证设计合理、应用技术得当。

2. 进行单元测试，确保功能稳定，性能优异，保证开发工作高质量完成。

3. 参与软件设计的重构、优化，保证产品的可迭代、可维护性。

4. 参与软件设计文档的起草和完善，保证文档及时更新。

任职要求：

1. 本科及以上学历。

2. 有1年以上Java Web开发工作经验;有高访问量，高负载网站系统开发经验者优先。

3. 熟悉Spring、Spring Boot、SpirngMVC，Mybatis/iBatis、Maven及前端Html5/CSS/Javascript等。

4、JAVA基础扎实，理解IO、线程、集合等基础框架，对JVM原理有一定的了解。

5、熟悉分布式、多线程及高性能的设计与编码及性能调优。

6、熟悉Linux下的常用命令。

7、熟悉Mysql/Oracle等数据库的开发和数据库的维护。

8、有电力行业或轨道交通行业应用开发经验者优先。

大数据开发工程师的岗位职责 篇7

职责：

1、根据公司信息化发展需要和业务流程要求，对ERP系统和OA平台进行定制化二次开发和功能扩展，制定二次开发方案、计划并实施，分析并解决开发过程中的问题;

2、或能自主开发满足公司管理需要的软件系统，负责软件产品的架构设计、功能模块设计、数据库结构设计及核心代码开发;

3、对ERP系统、OA平台或自主开发软件系统进行维护，保障软件系统的稳定运行;

4、负责其他系统与ERP接口的技术支持;

5、完成上级临时交办的其他工作。

任职资格：

1、计算机、电子信息工程相关专业，大专以上学历;

2、对ERP系统和OA平台的功能和使用比较熟悉;

3、熟悉软件系统开发过程，有编写代码、编写脚本的经验，熟悉至少两种开发语言;

4、有二次开发经验，熟悉ERP二次开发和实施经验者优先;

5、具有数据库及高级应用程序开发经验;

6、具有通信协议接口开发经验;

7、熟悉SQL Server、Oracle等数据库开发。

大数据开发工程师的岗位职责 篇8

职责：

1.参与公司现有系统优化和新系统开发;

2.按照项目计划完成模块设计.编码工作;

3.协助工程师测试和发布系统;

4.负责文档撰写，编码期间撰写清晰明了的注释。

职位要求：

1.计算机相关专业专科以上学历，1年以上相关工作经验;

2.熟悉PHP语言及主流框架，同时具有java开发经验为佳;

3.了解L，对数据库设计以及性能优化有相关经验;

4.了解 Linux 操作系统，能在linux下对项目进行基本的管理和部署;

5.具有良好的沟通能力，自学能力和积极进取的团队合作精神;

6.有规范的文档编写习惯，定期总结整理技术文档

大数据开发工程师的岗位职责 篇9

职责：

1.负责网站代码的开发、维护及相关接口对接工作;

2.完成网站程序模块代码实现，编写代码注释和开发文档;

3.辅助进行网站系统的功能定义、程序设计，分析并解决软件开发过程中的问题;

4.协助制定测试计划，定位发现问题，定期维护网站程序，处理反快回来的系统bug;

5.完成上级交代的其他事情。

要求：

1、精通PHP+MYSQL,具备扎实的代码功底以及良好的编程习惯

2、有电商平台、微信公众号、小程序开发经验优先

3、熟练使用laravel框架，熟练操作Linux

4、需要有电商系统开发经验，熟悉ECShop开发

大数据开发工程师的岗位职责 篇10

职责：

1.和产品经理沟通产品需求;

2.进行业务需求系统分析，提出技术研究及可行性报告及系统概要设计;

3.系统子模块设计和数据库设计;

4.详细设计、代码编写和单元测试;

5.评审其它团队成员的代码;

6.调研、评估最新云服务技术并应用到当前项目。

任职要求：

1.计算机相关专业,本科及以上学历(985/211优先考虑)，3年以上J2EE工作经验;

2.熟练使用主流的开发框架，SpringMVC、MyBatis、SpringBoot等;

3.具有丰富的mysql使用与开发经验，以及Redis等缓存数据库技术经验;

4.熟悉微服务设计;

5.熟悉maven/gradle、git，熟悉tomcat、nginx等开源项目

6.有高并发及大数据量系统开发经验的优先;

7.有Restful API、spring cloud、dubbo开发经验者的优先;

8.有GIS开发经验的优先。

大数据开发工程师的岗位职责 篇11

职责：

1、负责企业网站产品的开发及技术设计;

2、从事php项目开发，能独立开发、制作整站或独立完成局部程序;

3、熟练使用PHP/MySQL开发;熟悉Sql语法，包括数据库设计，速度优化;

4、熟悉Yii框架

5、熟悉php、Html5、JavaScript、div+CSS。

任职要求：

1、熟练使用PHP+MySQL，有扎实的php语言基础知识，能独立设计网站架构，完成前后台代码编写工作;

2、专科及以上学历,做过PHP网站程序开发2年工作经验以上，能独立完成一般性网站的开发，有大中型项目开发经验优先;

3、熟练掌握thnkphp框架，熟悉smarty， 具有PHP开发经验和MVC实际开发经验;

4、熟悉各种WEB技术，并有实际的项目经验;

5、良好的编程习惯、阅读能力、理解能力、学习能力，思路清晰，工作规范。

大数据开发工程师的岗位职责 篇12

职责

1. 配合项目经理完成项目需求分析、功能及设计

2. 负责项目开发与测试，维护已有程序的升级和错误更正

3. 负责完成APP后台数据的接收及发送，保证数据安全

4. 负责处理线上服务器及数据库故障，及时解决问题

5. 负责服务器环境搭建及项目更新，保证项目稳定运行

6. 负责技术难点公关并带领其他成员完成技术难点的推进和落实

任职要求

1. 必须要求：参与过短视频或者视频通话APP后台开发

2. 大专及以上统招本科学历

3. 2年以上PHP实际开发经验

4. 精通PHP开发，对主流快速开发框架ThinkPHP、YII、Zend等熟悉并应用过至少其中一种

5. 必须具有对接APP的开发经验，能够独立完成数据的设计

6. 熟悉流媒体视频处理技术，在项目中应用过对短视频处理技术

7. 对主流数据库MySql，MSSQL等至少熟悉一种

大数据开发工程师的岗位职责 篇13

1、大型ERP产品的底层引擎与控件的开发、维护;

2、参与项目系统设计，完成程序开发与文档编写工作;

3、上级交代的其他任务;

大数据开发工程师的岗位职责 篇14

职责：

1、参与系统功能模块设计工作;

2、参与代码编写、BUG修改、单元测试;

3、协助测试人员完成集成和系统测试;

4、完成研发经理或者上级主管分配的其它工作。

任职要求：

1、掌握Java编程语言，熟悉J2EE技术架构下的Web软件开发;

2、熟练使用Eclipse开发工具，掌握Tomcat、Weblogic、Websphere等主流J2EE应用服务器的一种或多种;

3、扎实的数据库基础，掌握Oracle数据库操作，能熟练使用SQL语言编程;

4、了解开发作业(PD设计、编码和测试)的规范和技巧;

5、能够按照要求编写项目工程文档，文档结构条例清晰，内容详实准确;

6、具备理解所担当模块的业务理解能力和问题阐述能力。

大数据开发工程师的岗位职责 篇15

职责：

1. 负责运营平台以及移动应用服务器API开发与维护，编写开发文档;

2 .根据业务需求提出技术方案，负责系统框架的规划、开发;

3. 熟悉支付业务流程，对已有模块的调优和bug修复。

任职资格：

1. 计算机及相关专业，熟悉掌握PHP、熟悉面向对象编程;

2 .有成熟的项目经验，能独立处理开发中遇到的问题;

3 .熟悉Linux服务器相关知识，熟悉Nginx/Apache等服务搭建，对服务器搭建和系统性能调优有了解;

4 .熟悉掌握MySQL数据库的使用，对高并发数据处理和数据优化有相应的处理方案;

5 .对缓存技术有了解，使用过Redis/Memcache/Mongodb等常见nosql数据库之一。

大数据开发工程师的岗位职责 篇16

职责：

1、移动端，Web端H5开发，编写可复用的用户界面组件;

2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率;

3、负责前端产品的页面制作，根据UI设计图完成html5应用的编码;

4、配合开发工程师一起研讨技术实现方案，进行应用及系统整合;

5、测试维护并持续优化现有产品，修复bug，提高前端的用户体验及性能6、参与前端工程体系建设。

任职要求：

1. 扎实的计算机基础,有至少1~3年的Web前端开发经验;

2. 熟练使用Vue框;

3. 精通HTML5、CSS3、JavaScript等技术;

4. 有使用npm、webpack等开发工具的经验;

5. 有跨浏览器开发经验，理解不同浏览器之间的差异，代码具有良好的兼容性;

6. 爱编程，且能快速解决问题;

7. 热爱新的计算机技术，具有快速学习的能力;

大数据开发工程师的岗位职责 篇17

职责：

1、负责公司内部软件产品的WEB服务器端、APP后台的设计与开发;

2、官网(php)的修复开发，及二次开发

3、同时兼前端开发人员(小程序，微商城前端的开发)

4、精通PHP语言，精通HTTP等互联网协议;

5、有良好的沟通，良好的团队合作精神，能承受较大工作压力。

任职要求：

1：大专以上学历，计算机相关专业，3年以上php开发，

2：精通php，thinkphp等开发框架，相关开发工具

3：精通HTML,H5,CSS,Javascript，Ajax精通vue，js，AnsularJS，boststrap前端框架

4：熟练掌握各种前端开发工具，熟悉React-native框架，JQuery类库，熟悉前后端分离开发模式

5：有实际商场社区类小程序开发经验者优先

大数据开发工程师的岗位职责 篇18

职责：

1、负责网站后台程序开发(PHP+Mysql)与网站运营人员、美工人员配合完成网站以及需求功能构建;

2、负责服务器的维护和保障安全运行;

3、WAP手机端网站的开发与维护;

4、负责网站安全监控与应急处理，维护网站使之保持可用性和稳定性;

5、根据项目任务计划按时完成开发任务。

任职要求：

1、计算机相关专业，至少1年以上的PHP开发工作经验，需要有微信小程序或微商城开发经验;

2、有过实际的电商网站开发和部署经验;

3、熟悉JS，PHP+Mysql等语言，能独立完成开发任务;

4、熟悉至少一种PHP框架，如CodeIgniter/ThinkPHP/ZF

5、熟悉主流第三方支付接口，如支付宝，微信开发;

6、良好的编程习惯，结构清晰、命名规范、代码冗余率低;

7、了解apache及apache配置，了解linux系统;了解IIS+PHP+Mysql配置;

8、会写移动端接口，会H5页面编写。

9、工作经验丰富者，

大数据开发工程师的岗位职责 篇19

职责：

1. 负责Zoom产品线Web前后端平台架构设计和开发

2. 负责第三方系统和Zoom平台的集成

3. 解决开发过程中的技术问题，支持、协助处理其他相关的技术问题

4. 进行程序性能的分析和优化工作

岗位要求：

1. 对互联网的高并发、海量处理、负载均衡、容错处理等有深入的理解和丰富的经验优先

2. 计算机相关专业本科及以上学历，3年以上Java开发经验

3. 熟悉Java语言，基础扎实，包括JVM、类装载机制、多线程并发、IO、网络等技术体系

4. 精通Java Web开发，熟悉HTTP协议和Servlet规范，掌握Spring、Spring MVC、Mybatis等Java开源框架

5. 熟悉MySQL数据库设计，性能调优，以及数据库热备，快速切换等机制; 另外，熟悉Nosql如DynamoDB等优先

6. 学习能力强，热衷技术，喜欢钻研和尝试新的技术

7. 具备良好的编码规范，面向对象设计理解，熟悉面向对象设计原则，掌握设计模式及应用场景

8. 具备良好的沟通和团队协作能力，工作积极主动，思路清晰，责任心强

9. 有SSO相关开发经验(熟悉不同IDP的特性)优先