大数据架构师的主要职责说明（精选15篇）

大数据架构师的主要职责说明 篇1

职责：

1. 负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策

2. 参与数据挖掘和建模相关核心算法的代码实现

3. 负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施

5. 负责数据库设计、应用架构设计、核心技术选型等工作

6. 协调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行

7. 培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题

任职要求：

1. 熟悉大数据和数据仓库的系统架构设计方法

2. 熟练使用并理解HadoopSpark架构及生态。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)

3. 熟悉分布式系统架构，有分布式实时、离线和机器学习平台的架构和开发经验，具备海量数据清洗、分析处理及存储的实践经验

4. 熟练使用JAVA，具有大规模分布式系统调优经验

5. 熟悉AI相关算法，熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;

6. 具备良好的团队合作精神，对工作充满激情。

7. 熟悉FusionInsight平台开发经验者优先

大数据架构师的主要职责说明 篇2

职责：

1、负责大数据平台的技术选型，基于Spark、Hadoop大数据平台建设和开发;

2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计;

3、构建数据中台，为多种行业应用提供主数据(画像标签/关系图谱)、数据模型、人工智能业务算法及数据服务。

4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发;

5、带领大数据技术团队提供并实现大数据平台上各项数据分析和数据可视化的架构设计，支撑解决方案实施。

任职要求：

1、本科及以上学历，具有5年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑;

2、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;

3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一种主流数据库的使用，并能进行性能调优;

4、具备优秀的团队意识和沟通能力，学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战。

大数据架构师的主要职责说明 篇3

职责：

1、负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划;

2、负责公司项目的整体评估、设计、架构及关键模块的开发;

3、负责架构优化，协助团队解决开发过程中遇到的技术难题;

4、负责新技术的调研和大数据相关开源组件的研究，并能在团队进行推广应用;

5、参与数据分析、数据建模、项目核心模块及核心框架的开发;

6、负责大数据平台的性能条有和问题诊断。

任职要求：

1、计算机相关专业，本科及以上学历，3-5年以上工作经验，2-3年大数据相关经验;

2、具有扎实的大数据和数据仓库理论功底，负责过大数据平台或数据仓库设计;

3、对基于Hadoop的大数据体系有深入的认识，具备相关产品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)项目应用研发经验，有Hadoop集群搭建和管理经验，度过Hadoop和Spark源码;

4、熟悉Linux和Python语言，了解Scala原理和底层技术;

5、熟悉分布式系统的架构及对其进行设计和优化，对海量数据的清晰、分析处理及存储有相关的实战经验;

6、算法基础扎实，熟悉常见的数据结构，深入理解分布式算法和以上提到的分布式系统，

7、必须有一线coding的能力;

8、有统计学、数学知识，海量数据处理、分析和挖掘，大型互联网公司从业经历着优先。

大数据架构师的主要职责说明 篇4

职责：

(1) 负责公司大数据平台搭建，相关的设计和技术开发工作，负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;

(2) 通过数据分析技术，挖掘有利于营销中各业务场景的变量或规则类标签，以提升模型效果，为文旅、教育业务提供数学模型理论及编程支撑;

(3) 对接沟通业务系统研发团队和产品部门，提供数据驱动方面的专业咨询方案，并对业务的大数据应用场景提出建设性意见;

(4) 配合部门领导进行项目需求分析、设计开发工作。

任职要求：

(1) 计算机、统计学，数学等相关专业本科以上学历，5年以上大数据或文旅、教育数据产品设计开发经验，高效高质量产出需求和技术文档;

(2) 精通Hadoop，熟悉大数据生态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等，有大规模集群架构、开发及运维经验;熟悉HDFS/MapReduce等;

(3) 熟悉Java，能够独立应用python、R、SAS或类似分析工具进行数据分析;

(4) 熟悉大数据挖掘、可视化分析，各种BI算法和产品等，在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验，能够运用数据作为产品解决业务方运营及决策问题;

(5) 有互联网行业工作经验者优先，有海量数据的机器学习算法实践经验优先;

(6) 工作认真、负责，有良好的团队合作精神，良好的分析能力、沟通技巧。

大数据架构师的主要职责说明 篇5

职责：

1. 负责公司大数据平台的设计和开发，负责spark, hadoop, flink等云计算平台的开发和优化;制定数据架构规范，进行核心代码编写，指导团队落地;

2. 负责数据基础架构和数据处理体系的升级和优化，技术难题攻关，持续提升核心系统性能，保证系统的安全、稳定、高效运行

3. 设计并实现对BI分析、数据产品开发、算法开发的系统性支持

4. 研究未来数据模型和计算框架的创新与落地，包括但不限于以下领域：大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面参与制定并实践团队的技术发展路线

5. 建立良好的公司内外的业界技术影响力;参与培养未来数据人才;有效辅导团队，提升数据研发能力

任职要求：

1. 有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径，能够开发创新而实际的分析方法以解决复杂的商业问题

2. 有作为技术负责人系统化解决问题的成功案例;有海量数据建模实践经验优先

3. 熟练掌握Hadoop、Spark、Flink、HBase的原理特性以及适用场景，精通流式计算开发，有开源二次开发经验者优先，有NLP数据处理经验者优先

4. 性格积极乐观，诚信，能自我驱动，有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力

5. 本科以上学历，扎实的计算机专业基础，有5年以上大数据平台开发经验;

大数据架构师的主要职责说明 篇6

职责：

1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;

2、负责解决项目上线后生产环境的各种实际问题，保障大数据平台在生产上的安全、平稳运行;

3、推动优化跨部门的业务流程， 参与业务部门的技术方案设计、评审、指导;

4、负责技术团队人员培训、人员成长指导。

5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公，月底项目结束后在总部公司办公

任职要求：

1、熟悉linux、JVM底层原理，能作为技术担当，解决核心技术问题;

2、3年以上大数据平台项目架构或开发经验，对大数据生态技术体系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;

3、掌握git、maven、gradle、junit等工具和实践， 注重文档管理、注重工程规范优先;

4、熟悉Java后台开发体系，具备微服务架构的项目实施经验，有Dubbo/Spring cloud微服务架构设计经验优先;

5、性格开朗、善于沟通，有极强的技术敏感性和自我驱动学习能力，注重团队意识。

大数据架构师的主要职责说明 篇7

职责：

1、大数据平台架构规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作，根据系统的业务需求，能够指导开发团队完成实施工作;

4、负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为相关的业务提供大数据底层平台的支持和保证;

5、培养和建立大数据团队，对团队进行技术指导。

任职要求：

1、计算机相关专业的背景专业一类院校毕业本科、硕士学位，8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

2、精通Java，J2EE 相关技术，精通常见开源框架的架构，精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;

3、精通SQL和Mapreduce、Spark处理方法;

4、精通大数据系统架构，熟悉业界数据仓库建模方法及新的建模方法的发展，有DW，BI架构体系的专项建设经验;

5、对大数据体系有深入认识，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术，并能设计相关数据模型;

6、很强的学习、分析和解决问题能力，可以迅速掌握业务逻辑并转化为技术方案，能独立撰写项目解决方案、项目技术文档;

7、具有较强的内外沟通能力，良好的团队意识和协作精神;

8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

9、 具有能源电力行业工作经验者优先。

大数据架构师的主要职责说明 篇8

职责：

1、负责公司的大数据平台的数仓架构、系统架构设计;

2、负责带领团队完成舆情分析相关的挖掘方案设计;

3、负责大数据研发组团队管理;

4、负责带领团队完成舆情平台的方案文档撰写、迭代开发;

5、负责研发规范制定，研究行业前沿技术;

6、参与产品规划及设计讨论。

任职要求：

1、本科五年工作经验及以上，有至少五年的大数据技术实践经验，有NLP或AI相关经验;

2、有很强的架构设计能力和良好的表达能力;

3、有一定的项目管理及团队管理能力;

4、精通Hadoop、Spark生态圈中的常用组件原理及应用;

6、理解媒体业务，精通数据仓库的规划和设计;

5、精通掌握Java或Python编程，有性能调优能力;

4、熟悉NLP算法原理及应用;

6、对新生事物或者新技术有浓厚兴趣，学习能力强。

大数据架构师的主要职责说明 篇9

职责：

1、大数据平台的规划、设计、实施，并优化数据库;

2、对数据库进行管理，负责数据库应用系统的运营及监控;

3、对数据库性能分析与调优，排错，保证数据正确率;

4、配合其他部门进行的数据处理、查询，统计和分析工作;

5、完成公司下达的项目开发任务。

任职要求：

1、计算机及相关专业本科以上学历，5年以上软件开发从业经验，其中包括至少2年以上的大数据开发工作经验;

2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构，有管理或优化大型分布式集群经验;

3、熟悉linux基本命令，精通SQL脚本的编写，有丰富的数据库管理、运维调优经验;

4、熟悉C++、Java、C#等开发语言;

5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;

6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;

7、快速处理系统突发事件的能力，较强的学习和创新能力;

8、良好的沟通能力和团队合作精神。

大数据架构师的主要职责说明 篇10

职责：

1、负责大数据平台技术框架的技术选型和搭建;

2、负责核心技术问题公关，建设高可靠性，扩展性及高性能大数据/数据应用平台;

3、负责规划数据挖掘的整体流程，负责大数据开发团队业务需求开发;

4、与其他团队密切配合，寻求数据层面的业务价值，利用数据分析结论推动产品优化;

5、研究和分享大数据架构领域新技术。

任职要求：

1、计算机相关专业全日制统招本科及以上;

2、5年以上工作经验，至少3年以上大数据项目相关工作经验，能够设计大型大数据系统的架构和技术方案;

3、精通Hadoop/Spark/Hbase/Hive等大数据技术,精通ETL技术;

4、熟悉数据挖掘，了解典型大数据算法和策略;

5、熟悉主流Java技术框架，精通关系型数据库及SQL语言，熟悉NoSQL/JSON/XML;

6、有较强的学习能力和问题解决能力，逻辑严密、思路清晰;

7、有数据仓库经验者优先，有金融行业项目经验者优先。

大数据架构师的主要职责说明 篇11

职责：

1. 负责产品级业务系统架构(如业务数据对象识别，数据实体、数据属性分析，数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计，从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性，并对系统质量负责。

2.负责云数据平台的架构设计和数据处理体系的优化，推动云数据平台建设和持续升级，并制定云数据平台调用约束和规范。

3. 结合行业应用的需求负责数据流各环节上的方案选型，主导云数据平台建设，参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

4. 对云数据平台的关注业内技术动态，持续推动平台技术架构升级，以满足公司不同阶段的数据需求。

任职要求：

1. 熟悉云计算基础平台，包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境，熟悉控制、计算、存储和网络;

2. 掌握大型分布式系统的技术栈，如：CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。

3. 精通 Java，Python，Shell 编程语言，精通 SQL、NoSQL 等数据库增删改查的操作优化;

4. PB 级别实战数据平台和生产环境的实施、开发和管理经验;

5. 熟悉 Docker 等容器的编排封装，熟悉微服务的开发和日常调度;

6.计算机、软件、电子信息及通信等相关专业本科以上学历，5 年以上软件工程开发经验，2 年以上大数据架构师工作经验。

大数据架构师的主要职责说明 篇12

职责：

1、负责spark, hadoop, flink等开发和优化。

2、参与前期需求沟通和分析，以产品化开发的思维，完成需求分解和数据架构设计。

3、与研发和数据科学家合作保证产品定义清晰，按时完成产品上线。

4、能够洞察市场状况，与各部门合作转化为基于大数据挖掘的新策略或方案.

5、主动创造和发掘新的基于大数据挖掘产品商业模式.

任职要求：

1、全日制本科及以上学历，计算机软件相关专业，5年以上开发经验，3年以上架构经验

2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式数据存储和分布式计算平台原理，流式计算开发，有开源二次开发经验者优先。

3、精通大数据挖掘、机器学习.熟练掌握Java/Perl/Python至少一种编程语言。

4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;

5、良好的跨部门沟通合作能力，解决不同观点能力并取得结果。具备敏锐的互联网产品理解力，学习能力和逻辑思维能力强;

6、较强的自我驱动力、推动和协调能力，强烈的责任心和团队合作精神;

大数据架构师的主要职责说明 篇13

职责：

1.负责整个大数据平台架构的设计和构建;

2.负责构建大数据平台的数据交换、任务调度等通用平台;

3.制定开发、测试、实施、维护的标准和规范，指导和培训工程师，不断提升团队能力。

4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署，负责编写核心部分代码。

5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、可扩展等技术难点。

任职要求：

1.3年以上大数据架构经验，丰富的数据仓库、数据挖掘、机器学习项目经验

2.大规模数据处理的架构和设计实战经验

3.精通Spark、MR，熟练HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有丰富的大型数据平台工程经验

4.深刻理解大数据处理(流计算，分布式计算，分布式文件系统，分布式存储等)相关技术和实现方法

5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法，熟练Linux/Unix平台上的开发环境

6.本科或以上学历，计算机软件或相关专业，丰富的java开发经验和互联网背景优先。

7.具有比较强的问题分析和处理能力，有比较优秀的动手能力，热衷技术，精益求精

大数据架构师的主要职责说明 篇14

职责：

1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化，不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。

2.负责制定大数据平台调用约束和规范;

3.负责大数据方向技术难题的解决，以及代码质量的把控;

4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养，分享技术经验，撰写相关技术文档指导和培训工程师。

任职要求：

1.热衷于大数据技术，并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;

2.熟悉服务器基本知识，能够评估系统硬件性能瓶颈;

3.掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题，并能提供解决问题的理论依据;

4.精通Java服务器编程，熟悉JVM原理，对数据结构和算法设计有较为深刻的理解;

5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底层架构，熟悉原理、源码、集群部署，包括参数优化、Bug修复，贡献过代码或提交过bug者优先

6.具备数据中心资源管理、监控、调度等系统研发经验者优先，具备分布式系统研发经验者优先;

7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;

8.具有良好的文档编写能力，可进行方案设计、架构设计。

大数据架构师的主要职责说明 篇15

职责：

1.负责过多个大数据项目的架构;

2.精通Hadoop、Spark, HBase等主流的大数据平台、精通各组件优化设计原理;

3.精通大数据实时流式处理的设计和应用;

3.熟悉大数据平台调优，具备大数据生产平台调优经验;

4.金融行业，运营商行业大数据架构经验更优;

5.研究大数据技术的最新发展，并引入到公司技术架构;

6.指导大数据工程师的日常工作，并培养技术骨干。

任职资格：

1.计算机相关专业本科或以上学历;

2.具有5年以上大数据相关开发经验;

3.具有2年以上带团队经验

4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解，能够带领团队进行技术攻坚，完成中间件的实施、改造、调优;

5.精通海量数据和实时数据的分析处理，能对线上的数据处理性能问题做调优;

6.精通数据仓库以及维度建模原理，有大型数据仓库建设经验;

7.精通关系型数据库和NoSQL数据库的使用，熟悉相关理论;

8.沟通顺畅，重点突出，高效。