天天范文

位置:首页 > 文秘 > 岗位职责

数据仓库工程师的主要职责(通用20篇)

数据仓库工程师的主要职责 篇1

职责:

数据仓库工程师的主要职责(通用20篇)

1.参与传统数仓和大数据数仓日常开发工作;

2.参与大数据仓库设计、规划和开发;

3.参与日常工作的优化,提出建设性意见;

4.负责管理项目,负责板块内的资源协调、进度管理、交付管理;

5.参与数据仓库、数据集市体系架构的设计、规划与开发, 参与大数据、ETL开发,sql性能优化。

任职要求:

1.全日制本科,计算机等相关专业。3年以上数仓开发经验,有银行、金融从业经验者优先。

2.2年以上项目管理经验,具备PMP证书优先.

3.熟悉oracle/hive/spark,熟悉数据处理和性能优化,有UDF自定义函数、MR开发经验优先;

4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一种脚本语言。

数据仓库工程师的主要职责 篇2

职责:

1、负责ETL开发、作业调度和数据平台建设

2、负责数据仓库的设计、开发和优化,建立结构层次合理、灵活可扩展的数据仓库

3、设计并研发BI分析相关的数据产品

4、结合对数据的理解和业务需求,对数据进行整理、分析和挖掘

任职要求

1、计算机相关专业本科及以上学历,有2年以上数据仓库、ETL工作经验

2、有海量数据处理、ETL及作业调度优化、数据仓库建模等经验

3、熟悉Linux、SQL、Python或Java、Shell脚本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大数据技术使用经验

4、逻辑清晰,对数据敏感,深入了解业务,具备自己独特的想法并能提出合理的建议

数据仓库工程师的主要职责 篇3

职责:

1、负责制定数据仓库平台技术体系架构、数据架构及规范;

2、负责设计和实施公司业务数据的实时/离线数据ETL架构方案;

3、负责调度架构设计与开发;

4、负责数据仓库平台运维以及日常数据运营等管理;

5、负责关键技术攻关;

任职要求:

1、5年以上数据仓库项目开发经验,参与过数据仓库架构设计,对ETL开发流程、调度架构有深入理解;

2、精通mysql、 oralce 、greenplum等至少一种数据库,丰富的SQL性能调优经验;

3、熟练使用Java、Shell、Python、Perl等至少一种脚本语言;

4、熟悉数据治理理论,数据质量、元数据管理流程和方法;

5、了解Hadoop/Hive/HBase/Spark/Storm等技术及其生态圈;

6、沟通能力好、责任心强,具有良好的团队合作精神和敬业精神;

数据仓库工程师的主要职责 篇4

职责:

1.负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发,创建数据仓库、数据集市

2.熟悉数据仓库领域知识,从架构和技术层面参与建设数据仓库,包括元数据管理、数据质量、主数据管理、性能优化和调优。

3.负责数据仓库平台相关数据管理工作,如研发规范、质量规范、保障规范的制定与推动实施落地

4.配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片

任职资格:

1. 本科或硕士以上学历,计算机工程相关专业

2. 熟悉大数据相关技术能力(Hadoop/MapReduce/Hive/Hbase等),熟练进行数仓Hive建设和软件架构,较强的数据抽象能力

3.精通SQL,具备海量数据处理和Hive/Spark性能调优经验,3年以上大规模分布式数据仓库建设经验

4.熟练使用Druid/Kylin之一进行数据挖掘模型设计,熟练掌握Java/Scala之一,具备良好的coding素养和习惯,了解脚本语言,如Python、Shell等

5.强烈的责任心,工作态度积极主动,有较好的团队精神和沟通能力,工作细致认真

数据仓库工程师的主要职责 篇5

职责:

1.建设公司级数据仓库,并根据业务变化持续迭代和优化;

2.对业务数据进行梳理和抽象,建设数据仓库的数据模型;

3.对业务数据进行采集、清洗、转换和存储;

4.支撑BI、用户数据、用户运营、用户画像、房源数据、推荐系统等核心数据平台产品;

5.研究大数据前沿技术,不断持续优化大数据平台,为业务提供价值。

任职资格:

1.本科及以上计算机、统计学、数据库、机器学习等相关专业,5年以上数据相关工作;

2.对业务数据有敏锐的理解能力,并能快速梳理和分析业务数据;

3.熟练掌握SQL语言、熟悉MySQL,对Shell、Java(主要开发语言)、Python编程非常熟悉;

4.熟悉常用的ETL技术和原则;精通数据仓库数据库设计规范和实操;

5.熟悉Hadoop、Hive、HBase、Spark、Storm等开源平台者优先;

6.具有较强的分析和解决问题的能力,良好的学习能力和团队合作精神,追求价值实现,认同目标管理和敏捷。

数据仓库工程师的主要职责 篇6

职责:

1、根据业务部门需求进行数据的处理、分析、导出和日常维护;

2、结合公司的业务,进行一些自动化数据处理脚本的开发;

3、完成相关文档的编写。

职位要求:

1、熟练掌握SQL语句,能够运用SQL进行各种数据处理;

2. 熟悉Postgresql、Mysql、Oracle、HIVE 或其他数据库中的一项或几项;

3、熟悉shell或python编程,能够用脚本进行数据自动化数据处理;

4、具有良好的沟通能力和业务理解能力;

5、有过kettle,powercenter等ETL经验加分;

6、有数据挖掘分析能力加分。

数据仓库工程师的主要职责 篇7

职责:

1.根据业务需求,设计数据库结构,改进数据库架构,实施数据库分布式、集群、负载均衡方案;

2.负责数据库服务可用性监控、容量规划、架构设计和扩容实施;

3.定期检查并优化数据库平台性能;

4.分析数据库系统性能瓶颈,提出优化建议和方案。

任职资格:

1.精通SQL Server、MySQL等数据库;

2.精通SQL脚本的编写,有丰富的数据库管理、运维调优经验;

3.熟练使用数据库管理、分析、设计工具;

4.具备优秀的数据库架构设计能力,熟悉数据库性能优化;

5.快速处理系统突发事件的能力,较强的学习和创新能力。

数据仓库工程师的主要职责 篇8

职责:

1、 负责组织客户需求调研,收集、分析、整理项目需求,撰写需求规格说明书,并与客户达成一致;

2、 根据业务需求进行功能需求分析,制作页面原型,组织需求论证说明,编写需求分析说明书;

3、 给设计开发人员、测试人员和实施人员培训需求,跟进需求在各个环节的落实,验证系统的各项产出物与需求一致;

4、 对需求变更进行影响分析;跟进批准后的需求变更在各个环节的落实;

5、 协助业务部门进行项目应用推进工作,负责用户手册、产品功能说明等相关资料的编写。

职位要求:

1、 本科及以上学历,计算机相关专业优先,具有保险行业相关知识及从业经历者优先;

2、 熟练使用word、excel等办公软件;熟悉UML、visio、Axure等建模工具者优先;

3、 思维清晰敏捷,具有较强的逻辑分析能力;

4、 有较强的理解、沟通能力,表达能力和文档编写能力。

数据仓库工程师的主要职责 篇9

职责:

1. 负责推荐引擎,统计学模型,以及大数据产品和服务的核心模型与算法的创新研究和实现;

2. 实现个性化推荐数据平台的实时处理性能优化;

3.参与大数据预测模型的产品和服务设计与建模;

4.负责用户画像在产品运营/广告/大数据产品等场景的应用。

任职资格:

1.本科及以上学历,四年工作经验,计算机、统计学等相关理科专业,具有深厚的统计学.数学.人工智能和数据挖掘知识基础;

2.熟悉机器学习相关算法,有较丰富的机器学习落地经验,有tensorflow,spark,sklearn等框架使用经验者优先;

3.至少熟练使用一门编程语言(python/java/scala等),熟悉数据库操作,有hadoop、hive等分布式大数据工具使用经验者优先;

4.有较强的数据分析能力,逻辑思考,问题定位解决能力;

数据仓库工程师的主要职责 篇10

职责:

参与数据仓库模型设计和开发工作;

负责建立数据分析模型,设计前端报表,数据可视化开发;

负责数据平台项目数据仓库的管理、性能监控及优化等;

负责数据平台的日常运维及优化

职位要求:

大学本科以上学历,3年以上工作经验,包含2年以上数据仓库开发工作经验;

精通数据仓库建设,熟悉常用的模型设计方法;

对数据可视化有丰富的经验,熟悉常用的数据分析方法;熟悉至少一种报表工具开发;

精通数据仓库领域知识和技能,包括元数据管理、主数据管理、数据质量管理等;

熟练使用ETL工具如Kettle、SSIS等进行数据清洗、转换、整合;

熟悉至少两种关系型数据库,如Oracle、SQL Server、PostgreSQL、MySql等主流数据库,精通SQL Server开发和运维者优先考虑;

有完整的数据平台建设经验者优先;

熟悉使用Linux系统及Shell脚本开发,熟练开发Python程序者优先;

熟悉大数据开发框架者优先,如Spark,Flink等;

对新技术好奇爱学习,主动性和责任心强,对数据敏感,逻辑性强,有良好的抗压能力;

团队协作能力强

数据仓库工程师的主要职责 篇11

1、通信、电磁场与微波技术等相关专业本科以上学历;

2、熟悉无线通信原理、电磁场、微波理论等基础电路知识;

3、熟悉使用频谱分析仪和网络分析仪,以及常用综测仪等射频设备,工作原理和对应技术指标;

4、熟悉应用RF电路仿真软件;

5、负责射频测试、测试方案制定和实施及测试环境搭建;

6、负责产品EMI、EMC、无线认证的射频部分的准备,以及相关射频问题的解决;

7、对蓝牙,Wifi协议的物理层指标及测试熟悉的优先。

8、对待工作认真负责、责任心强,有良好的团队合作精神、沟通能力,能够承受一定的工作压力。

数据仓库工程师的主要职责 篇12

职责:

1、对海量业务数据进行整合、分析、挖掘,并提供相关数据服务;

2、研发与设计大数据挖掘算法,搭建数据平台;

3、应用数据挖掘工具或者开发新算法,参与项目开发,解决产品需求;

4、通过对数据的敏锐洞察,深入挖掘产品潜在价值和客户需求,进而提供更有价值的产品。

岗位要求:

1、统计学、应用数学、计算机等相关专业,统招本科及以上学历;

2、一年以上数据挖掘经验,熟练掌握多种统计和挖掘方法,熟练使用SPSS、SAS等相关数据分析软件;

3、较强的数据敏感度,逻辑分析能力和文档撰写能力;

4、良好的逻辑思维能力,优秀的分析和解决问题的能力,对挑战性问题充满激情。

数据仓库工程师的主要职责 篇13

职责:

1. 负责公司数据仓库/数据集市模型设计,优化现有数据仓库模型;

2. 参与数据仓库支持工具设计;

3. 参与数据仓库需求定义;

4. 参与数据治理、元数据建设、优化数据开发流程。

任职资格:

1. 计算机、数学、统计或相关专业本科及以上学历,数据挖掘/平台和BI分析领域优先;

2. 3年及以上数据仓库设计开发经验;

3. 熟悉HIVE,有HQL使用经验者优先;

4. 精通数据仓库建模方法,对kimball维度建模理论有深入的了解;

5. 有实际数仓建设项目负责人经验者优先;

6. 熟悉Hadoop生态圈以及大数据环境的 OLAP 框架者优先。

数据仓库工程师的主要职责 篇14

1、熟悉客运专线施工质量验收暂行标准、施工技术指南及施工质量验收补充标准,参与桥梁工程施工技术创新和新技术、新设备、新工艺的推广、应用,督促落实新技术、新工艺的实施情况;负责桥梁工程科技信息收集、积累、开发、利用及科技资料的整理。

2、编制桥梁工程实施性施工组织设计。参与桥梁开工报告、竣工文件的编制工作。

3、负责桥梁工程的设计文件审核与汇总,对设计中存在的问题及时报请相关单位,相关部门,相关人员解决。

4、负责管段内桥梁工程的材料计划提报。

5、负责一般性桥梁工程施工方案的制定,并报主管领导审核。

6、参加解决桥梁工程施工中的技术问题,及时向主管领导汇报施工中遇到的技术难题,参与研究、制定解决问题的方案并及时组织实施。

7、参加工程竣工验收工作,编制施工技术总结。

数据仓库工程师的主要职责 篇15

1.参与施工交接桩、复测、设计图纸复核。对设计中存在问题及时汇报。

2.做好隧道施工中特殊过程、危险源和环境因素辩识评价,参与编制项目施组及隧道工程专项施工组织设计,制定质量安全、环保相关作业指导书、管理方案、应急予案和技术交底。

3.准确掌握隧道工程的设计文件意图、标准规范,明确施工工艺流程和创优规划,按工期要求及时提报进度安排、材料计划和技术交底。深入现场指导施工,及时处理施工中出现的技术问题。

4.做好隧道施工过程中内业资料的积累及竣工资料的编制、整理工作。

5.参与推广隧道施工中新技术,新工艺、新材料、新方法的应用和QC小组活动。

6.积极主动参与论文及技术总结的编写。按规定提供有关报表。

7.协助领导做好施工中的进度、质量、安全、环保、成本控制及管理。搞好日常检查,发现问题及时纠正预防。

数据仓库工程师的主要职责 篇16

通过海量用户交易数据挖掘用户特征,根据业务需求搭建风险识别模型;

依据支付及相关数据,对用户进行风险评级;

开发用户信用风险模型及策略。

数据仓库工程师的主要职责 篇17

1.学习并操作设备进行启动,系统安装、数据备份、恢复,维修并检测损坏的设备;

2. 收集客户需求,处理客户协调工作,进行技术分析及支持工作;

3. 确保正确使用工具和测试设备,并及时在相关的报告中汇总使用情况;

4. 符合国家和地方法规和安全标准,以及公司的技术和操作指导;

数据仓库工程师的主要职责 篇18

1.土地资源管理、地理信息系统等相关专业;

2.负责土地规划类项目的数据库建设及更新;

3.建设用地预审及报批业务;

4.土地利用总体规划传统业务(规划编制、规划调整、专项规划等)

数据仓库工程师的主要职责 篇19

职责:

1、负责项目的PC服务器软硬件巡检、故障处理、设备优化工作;

2、负责项目的存储、光纤交换机的巡检、故障处理、设备优化工作;

3、负责服务器及存储相关技术的报告及方案编写;

4、公司安排的其它工作。

任职要求:

1、2年以上经验,具备主流品牌DELLHPIBM的PC服务器硬件故障处理能力,熟悉设备巡检流程

3、具备主流品牌EMCHPIBM华为存储及光纤交换机硬件故障处理能力,熟悉设备巡检流程

4、具备VMware、KVM、XEN、HelpverV等虚拟化维护能力,能对虚拟平台进行迁移、优化等操作

5、具备WindowsLinux操作系统的巡检和故障处理能力

6、熟悉OFFICE等办公软件使用,能独立设计、编写方案和报告,熟悉文档排版能力

7、具有较强的抗压能力,较强的沟通意识、责任心强

数据仓库工程师的主要职责 篇20

1.承担智慧城市顶层设计和规划工作;

2.承担行业信息化总体规划、信息系统总体方案设计、可行性研究等工作,并进行跟踪沟通、方案宣讲、现场调研、和技术交流;

3.承担用户需求分析与解决方案的编制和设计工作;

4.承担智慧城市的数据标准/接口等的制定;