天天范文

位置:首页 > 文秘 > 岗位职责

数据仓库工程师岗位的基本职责(通用12篇)

数据仓库工程师岗位的基本职责 篇1

职责:

数据仓库工程师岗位的基本职责(通用12篇)

1、负责大数据开发工作;

2、负责公司数据服务接口平台的建设;

3、参与打造数据中台内容的规划、设计、开发工作,实现高质量数据的互通与共享; 4、参与数据模型体系构建及数据主题设计和开发,搭建离线、近线、实时数据公共层;

5、参与构建非结构化数据体系,进行网络数据爬取,数据清洗,特征挖掘,统计分析,并结合应用场景实现落地。

岗位要求:

1、本科以上学历,计算机、数学、统计学等相关专业;

2、熟悉数据集成、数据仓库、数据分析等全流程数据处理,具备开源或阿里大数据平台实战经验,如hive/spark/Maxcompute;

3、熟悉数据治理体系,包括数据模型、数据标准、数据质量等;

4、熟悉常见的离线、实时、流式数据应用场景及架构;

5、至少掌握一门开发语言,Java/Python;

6、具备良好的沟通能力和设计文档编写能力;

7、懂数据挖掘、知识图谱的构建者优先。

数据仓库工程师岗位的基本职责 篇2

职责:

1.参与打造数据中心内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;

2.参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据仓库;

3.参与数据产品与应用的数据研发;

4.负责日常应用系统监控,发现异常问题及时分发,并跟进后续处理;

5.编写Python程序,或ETL技术完成日常数据抽取和整理任务,可独立进行数据分析;

岗位要求:

1.熟悉ETL开发、数据仓库设计流程,熟悉Oracle, MS SQL Server 等主流数据库,表结构设计,存储过程编写;

2.熟练掌握常用Linux命令,具备shell编程能力,熟练掌握Python编程语言

3.具有较强的语言表达和沟通能力,良好的团队合作精神

4.逻辑思维能力强,对数据敏感,有较强学习能力和创新思维;

5.具有高度的责任感和敬业精神,能够承受较大的工作压力

数据仓库工程师岗位的基本职责 篇3

职责:

1、负责金融行业数据仓库开发工作

2、负责与多个应用对接的接口和框架设计

3、充分理解产品需求,能够结合需求进行任务设计,完成详细设计文档的编写。

岗位要求:

1. 从事数据仓库及商业智能(BI)领域工作至少3年以上,熟悉数据仓库模型设计方法论,并有实际的模型设计经验,有大型数仓建设经验优先;

2. 精通数据仓库领域知识和管理技能,包括但不局限于:元数据管理、数据质量、主数据管理、性能调优等;

3.有主流商业/开源ETL工具(Informatica、Datastage、Kettle等)使用经验者优先;

4. 熟悉Hadoop生态相关技术并有相关实践经验,包括Hdfs、Map-Reduce、Hive、Hbase、Spark等,具备海量数据加工处理(ETL)相关经验;

5. 熟练使用java语言,对微服务架构有一定了解;

6. 具有较强的团队意识与良好的沟通能力及高度的工作责任感,热爱技术,有很强的钻研能力,乐于接受有挑战性的任务;

7、有团队管理经验优先。

数据仓库工程师岗位的基本职责 篇4

职责:

1、深入理解业务,了解需求和痛点,为风控和业务部门提供数据支持;

2、针对业务需求,参与数据仓库需求分析,制定ETL相关设计方案和开发计划;

3、负责数据同步,数据整合清洗,以及数据质量的治理;

4、数据仓库模型设计,分层体系构建,元数据管理监控以及权限控制。

任职资格:

1、重点院校统招本科及以上学历,计算机基础扎实;

2、具有2年以上金融贷款类业务经验;

3、熟悉数据仓库理论和数据库建模,有redshift和AWS经验优先;

4、精通pgsql/mysql等数据库,精通sql语言,具有数据库优化/sql优化相关经验;

5、熟练掌握python/shell语言。

数据仓库工程师岗位的基本职责 篇5

职责:

负责大数据数据仓库的建设,根据数据仓库及BI项目的需求,制定相关的设计方案和开发计划;

参与数据的分析处理和数据统计内容的架构设计与研发;

组织项目组成员完成数据仓库的开发和运维等;

负责公司数据规范、数据标准、数据指标梳理与定义;

协助技术人员完成数据管控平台的搭建,完成数据规范管理体系到信息平台的落地实施;

组织开展对数据平台各模块的内容进行培训;

制定和审计业务系统数据数据库模型设计规范;

任职资格:

有一定的互联网数据仓库经验;

深入了解 Hadoop 生态系统,熟悉HBase、Hive、Storm、spark等大数据开发工具中一种或几种;

具备大型数据仓库架构设计、模型设计、ETL 设计的相关经验;

关系型数据库原理基础扎实,熟悉 MySQL/PostgreSQL等的使用和调优;

有独立设计数据仓库经验、熟悉数据仓库相关理论知识者优先;

数据仓库工程师岗位的基本职责 篇6

- 设计,开发分布式存储系统中本地存储模块,撰写设计文档,并对其他同事的代码进行审查;

- 深度挖掘 CPU 与闪存设备的性能,将本地存储模块的响应速度和并发能力的提升到极致;

- 通过优化数据结构和算法,提升本地存储模块的缓存,压缩,去重等功能的效率;

- 通过设计复杂的测试用例,完成本地存储在故障场景下的可靠性验证;

- 与测试和产品部门密切配合,不断提升产品质量以及产品文档化程度。

数据仓库工程师岗位的基本职责 篇7

1、主要负责平台的WEB全栈(前端)开发工作;

2、运用前端技术,实现体验的良好传达;

3、根据设计需求,分析给出前台技术解决方案;

4、负责JavaScript脚本开发;

5、负责具有前瞻性的WEB开发技术的研究和应用;

数据仓库工程师岗位的基本职责 篇8

1负责工厂相关食品的品质控制和技术管理;

2负责食品加工工艺的建设,并对整个生产过程中出现的质量问题提出建设性意见;

3负责质检部相关管理工作;

4对提高和稳定质量提出建设性意见;

5其他相关事务。

数据仓库工程师岗位的基本职责 篇9

职责:

(1)分析需求,完成相关数据抽取、数据清洗、数据探索、数据建模分析等工作;

(2)按要求完成数据分析报告、建模报告、数据报表等;

(3)对数据进行深度挖掘和建模,做运营和用户等各方面分析,深度挖掘运营优化和用户行为特征等,推动分析问题的解决,为业务决策提供日常支持;

(4)与业务部门和技术部门对接,完成设计,编写,维护和完善公司业务相关的算法。

(5)参与项目成果汇编,对相关结果进行解读和汇报。

任职要求:

(1)大专以上学历,统计、数学、计算机、软件专业优先;

(2)熟练使用Python,Mysql语言,具有一定的工程能力,完善的文档和注释习惯。熟悉JupyterLab远程代码编写环境,Linux常用命令。会使用R,Java,Scala等语言更佳。

(3)熟悉数据分析过程,能够完成数据抽取、数据处理、数据建模、数据分析报告等任务;

(4)一定的数据挖掘/机器学习理论和技术基础,了解常用的数据挖掘算法如:聚类模型、线性回归、逻辑回归、分类模型、决策树模型等。

数据仓库工程师岗位的基本职责 篇10

职责:

1、HPE、H3C、华为等服务器硬件安装和维护;

2、熟悉HPE、EMC、华为等各品牌存储,能独立进行LUN映射及存储故障解决;

3、熟悉服务器常用的RAID、SCSI技术;

4、对WINDOWS、LINUX等操作系统安装、排错;

5、协助业务部门做产品升级及方案制订;

任职资格:

1、大专及以上学历,计算机专业;

2、服务器相关行业具有三年及以上工作经验,具有独立服务器硬件故障判断能力,对故障进行独立解决,具有丰富的硬件安装和维护经验;

3、熟悉VMWARE、华为、H3C等虚拟化技术及虚拟化软件操作;

4、具有一定的网络规划及实施能力,具备网络基本知识,可排查常见的网络故障;

5、具备数据库维护经验更佳;

数据仓库工程师岗位的基本职责 篇11

1、调整和优化中试生产工艺,确保生产工艺的稳定。

2、负责中试工艺规程、批记录、部门管理性文件起草、修订及培训。

3、负责中试工艺验证文件起草、修订、培训、执行。

4、负责中试工艺相关CR、偏差、CAPA等起草、跟踪。

5、批指令单、限额领料/退库单的准备,批记录的领用、审核和上交。

6、检查车间SOP文件,若发现存在问题,及时发送至相应人员对文件进行更新。

7、负责车间GMP检查,确保现场合规操作,符合GMP要求。

8、遵守公司规章制度,严格按SOP操作。

9、领导安排的其它工作。

数据仓库工程师岗位的基本职责 篇12

职责:

1. 负责数据ETL开发,根据数仓层级结构及主题域划分,规范清洗代码,提供准确数据

2. 负责数据质量治理,发现异常业务逻辑或数据质量问题,推动业务优化及改善。

3. 负责数据开发需求评审、结合数据分析体系制定ETL清洗方案;

任职要求:

1. 一年以上数据仓库ETL设计及开发经验,有BI经验者优先

2. 熟练使用 SQL,熟悉HQL常用内部函数,有一定的 HQL性能调优经验优先

3. 具备数据仓库架构设计、模型设计、ETL设计,调度的相关经验优先;

4. 对数据敏感,有较强数据分析和解决问题能力;

5. 积极沟通,主动了解业务需求,愿意尝试新的技术领域。