数据仓库工程师的主要职责(通用20篇)
数据仓库工程师的主要职责 篇1
职责:
1.参与传统数仓和大数据数仓日常开发工作;
2.参与大数据仓库设计、规划和开发;
3.参与日常工作的优化,提出建设性意见;
4.负责管理项目,负责板块内的资源协调、进度管理、交付管理;
5.参与数据仓库、数据集市体系架构的设计、规划与开发, 参与大数据、ETL开发,sql性能优化。
任职要求:
1.全日制本科,计算机等相关专业。3年以上数仓开发经验,有银行、金融从业经验者优先。
2.2年以上项目管理经验,具备PMP证书优先.
3.熟悉oracle/hive/spark,熟悉数据处理和性能优化,有UDF自定义函数、MR开发经验优先;
4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一种脚本语言。
数据仓库工程师的主要职责 篇2
职责:
1、负责ETL开发、作业调度和数据平台建设
2、负责数据仓库的设计、开发和优化,建立结构层次合理、灵活可扩展的数据仓库
3、设计并研发BI分析相关的数据产品
4、结合对数据的理解和业务需求,对数据进行整理、分析和挖掘
任职要求
1、计算机相关专业本科及以上学历,有2年以上数据仓库、ETL工作经验
2、有海量数据处理、ETL及作业调度优化、数据仓库建模等经验
3、熟悉Linux、SQL、Python或Java、Shell脚本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大数据技术使用经验
4、逻辑清晰,对数据敏感,深入了解业务,具备自己独特的想法并能提出合理的建议
数据仓库工程师的主要职责 篇3
职责:
1、负责制定数据仓库平台技术体系架构、数据架构及规范;
2、负责设计和实施公司业务数据的实时/离线数据ETL架构方案;
3、负责调度架构设计与开发;
4、负责数据仓库平台运维以及日常数据运营等管理;
5、负责关键技术攻关;
任职要求:
1、5年以上数据仓库项目开发经验,参与过数据仓库架构设计,对ETL开发流程、调度架构有深入理解;
2、精通mysql、 oralce 、greenplum等至少一种数据库,丰富的SQL性能调优经验;
3、熟练使用Java、Shell、Python、Perl等至少一种脚本语言;
4、熟悉数据治理理论,数据质量、元数据管理流程和方法;
5、了解Hadoop/Hive/HBase/Spark/Storm等技术及其生态圈;
6、沟通能力好、责任心强,具有良好的团队合作精神和敬业精神;
数据仓库工程师的主要职责 篇4
职责:
1.负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发,创建数据仓库、数据集市
2.熟悉数据仓库领域知识,从架构和技术层面参与建设数据仓库,包括元数据管理、数据质量、主数据管理、性能优化和调优。
3.负责数据仓库平台相关数据管理工作,如研发规范、质量规范、保障规范的制定与推动实施落地
4.配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片
任职资格:
1. 本科或硕士以上学历,计算机工程相关专业
2. 熟悉大数据相关技术能力(Hadoop/MapReduce/Hive/Hbase等),熟练进行数仓Hive建设和软件架构,较强的数据抽象能力
3.精通SQL,具备海量数据处理和Hive/Spark性能调优经验,3年以上大规模分布式数据仓库建设经验
4.熟练使用Druid/Kylin之一进行数据挖掘模型设计,熟练掌握Java/Scala之一,具备良好的coding素养和习惯,了解脚本语言,如Python、Shell等
5.强烈的责任心,工作态度积极主动,有较好的团队精神和沟通能力,工作细致认真
数据仓库工程师的主要职责 篇5
职责:
1.建设公司级数据仓库,并根据业务变化持续迭代和优化;
2.对业务数据进行梳理和抽象,建设数据仓库的数据模型;
3.对业务数据进行采集、清洗、转换和存储;
4.支撑BI、用户数据、用户运营、用户画像、房源数据、推荐系统等核心数据平台产品;
5.研究大数据前沿技术,不断持续优化大数据平台,为业务提供价值。
任职资格:
1.本科及以上计算机、统计学、数据库、机器学习等相关专业,5年以上数据相关工作;
2.对业务数据有敏锐的理解能力,并能快速梳理和分析业务数据;
3.熟练掌握SQL语言、熟悉MySQL,对Shell、Java(主要开发语言)、Python编程非常熟悉;
4.熟悉常用的ETL技术和原则;精通数据仓库数据库设计规范和实操;
5.熟悉Hadoop、Hive、HBase、Spark、Storm等开源平台者优先;
6.具有较强的分析和解决问题的能力,良好的学习能力和团队合作精神,追求价值实现,认同目标管理和敏捷。
数据仓库工程师的主要职责 篇6
职责:
1、根据业务部门需求进行数据的处理、分析、导出和日常维护;
2、结合公司的业务,进行一些自动化数据处理脚本的开发;
3、完成相关文档的编写。
职位要求:
1、熟练掌握SQL语句,能够运用SQL进行各种数据处理;
2. 熟悉Postgresql、Mysql、Oracle、HIVE 或其他数据库中的一项或几项;
3、熟悉shell或python编程,能够用脚本进行数据自动化数据处理;
4、具有良好的沟通能力和业务理解能力;
5、有过kettle,powercenter等ETL经验加分;
6、有数据挖掘分析能力加分。
数据仓库工程师的主要职责 篇7
职责:
1.根据业务需求,设计数据库结构,改进数据库架构,实施数据库分布式、集群、负载均衡方案;
2.负责数据库服务可用性监控、容量规划、架构设计和扩容实施;
3.定期检查并优化数据库平台性能;
4.分析数据库系统性能瓶颈,提出优化建议和方案。
任职资格:
1.精通SQL Server、MySQL等数据库;
2.精通SQL脚本的编写,有丰富的数据库管理、运维调优经验;
3.熟练使用数据库管理、分析、设计工具;
4.具备优秀的数据库架构设计能力,熟悉数据库性能优化;
5.快速处理系统突发事件的能力,较强的学习和创新能力。
数据仓库工程师的主要职责 篇8
职责:
1、 负责组织客户需求调研,收集、分析、整理项目需求,撰写需求规格说明书,并与客户达成一致;
2、 根据业务需求进行功能需求分析,制作页面原型,组织需求论证说明,编写需求分析说明书;
3、 给设计开发人员、测试人员和实施人员培训需求,跟进需求在各个环节的落实,验证系统的各项产出物与需求一致;
4、 对需求变更进行影响分析;跟进批准后的需求变更在各个环节的落实;
5、 协助业务部门进行项目应用推进工作,负责用户手册、产品功能说明等相关资料的编写。
职位要求:
1、 本科及以上学历,计算机相关专业优先,具有保险行业相关知识及从业经历者优先;
2、 熟练使用word、excel等办公软件;熟悉UML、visio、Axure等建模工具者优先;
3、 思维清晰敏捷,具有较强的逻辑分析能力;
4、 有较强的理解、沟通能力,表达能力和文档编写能力。
数据仓库工程师的主要职责 篇9
职责:
1. 负责推荐引擎,统计学模型,以及大数据产品和服务的核心模型与算法的创新研究和实现;
2. 实现个性化推荐数据平台的实时处理性能优化;
3.参与大数据预测模型的产品和服务设计与建模;
4.负责用户画像在产品运营/广告/大数据产品等场景的应用。
任职资格:
1.本科及以上学历,四年工作经验,计算机、统计学等相关理科专业,具有深厚的统计学.数学.人工智能和数据挖掘知识基础;
2.熟悉机器学习相关算法,有较丰富的机器学习落地经验,有tensorflow,spark,sklearn等框架使用经验者优先;
3.至少熟练使用一门编程语言(python/java/scala等),熟悉数据库操作,有hadoop、hive等分布式大数据工具使用经验者优先;
4.有较强的数据分析能力,逻辑思考,问题定位解决能力;
数据仓库工程师的主要职责 篇10
职责:
参与数据仓库模型设计和开发工作;
负责建立数据分析模型,设计前端报表,数据可视化开发;
负责数据平台项目数据仓库的管理、性能监控及优化等;
负责数据平台的日常运维及优化
职位要求:
大学本科以上学历,3年以上工作经验,包含2年以上数据仓库开发工作经验;
精通数据仓库建设,熟悉常用的模型设计方法;
对数据可视化有丰富的经验,熟悉常用的数据分析方法;熟悉至少一种报表工具开发;
精通数据仓库领域知识和技能,包括元数据管理、主数据管理、数据质量管理等;
熟练使用ETL工具如Kettle、SSIS等进行数据清洗、转换、整合;
熟悉至少两种关系型数据库,如Oracle、SQL Server、PostgreSQL、MySql等主流数据库,精通SQL Server开发和运维者优先考虑;
有完整的数据平台建设经验者优先;
熟悉使用Linux系统及Shell脚本开发,熟练开发Python程序者优先;
熟悉大数据开发框架者优先,如Spark,Flink等;
对新技术好奇爱学习,主动性和责任心强,对数据敏感,逻辑性强,有良好的抗压能力;
团队协作能力强
数据仓库工程师的主要职责 篇11
1、通信、电磁场与微波技术等相关专业本科以上学历;
2、熟悉无线通信原理、电磁场、微波理论等基础电路知识;
3、熟悉使用频谱分析仪和网络分析仪,以及常用综测仪等射频设备,工作原理和对应技术指标;
4、熟悉应用RF电路仿真软件;
5、负责射频测试、测试方案制定和实施及测试环境搭建;
6、负责产品EMI、EMC、无线认证的射频部分的准备,以及相关射频问题的解决;
7、对蓝牙,Wifi协议的物理层指标及测试熟悉的优先。
8、对待工作认真负责、责任心强,有良好的团队合作精神、沟通能力,能够承受一定的工作压力。
数据仓库工程师的主要职责 篇12
职责:
1、对海量业务数据进行整合、分析、挖掘,并提供相关数据服务;
2、研发与设计大数据挖掘算法,搭建数据平台;
3、应用数据挖掘工具或者开发新算法,参与项目开发,解决产品需求;
4、通过对数据的敏锐洞察,深入挖掘产品潜在价值和客户需求,进而提供更有价值的产品。
岗位要求:
1、统计学、应用数学、计算机等相关专业,统招本科及以上学历;
2、一年以上数据挖掘经验,熟练掌握多种统计和挖掘方法,熟练使用SPSS、SAS等相关数据分析软件;
3、较强的数据敏感度,逻辑分析能力和文档撰写能力;
4、良好的逻辑思维能力,优秀的分析和解决问题的能力,对挑战性问题充满激情。
数据仓库工程师的主要职责 篇13
职责:
1. 负责公司数据仓库/数据集市模型设计,优化现有数据仓库模型;
2. 参与数据仓库支持工具设计;
3. 参与数据仓库需求定义;
4. 参与数据治理、元数据建设、优化数据开发流程。
任职资格:
1. 计算机、数学、统计或相关专业本科及以上学历,数据挖掘/平台和BI分析领域优先;
2. 3年及以上数据仓库设计开发经验;
3. 熟悉HIVE,有HQL使用经验者优先;
4. 精通数据仓库建模方法,对kimball维度建模理论有深入的了解;
5. 有实际数仓建设项目负责人经验者优先;
6. 熟悉Hadoop生态圈以及大数据环境的 OLAP 框架者优先。
数据仓库工程师的主要职责 篇14
1、熟悉客运专线施工质量验收暂行标准、施工技术指南及施工质量验收补充标准,参与桥梁工程施工技术创新和新技术、新设备、新工艺的推广、应用,督促落实新技术、新工艺的实施情况;负责桥梁工程科技信息收集、积累、开发、利用及科技资料的整理。
2、编制桥梁工程实施性施工组织设计。参与桥梁开工报告、竣工文件的编制工作。
3、负责桥梁工程的设计文件审核与汇总,对设计中存在的问题及时报请相关单位,相关部门,相关人员解决。
4、负责管段内桥梁工程的材料计划提报。
5、负责一般性桥梁工程施工方案的制定,并报主管领导审核。
6、参加解决桥梁工程施工中的技术问题,及时向主管领导汇报施工中遇到的技术难题,参与研究、制定解决问题的方案并及时组织实施。
7、参加工程竣工验收工作,编制施工技术总结。
数据仓库工程师的主要职责 篇15
1.参与施工交接桩、复测、设计图纸复核。对设计中存在问题及时汇报。
2.做好隧道施工中特殊过程、危险源和环境因素辩识评价,参与编制项目施组及隧道工程专项施工组织设计,制定质量安全、环保相关作业指导书、管理方案、应急予案和技术交底。
3.准确掌握隧道工程的设计文件意图、标准规范,明确施工工艺流程和创优规划,按工期要求及时提报进度安排、材料计划和技术交底。深入现场指导施工,及时处理施工中出现的技术问题。
4.做好隧道施工过程中内业资料的积累及竣工资料的编制、整理工作。
5.参与推广隧道施工中新技术,新工艺、新材料、新方法的应用和QC小组活动。
6.积极主动参与论文及技术总结的编写。按规定提供有关报表。
7.协助领导做好施工中的进度、质量、安全、环保、成本控制及管理。搞好日常检查,发现问题及时纠正预防。
数据仓库工程师的主要职责 篇16
通过海量用户交易数据挖掘用户特征,根据业务需求搭建风险识别模型;
依据支付及相关数据,对用户进行风险评级;
开发用户信用风险模型及策略。
数据仓库工程师的主要职责 篇17
1.学习并操作设备进行启动,系统安装、数据备份、恢复,维修并检测损坏的设备;
2. 收集客户需求,处理客户协调工作,进行技术分析及支持工作;
3. 确保正确使用工具和测试设备,并及时在相关的报告中汇总使用情况;
4. 符合国家和地方法规和安全标准,以及公司的技术和操作指导;
数据仓库工程师的主要职责 篇18
1.土地资源管理、地理信息系统等相关专业;
2.负责土地规划类项目的数据库建设及更新;
3.建设用地预审及报批业务;
4.土地利用总体规划传统业务(规划编制、规划调整、专项规划等)
数据仓库工程师的主要职责 篇19
职责:
1、负责项目的PC服务器软硬件巡检、故障处理、设备优化工作;
2、负责项目的存储、光纤交换机的巡检、故障处理、设备优化工作;
3、负责服务器及存储相关技术的报告及方案编写;
4、公司安排的其它工作。
任职要求:
1、2年以上经验,具备主流品牌DELLHPIBM的PC服务器硬件故障处理能力,熟悉设备巡检流程
3、具备主流品牌EMCHPIBM华为存储及光纤交换机硬件故障处理能力,熟悉设备巡检流程
4、具备VMware、KVM、XEN、HelpverV等虚拟化维护能力,能对虚拟平台进行迁移、优化等操作
5、具备WindowsLinux操作系统的巡检和故障处理能力
6、熟悉OFFICE等办公软件使用,能独立设计、编写方案和报告,熟悉文档排版能力
7、具有较强的抗压能力,较强的沟通意识、责任心强
数据仓库工程师的主要职责 篇20
1.承担智慧城市顶层设计和规划工作;
2.承担行业信息化总体规划、信息系统总体方案设计、可行性研究等工作,并进行跟踪沟通、方案宣讲、现场调研、和技术交流;
3.承担用户需求分析与解决方案的编制和设计工作;
4.承担智慧城市的数据标准/接口等的制定;
-
车间统计员岗位职责十篇
车间统计员岗位职责篇1贯彻执行上级过程装备管理有关规定,参与制定我公司过程装备管理制度;负责全公司过程装备大、中修理的组织、协调工作。负责全公司过程装备的自制、安装、调试、验收等工作。组织、实施年度过程装备技术更新、装备改造及大、中修理计划。组...
-
综合管理岗位职责十篇
综合管理岗位职责篇1岗位职责:1、按照公司发展战略,制订公司相关管理规章制度,加强执行与监督,促进管理规范化。2、根据公司经营目标,追踪业务部门的工作目标进度达成情况,对董事长、总经理下达的工作任务及时督办。3、负责公司外部来访接待、政府部门对接及相...
-
ktv店长的岗位职责十篇
ktv店长的岗位职责篇11、维持店内良好的销售业绩;2、严格控制店内的损耗;3、维持店内整齐生动的文化陈列;4、合理控制人事成本,保持员工工作的.高效率;5、维持会所良好的顾客服务;6、加强防火、防盗、防工伤、安全保卫的工作;7、审核店内预算和支出;ktv店长的...
-
安装部岗位职责(精选7篇)
安装部岗位职责篇1一、安装事业部经理岗位职责1、主持部门全面工作。2、落实集团交办的工作。3、市场拓展。4、分管水电消防项目、暖通项目。二、安装事业部副经理岗位职责1、配合经理日常工作。2、汇总各项目资金使用及计划、负责各项目资金回笼。3、市场拓展...