數(shù)據(jù)倉庫工程師崗位職責(精選28篇)
數(shù)據(jù)倉庫工程師崗位職責 篇1
1、利用數(shù)據(jù)倉庫建模及相關技術,參與數(shù)據(jù)倉庫模型的設計。
2、參與企業(yè)級大數(shù)據(jù)倉庫項目的落地開發(fā)。
3、參與企業(yè)級主數(shù)據(jù)管理項目的實施落地。
4、利用hadoop生態(tài)相關技術,負責大數(shù)據(jù)中心的'數(shù)據(jù)處理流程,包括數(shù)據(jù)清洗、融合、統(tǒng)計、挖掘等。
數(shù)據(jù)倉庫工程師崗位職責 篇2
1、負責大數(shù)據(jù)平臺搭建及數(shù)據(jù)倉庫建模;
2、負責數(shù)據(jù)庫管理及數(shù)據(jù)優(yōu)化;
3、利用大數(shù)據(jù)相關技術實現(xiàn)對數(shù)據(jù)的分析、挖掘、處理、及數(shù)據(jù)可視化等相關工作;
4、維護大數(shù)據(jù)平臺并能解決相關問題,保障平臺正常運行;
5、學習和研究新技術以滿足系統(tǒng)需求。
數(shù)據(jù)倉庫工程師崗位職責 篇3
1、學習并理解勵步云學業(yè)務及系統(tǒng),根據(jù)業(yè)務部門需求對公司各項業(yè)務數(shù)據(jù)進行統(tǒng)計分析,出具相關報表;
2、進行數(shù)據(jù)倉庫設計、模型開發(fā)、數(shù)據(jù)質(zhì)量校驗,報表開發(fā);
3、進行數(shù)據(jù)差異分析,找出統(tǒng)計口徑、數(shù)據(jù)錯誤、操作錯誤等造成的差異原因;
4、進行數(shù)據(jù)查詢優(yōu)化,解決跑數(shù)性能問題。
數(shù)據(jù)倉庫工程師崗位職責 篇4
1、負責數(shù)據(jù)倉庫(HADOOP)ETL工作以及數(shù)據(jù)運營;
2、負責數(shù)據(jù)產(chǎn)品的業(yè)務需求梳理、數(shù)據(jù)開發(fā)以及維護;
3、負責數(shù)據(jù)倉庫的'維度建模以及設計相關的腳本調(diào)度;
4、負責維度模型的數(shù)據(jù)處理的腳本開發(fā),程序開發(fā)以及接口對接。
數(shù)據(jù)倉庫工程師崗位職責 篇5
1、負責產(chǎn)品數(shù)據(jù)庫研發(fā),參與系統(tǒng)整體架構設計;
2、根據(jù)產(chǎn)品目標負責相關業(yè)務的數(shù)據(jù)分析、建模、設計評審,跟進產(chǎn)品過程中數(shù)據(jù)庫設計;
3、負責產(chǎn)品模塊的數(shù)據(jù)層分析、設計、編碼、測試;
4、能夠獨立完成產(chǎn)品數(shù)據(jù)層開發(fā)任務,負責各類數(shù)據(jù)接口開發(fā);
5、負責各類型數(shù)據(jù)操作處理和兼容問題;數(shù)據(jù)庫復雜SQL開發(fā)和調(diào)優(yōu)。
數(shù)據(jù)倉庫工程師崗位職責 篇6
1.負責公司產(chǎn)品的現(xiàn)場安裝,部署,優(yōu)化;
2.負責數(shù)據(jù)庫集群的部署和配置升級;
3.定期進行性能檢測、分析、調(diào)優(yōu),數(shù)據(jù)備份、遷移,保障數(shù)據(jù)庫系統(tǒng)高效安全及穩(wěn)定運行;
4.負責排查數(shù)據(jù)庫故障,分析和解決疑難問題,提出預防方案。數(shù)據(jù)庫故障處理與災難恢復;
5.對開發(fā)工程師的SQL語句進行審核,SQL優(yōu)化,及時發(fā)現(xiàn)并處理高負載SQL;
6.負責客戶單位軟件系統(tǒng)的管理和日常維護,;
數(shù)據(jù)倉庫工程師崗位職責 篇7
1.負責企業(yè)級數(shù)據(jù)倉庫設計、規(guī)劃、建設、實施、管理,數(shù)據(jù)倉庫架構設計與數(shù)據(jù)開發(fā),創(chuàng)建數(shù)據(jù)倉庫、數(shù)據(jù)集市
2.熟悉數(shù)據(jù)倉庫領域知識,從架構和技術層面參與建設數(shù)據(jù)倉庫,包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理、性能優(yōu)化和調(diào)優(yōu)。
3.負責數(shù)據(jù)倉庫平臺相關數(shù)據(jù)管理工作,如研發(fā)規(guī)范、質(zhì)量規(guī)范、保障規(guī)范的制定與推動實施落地
4.配合和協(xié)助數(shù)據(jù)分析/數(shù)據(jù)挖掘形成底層/中間層的業(yè)務邏輯切片
數(shù)據(jù)倉庫工程師崗位職責 篇8
1、針對具體的業(yè)務場景需求、定義數(shù)據(jù)分析及挖掘問題;
2、使用統(tǒng)計學分析方法、挖掘算法、構建有效且通用的數(shù)據(jù)分析模型,對數(shù)據(jù)挖掘方案進行驗證、開發(fā)、改進和優(yōu)化,實現(xiàn)數(shù)據(jù)挖掘的功能應用;
3、搭建高擴展高性能的數(shù)據(jù)分析模型庫,作為數(shù)據(jù)分析團隊的基礎工具;
4、完成領導安排的其他工作。
數(shù)據(jù)倉庫工程師崗位職責 篇9
1.負責數(shù)據(jù)分析,數(shù)據(jù)挖掘相關的算法、應用的設計與開發(fā);
2.負責公司產(chǎn)品各階段數(shù)據(jù)的整理、分析、挖掘及提交數(shù)據(jù)報告,重點對車輛行為數(shù)據(jù)進行分析和挖掘,利用數(shù)據(jù)分析結論推動業(yè)務產(chǎn)品的優(yōu)化;
3.對海量業(yè)務數(shù)據(jù)進行整合、分析挖掘,挖掘產(chǎn)品以及用戶潛在信息,為營銷、運營及決策提供業(yè)務分析及數(shù)據(jù)支持。
數(shù)據(jù)倉庫工程師崗位職責 篇10
職責描述:
1、負責poi數(shù)據(jù)的屬性分析、處理和關系挖掘,構建地圖領域的知識圖譜。
2、負責nlp、數(shù)據(jù)挖掘、深度學習等方向的前沿算法研發(fā),并結合地圖場景優(yōu)化。
任職要求:
1、計算機、數(shù)學或相關專業(yè),三年以上工作經(jīng)驗。
2、熟悉數(shù)據(jù)結構和算法設計,熟練使用c++、python。
3、熟悉nlp、機器學習、數(shù)據(jù)挖掘領域的常用算法與工具,對前沿技術保持熱情。
4、良好的.分析和解決問題能力,能獨立承擔研發(fā)工作。
5、有地圖數(shù)據(jù)優(yōu)化工作背景優(yōu)先。
團隊介紹
主要支持北京崗位
對地圖(無人駕駛)、廣告(廣點通)、快報感興趣的歡迎勾搭
數(shù)據(jù)倉庫工程師崗位職責 篇11
相關文件的定義和編寫
2.生產(chǎn)良率和拋料率的監(jiān)控和改善
3.生產(chǎn)異常的分析解決
4.技術人員的班別安排
5.設備保養(yǎng)的'安排和作業(yè)follow
6.設備故障維修&coordinator
7.配合新產(chǎn)品導入或者其他需求的試產(chǎn)驗證
8.主管交付的其他事項
數(shù)據(jù)倉庫工程師崗位職責 篇12
1、負責數(shù)據(jù)接入、數(shù)據(jù)提取、數(shù)據(jù)清洗、底層重構、業(yè)務主題建模等工作;
2、參與數(shù)據(jù)集市開發(fā),用戶畫像標簽開發(fā);
3、負責接口平臺、自助分析平臺等系統(tǒng)的建設和維護;
4、針對具體大數(shù)據(jù)應用場景,提供有效解決方案,并針對具體模型落地實施;
數(shù)據(jù)倉庫工程師崗位職責 篇13
崗位職責:
1.負責銜接大數(shù)據(jù)平臺與前端的數(shù)據(jù)傳輸;
2.根據(jù)客戶需求設計大數(shù)據(jù)業(yè)務平臺架構、配置組件;
3.負責后臺服務的調(diào)試與測試,梳理接口文檔、開發(fā)文檔與測試文檔。
任職資格:
1.碩士以上,或較為優(yōu)秀的本科生;后端開發(fā)經(jīng)驗2年以上;
2.有基于b/s架構進行實際業(yè)務平臺開發(fā)的經(jīng)驗,有to b軟件開發(fā)經(jīng)驗更佳;
3.通用軟件開發(fā)基礎、軟件架構基礎、scrum敏捷開發(fā)方法,有大數(shù)據(jù)基礎更佳;
4.精通java或python語言,有rcp框架經(jīng)驗更佳;熟練掌握mybatis、springcloud / springboot、node.js等框架,精通sql技術;了解以太網(wǎng)通信協(xié)議,熟悉websocket技術。熟練使用git,svn等工具;
5.學習能力強,勇于挑戰(zhàn),代碼質(zhì)量意識強,篤信“工程即魔法”。
數(shù)據(jù)倉庫工程師崗位職責 篇14
1.數(shù)據(jù)庫軟件安裝、系統(tǒng)搭建、測試環(huán)境同步數(shù)據(jù)等;
2.數(shù)據(jù)庫日常檢查及維護,并形成文檔登記歸檔;
3.數(shù)據(jù)庫故障排除與應急處理;
4.數(shù)據(jù)庫性能分析及優(yōu)化;
5.為各應用部門提供技術支持。
數(shù)據(jù)倉庫工程師崗位職責 篇15
1、針對海量用戶行為數(shù)據(jù)進行挖掘和建模,深入挖掘數(shù)據(jù)的業(yè)務價值。研究機器學習或統(tǒng)計學習領域的前沿技術,并能活學活用到項目中。
2、基于對汽車廣告投放業(yè)務及用戶的理解,參與精準營銷、個性化推薦等模型建設和領域研究,提升轉(zhuǎn)化率等業(yè)務指標。
3、根據(jù)業(yè)務需要采集相關數(shù)據(jù),對原始數(shù)據(jù)進行ETL和歸類整理,并實現(xiàn)流程自動化。
4、其他大數(shù)據(jù)處理及項目開發(fā)工作等。
數(shù)據(jù)倉庫工程師崗位職責 篇16
1、 日常數(shù)據(jù)庫的基本安裝,維護,升級,監(jiān)控的;
2、 配合研發(fā)部門進行數(shù)據(jù)庫設計支持,協(xié)助開發(fā)、設計和進行SQL語言優(yōu)化;
3、 配合相關部門數(shù)據(jù)庫相關的'任務,比如數(shù)據(jù)導入導出,SQL的編寫;
4、 數(shù)據(jù)的安全防范,比如備份,容災等;
5、 定期數(shù)據(jù)庫巡檢、數(shù)檢查、狀態(tài)分析、優(yōu)化運行瓶頸及故障診斷排除;
6、 協(xié)助數(shù)據(jù)庫DBA完成數(shù)據(jù)庫架構設計,安全性、可用性、高性能方案的實施。
數(shù)據(jù)倉庫工程師崗位職責 篇17
1、維護數(shù)據(jù)庫穩(wěn)定運行,持續(xù)發(fā)現(xiàn)和解決潛在的問題;
2、負責數(shù)據(jù)庫的性能優(yōu)化,使用新技術和新架構滿足日益增長的業(yè)務需求;
3、負責數(shù)據(jù)庫的監(jiān)控系統(tǒng)設計,為開發(fā)團隊提供平臺支持;
4、負責數(shù)據(jù)庫的運維方面的相關工作,包括數(shù)據(jù)庫的安裝部署、壓力測試、備份恢復、知識庫管理等
5、負責數(shù)據(jù)庫進行容量規(guī)劃、架構設計,提高業(yè)務高可用性和容災能力;
6、負責數(shù)據(jù)庫相關工作的整體規(guī)劃,提供決策建議。
數(shù)據(jù)倉庫工程師崗位職責 篇18
職責描述:
1、負責文本數(shù)據(jù)處理,如格式轉(zhuǎn)換、分詞處理、實體抽取、專業(yè)詞典整理等;
2、自然語言處理相關工具開發(fā);
3、協(xié)助訓練nlp模型。
任職要求:
1、計算機相關專業(yè)(本科2年以上);
2、精通c/c++或java,熟悉python、bash?shell等腳本語言;
3、熟悉正則表達式,了解常用分類、聚類算法及相應工具;
4、熟悉使用基本分類、聚類算法及相應工具;
5、具備nlp相關工作(特別是數(shù)據(jù)處理與分析)經(jīng)驗,了解nlp基本知識;
6、其他:耐心、細致;較強的邏輯思維能力;性格踏實穩(wěn)定,抗壓能力強。
數(shù)據(jù)倉庫工程師崗位職責 篇19
1、對海量業(yè)務數(shù)據(jù)進行分析,并利用算法挖掘用戶行為特征,發(fā)現(xiàn)潛在規(guī)律,建立機器學習算法并優(yōu)化;
2、利用數(shù)據(jù)挖掘技術分析、預測用戶的消費行為;
3、建立各種業(yè)務邏輯模型和數(shù)學模型,幫助公司改善運營管理,節(jié)省成本。
任職要求:
1、大學本科及以上學歷;
2、統(tǒng)計學、會計學、數(shù)學、物理等相關專業(yè);
3、本科5年以上同崗位工作經(jīng)驗,研究生3年以上同崗位工作經(jīng)驗;
4、對統(tǒng)計學和數(shù)據(jù)挖掘算法原理有較為深刻的理解,了解數(shù)據(jù)倉庫思想,熟悉SPSS、SAS、R、MAHOUT等數(shù)據(jù)挖掘軟件之一;
5、熟悉決策樹、聚類、邏輯回歸,關聯(lián)分析、SVM,貝葉斯等數(shù)據(jù)挖掘算法,有海量數(shù)據(jù)挖掘的項目經(jīng)驗;
6、有用戶行為分析、用戶建模、業(yè)務建模、數(shù)學建模經(jīng)驗優(yōu)先;
7、良好的邏輯分析能力、分析問題和解決問題的`能力,對數(shù)據(jù)敏感,良好的溝通能力。
數(shù)據(jù)倉庫工程師崗位職責 篇20
1.依據(jù)項目需求建構數(shù)據(jù)萃取與轉(zhuǎn)換流程
2.挖掘數(shù)據(jù)特征,進行數(shù)據(jù)和特征融合
3.搭建數(shù)學模型,并對模型進行檢驗評估
職位要求:
1、計算機、數(shù)學、統(tǒng)計、人工智能等相關專業(yè)的碩士或以上學歷;
2、二年以上數(shù)據(jù)挖掘、機器學習相關工作經(jīng)驗,熟悉python、spark、pandas、sklearn等數(shù)據(jù)分析工具者優(yōu)先;
3、熟練掌握貝葉斯、隨機森林、深度學習等機器學習算法;
4、突出的分析問題和解決問題能力,自我驅(qū)動,并且具備較強的學習能力、創(chuàng)新應用能力及溝通協(xié)調(diào)能力,有良好的'團隊合作意識;
5、有國際背景或能熟練使用英文溝通者優(yōu)先
數(shù)據(jù)倉庫工程師崗位職責 篇21
1、MySQL數(shù)據(jù)庫規(guī)劃、設計、監(jiān)控維護、升級、備份、鏡像、容災;
2、數(shù)據(jù)庫服務器的安裝部署、性能優(yōu)化、可靠性、容災方案制定等;
3、對數(shù)據(jù)庫性能分析與調(diào)優(yōu),排錯,保證數(shù)據(jù)安全;
4、負責對開發(fā)工程師的SQL語句進行優(yōu)化;
5、配合研發(fā)制定數(shù)據(jù)庫技術方案,分庫分表策略,現(xiàn)有表結構優(yōu)化,數(shù)據(jù)遷移方案;
6、負責Mysql自動化相關事宜;
數(shù)據(jù)倉庫工程師崗位職責 篇22
1.高質(zhì)量地完成集團內(nèi)外各類數(shù)據(jù)生產(chǎn)集成、數(shù)據(jù)分析應用建設工作,涉及投研、市場、ERP、全球金融資訊等四個業(yè)務領域方向;
2.需求及源系統(tǒng)數(shù)據(jù)分析,完成數(shù)據(jù)倉庫/EDM等系統(tǒng)數(shù)據(jù)模型及應用模型設計、數(shù)據(jù)Mapping規(guī)則文檔撰寫、開發(fā)、自測及上線部署;
3. 數(shù)據(jù)質(zhì)量稽核、問題分析及處理,優(yōu)化數(shù)據(jù)處理程序;
4. 洞察數(shù)據(jù)、滿足業(yè)務場景需求。
數(shù)據(jù)倉庫工程師崗位職責 篇23
崗位職責:
1.參與金融大數(shù)據(jù)平臺系統(tǒng)和算法的研發(fā)和優(yōu)化;
2.基于大數(shù)據(jù)金融場景,進行信用風險模型,風控模型,營銷模型的創(chuàng)新設計;
3.與業(yè)務部門溝通合作,將數(shù)據(jù)模型應用于實際業(yè)務。
任職要求:
1.計算機相關專業(yè)碩士及以上學歷,至少7年以上相關工作經(jīng)驗;;
2.具有良好的商業(yè)敏感度和優(yōu)秀的數(shù)據(jù)分析技能,能夠開發(fā)創(chuàng)新而實際的.分析方法以解決復雜的商業(yè)問題。
3.熟悉機器學習的一般模型;例如分類.聚類.預測,理解一些常用的特征選擇和矩陣分解算法。
4.熟悉深度神經(jīng)網(wǎng)絡和常用模型(如CNN,DBN,sparseconding,RNN等),有Caffe或Theano或ConvNet的實踐經(jīng)驗。
5.在語義理解檢索(如知識圖譜表示.結構化預測.語義解析.信息檢索.知識挖掘等)有過深入的工作與研究。
6.較強的自學能力.優(yōu)秀的邏輯思維能力和良好的溝通表達能力和敬業(yè)精神。
7.具備良好的系統(tǒng)分析能力,良好的抽象思維和邏輯思維能力,獨立分析問題解決問題的能力;
8.可承受較大壓力,有責任感,較強的溝通協(xié)調(diào)能力,具有團隊合作精神;
9.有互聯(lián)網(wǎng)公司.大型金融企業(yè)和大型IT企業(yè)工作經(jīng)歷的優(yōu)先。
數(shù)據(jù)倉庫工程師崗位職責 篇24
•在行業(yè)擔任數(shù)據(jù)工程師或后端工程師超過4年
•您將了解數(shù)據(jù)倉庫的概念(建模,調(diào)整,維護)
•您非常精通SQL,并渴望指導和教其他SQL
•您精通Python或任何其他腳本語言和軟件開發(fā)
•您在分布式數(shù)據(jù)處理/傳統(tǒng)RDBMS / MPP / NoSQL系統(tǒng)和數(shù)據(jù)建模方面有很強的低估/經(jīng)驗
•您在Spark / Kafka / HBase / Redis / Kettle方面擁有豐富的經(jīng)驗
•您受到探索數(shù)據(jù)的好奇心和動力的驅(qū)動
•您具有處理數(shù)據(jù)管道的DevOps問題的經(jīng)驗
•對數(shù)據(jù)驅(qū)動業(yè)務,關鍵思想家,問題解決者和自我啟動者的熱情
•獲得認可大學的相關學科的學士學位
數(shù)據(jù)倉庫工程師崗位職責 篇25
1、3年以上etl開發(fā)經(jīng)驗,熟悉etl開發(fā)規(guī)范和流程;
2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個,有開發(fā)、維護經(jīng)驗;
3、熟練編寫存儲過程,擅長sql優(yōu)化;
4、熟悉oracle、sqlserver等常用數(shù)據(jù)庫中的`一個或多個;
5、熟悉perl、shell腳本,linux操作系統(tǒng);
6、有大型數(shù)據(jù)倉庫、bi相關項目的開發(fā)經(jīng)驗,精通架構、建模者優(yōu)先;
7、熟練使用erwin或powerdesigner等進行數(shù)據(jù)建模;
8、以下經(jīng)驗優(yōu)先考慮:流式處理、日志處理、數(shù)據(jù)倉庫全日制本科以上學歷(985/211),計算機科學與技術/軟件工程/數(shù)據(jù)相關專業(yè)
1、3年以上etl開發(fā)經(jīng)驗,熟悉etl開發(fā)規(guī)范和流程;
2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個,有開發(fā)、維護經(jīng)驗;
3、熟練編寫存儲過程,擅長sql優(yōu)化;
4、熟悉oracle、sqlserver等常用數(shù)據(jù)庫中的一個或多個;
5、熟悉perl、shell腳本,linux操作系統(tǒng);
6、有大型數(shù)據(jù)倉庫、bi相關項目的開發(fā)經(jīng)驗,精通架構、建模者優(yōu)先;
7、熟練使用erwin或powerdesigner等進行數(shù)據(jù)建模;
8、以下經(jīng)驗優(yōu)先考慮:流式處理、日志處理、數(shù)據(jù)倉庫
數(shù)據(jù)倉庫工程師崗位職責 篇26
數(shù)據(jù)處理工程師(大數(shù)據(jù)項目)全成通信上海全成通信技術有限公司,全成通信,全成崗位職責:
1、負責大數(shù)據(jù)平臺的日常維護和監(jiān)控
2、負責大數(shù)據(jù)項目日報發(fā)布工作
3、負責日報數(shù)據(jù)的統(tǒng)計
4、負責大數(shù)據(jù)項目日常數(shù)據(jù)的計算、分析和維護
任職要求:
1、一年以上相關工作經(jīng)驗,有電信行業(yè)經(jīng)驗者優(yōu)先
2、熟悉linux和excel,熟練使用perl或者其他的'腳本語言
3、具有oracledll/dml技術的使用經(jīng)驗
4、具有良好的團隊合作精神,有較強的學習能力、適應能力、溝通能力
數(shù)據(jù)倉庫工程師崗位職責 篇27
1、負責數(shù)據(jù)倉庫的設計、開發(fā)、部署、維護和優(yōu)化;
2、參與公司項目數(shù)據(jù)庫架構設計,及相關文檔的撰寫;
3、協(xié)助開發(fā)完成數(shù)據(jù)庫表的設計以及SQL調(diào)優(yōu),給開發(fā)人員提供SQL調(diào)優(yōu)指導;
4、負責數(shù)據(jù)庫技術規(guī)范建設。
數(shù)據(jù)倉庫工程師崗位職責 篇28
1、5年或以上 Oracle / MySQL / PG DBA或相關工作經(jīng)驗;
2、熟悉Linux以及基于Linux的各種常用系統(tǒng)服務的部署、配置、運維、排障、監(jiān)控等;
3、熟悉Oracle 10 / 11 / 12的SQL以及PL/SQL編寫;
4、熟悉上述版本Oracle以及RAC的運維、排障、數(shù)據(jù)遷移、調(diào)優(yōu)等;
5、熟悉PG 10 / 11 / 12的'部署維護、備份恢復、數(shù)據(jù)遷移、流復制、排障調(diào)優(yōu)者優(yōu)先;
6、熟悉KVM、ZStack、Docker、K8S等云基礎架構技術并有相關工作經(jīng)驗者優(yōu)先。
