數據處理工程師崗位職責

數據處理工程師崗位職責（通用32篇）

數據處理工程師崗位職責 篇1

　　職責描述：

　　1、負責文本數據處理，如格式轉換、分詞處理、實體抽取、專業詞典整理等；

　　2、自然語言處理相關工具開發；

　　3、協助訓練nlp模型。

　　任職要求：

　　1、計算機相關專業（本科2年以上）；

　　2、精通c/c++或java，熟悉python、bash？shell等腳本語言；

　　3、熟悉正則表達式，了解常用分類、聚類算法及相應工具；

　　4、熟悉使用基本分類、聚類算法及相應工具；

　　5、具備nlp相關工作（特別是數據處理與分析）經驗，了解nlp基本知識；

　　6、其他：耐心、細致；較強的邏輯思維能力；性格踏實穩定，抗壓能力強。

數據處理工程師崗位職責 篇2

　　數據處理工程師崗位職責

　　數據處理工程師1）直接面對客戶，參與項目運作中數據處理，了解客戶軟硬件要求；

　　2）參與、協助數據收集和模型建構；

　　3）安裝、調試公司軟件在客戶端上線；

　　4）開發常用數據處理功能，幫助業務團隊提高工作效率；

　　5）與香港、新加坡和紐約團隊合作，為亞太地區技術服務提供支持�！び嬎銠C或軟件相關專業，本科及以上學歷；

　　·掌握兩門以及常見數據庫設計開發技術，mysql、oracle、sqlserver、hive等；

　　·具有參加過etl開發項目，處理過（大）數據經驗優先；

　　·工作細心、認真負責且善于溝通，能快速理解業務，對數據敏感，并能主導項目的進度，保證團隊產出。1）直接面對客戶，參與項目運作中數據處理，了解客戶軟硬件要求；

　　2）參與、協助數據收集和模型建構；

　　3）安裝、調試公司軟件在客戶端上線；

　　4）開發常用數據處理功能，幫助業務團隊提高工作效率；

　　5）與香港、新加坡和紐約團隊合作，為亞太地區技術服務提供支持。

數據處理工程師崗位職責 篇3

　　數據處理工程師（大數據項目）全成通信上海全成通信技術有限公司，全成通信，全成崗位職責：

　　1、負責大數據平臺的日常維護和監控

　　2、負責大數據項目日報發布工作

　　3、負責日報數據的統計

　　4、負責大數據項目日常數據的計算、分析和維護

　　任職要求：

　　1、一年以上相關工作經驗，有電信行業經驗者優先

　　2、熟悉linux和excel，熟練使用perl或者其他的'腳本語言

　　3、具有oracledll/dml技術的使用經驗

　　4、具有良好的團隊合作精神，有較強的學習能力、適應能力、溝通能力

數據處理工程師崗位職責 篇4

　　職責描述：

　　1、負責poi數據的屬性分析、處理和關系挖掘，構建地圖領域的知識圖譜。

　　2、負責nlp、數據挖掘、深度學習等方向的前沿算法研發，并結合地圖場景優化。

　　任職要求：

　　1、計算機、數學或相關專業，三年以上工作經驗。

　　2、熟悉數據結構和算法設計，熟練使用c++、python。

　　3、熟悉nlp、機器學習、數據挖掘領域的常用算法與工具，對前沿技術保持熱情。

　　4、良好的.分析和解決問題能力，能獨立承擔研發工作。

　　5、有地圖數據優化工作背景優先。

　　團隊介紹

　　主要支持北京崗位

　　對地圖（無人駕駛）、廣告（廣點通）、快報感興趣的歡迎勾搭

數據處理工程師崗位職責 篇5

　　1、3年以上etl開發經驗，熟悉etl開發規范和流程；

　　2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

　　3、熟練編寫存儲過程，擅長sql優化；

　　4、熟悉oracle、sqlserver等常用數據庫中的`一個或多個；

　　5、熟悉perl、shell腳本，linux操作系統；

　　6、有大型數據倉庫、bi相關項目的開發經驗，精通架構、建模者優先；

　　7、熟練使用erwin或powerdesigner等進行數據建模；

　　8、以下經驗優先考慮：流式處理、日志處理、數據倉庫全日制本科以上學歷（985/211），計算機科學與技術/軟件工程/數據相關專業

　　1、3年以上etl開發經驗，熟悉etl開發規范和流程；

　　2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

　　3、熟練編寫存儲過程，擅長sql優化；

　　4、熟悉oracle、sqlserver等常用數據庫中的一個或多個；

　　5、熟悉perl、shell腳本，linux操作系統；

　　6、有大型數據倉庫、bi相關項目的開發經驗，精通架構、建模者優先；

　　7、熟練使用erwin或powerdesigner等進行數據建模；

　　8、以下經驗優先考慮：流式處理、日志處理、數據倉庫

數據處理工程師崗位職責 篇6

　　1、參與部門項目的售前工作，參與現場交流，深入挖掘用戶需求，編寫投標方案，參與投標;

　　2、完成所負責項目的需求規格說明書的編寫，并向項目組開發人員和測試人員講解需求，如需求發生變化及時調整需求。

　　3、完成所負責項目的概要設計，并解決項目進展過程中的需求與設計問題;

　　4、可承擔部分項目經理的職責，組織相關資源對項目工作進行計劃/控制/調整;

數據處理工程師崗位職責 篇7

　　1、維護數據庫穩定運行，持續發現和解決潛在的問題；

　　2、負責數據庫的性能優化，使用新技術和新架構滿足日益增長的業務需求；

　　3、負責數據庫的監控系統設計，為開發團隊提供平臺支持；

　　4、負責數據庫的運維方面的相關工作，包括數據庫的安裝部署、壓力測試、備份恢復、知識庫管理等

　　5、負責數據庫進行容量規劃、架構設計，提高業務高可用性和容災能力；

　　6、負責數據庫相關工作的整體規劃，提供決策建議。

數據處理工程師崗位職責 篇8

　　崗位職責:

　　1.從事數學建模及數據挖掘應用方法研究;

　　2.與開發部門配合實現相應的數據分析模塊的開發;

　　3.制定公司數據可管理體系,建產研究用數據平臺。

　　任職要求:

　　1.應用數學、統計學、計算機等專業碩士以上學歷;

　　2.具備常用機器學習、數據挖掘相關知識,會spark;

　　3.具備一種或多種開發語言(如scalapython java等)的.程序和算法開發能力,掌握常用數據結構和算法;

　　4.有視頻、地圖、文本、社交等大數據分析能力;

　　5.有工業數據分析工作經驗者優先。

數據處理工程師崗位職責 篇9

　　1、利用數據倉庫建模及相關技術，參與數據倉庫模型的設計。

　　2、參與企業級大數據倉庫項目的落地開發。

　　3、參與企業級主數據管理項目的實施落地。

　　4、利用hadoop生態相關技術，負責大數據中心的'數據處理流程，包括數據清洗、融合、統計、挖掘等。

數據處理工程師崗位職責 篇10

　　1、針對具體的業務場景需求、定義數據分析及挖掘問題;

　　2、使用統計學分析方法、挖掘算法、構建有效且通用的數據分析模型，對數據挖掘方案進行驗證、開發、改進和優化，實現數據挖掘的功能應用;

　　3、搭建高擴展高性能的數據分析模型庫，作為數據分析團隊的基礎工具;

　　4、完成領導安排的其他工作。

數據處理工程師崗位職責 篇11

　　1、空間數據采集、內業處理;

　　2、電子地圖制作、配圖以及地圖服務發布;

　　3、編制空間數據建庫工作文檔;

　　4、對成果數據的分類整理、歸檔;

　　5、領導安排的其他工作任務。

數據處理工程師崗位職責 篇12

　　1、參與數據倉庫建設，負責數據倉庫模型設計；

　　2、開發高質量可擴展的底層數據倉庫體系；

　　3、負責數據倉庫系統與業務系統的接口設計和確認工作；

　　4、負責數據平臺相關的管理工作，如數據研發規范、數據質量及穩定性保證等建設；

　　5、參與公司各個業務線BI、數據產品與應用的數據研發，發覺數據潛在價值。

數據處理工程師崗位職責 篇13

　　崗位職責：

　　業務數據的收集整理和分析;

　　負責公安、交通領域的業務建模和算法設計;

　　分析項目數據需求，完成系統中數據分析模塊的設計、實現和測試;

　　設計、構建和優化基于大數據的存儲平臺架構，編寫相關技術文檔;

　　設計并實現基于開源項目(Cobar，Spark等)的海量數據集成與處理平臺;

　　為其他部門提供數據分析支撐。

　　任職資格：

　　計算機相關專業;

　　熟悉數據挖掘算法，對分類、聚類、時序、圖等算法有很深了解;

　　熟練掌握Hadoop、Spark生態系統組件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib等)，有相關大數據架構,開發成功案例;

　　熟練的使用、開發ETL工具經驗，有數據庫建模ER建模經驗優先;

　　有海量數據BI或數據挖掘項目實施和管理經驗，對數據挖掘理論方法有一定了解者優先;

　　熟悉的Bash Shell和Python等腳本編程能力;

　　強烈的責任心和工作熱情，良好的團隊合作精神。

數據處理工程師崗位職責 篇14

　　1.負責海量數據的分析開發工作;

　　2.完成數據挖掘模型，跟蹤模型的實施和效果，定期優化算法和分析策略，分析研究后提供建設性建議;

　　3.優化大數據存儲、計算等各方面性能，確保能從海量大數據信息里，有效進行數據分析和挖掘;

　　4.根據用戶的活動記錄進行特征篩選和關聯挖掘。提高關聯準確性;

　　5.參與相關數據標準和規范的制定。

數據處理工程師崗位職責 篇15

　　1、負責大數據平臺搭建及數據倉庫建模；

　　2、負責數據庫管理及數據優化；

　　3、利用大數據相關技術實現對數據的分析、挖掘、處理、及數據可視化等相關工作；

　　4、維護大數據平臺并能解決相關問題，保障平臺正常運行；

　　5、學習和研究新技術以滿足系統需求。

數據處理工程師崗位職責 篇16

　　1.從事GIS數據制作、分析、數據管理等工作;

　　2.編寫工作總結和作業流程等文件;

　　3.通過已經完成的矢量化成果和表格數據庫入庫和檢查工作;

　　4.利用軟件對圖形和屬性進行檢查，并進行錯誤修改;

　　5.其他數據制作處理工作。

數據處理工程師崗位職責 篇17

　　1.針對用戶行為預測業務，負責用戶畫像、訂單特征體系建設，包括離線數據產出以及服務化;

　　2.針對用戶端上行為產出的實時數據流，挖掘實時特征并服務化;

　　3.針對客服場景，挖掘實時用戶行為異常以及進線異常;

　　4.針對智能客服場景用戶標簽挖掘，人群挖掘等工作，支持智能運營方向的業務;

　　5.負責開發并維護智能客服業務的特征服務系統。

數據處理工程師崗位職責 篇18

　　1、熟悉掌握業務系統功能，靈活制定不同業務的推廣策略，通過活動運營、內容運營等方式策劃并落地項目推廣方案，拓展系統用戶量及影響力。

　　2、熟悉公文寫作，配合完成工作匯報材料的撰寫及分析報告。

　　3、與企業及海關關系的協調和維護，強化合作關系，維護好項目參與方的'關系。

　　4、面向進出口企業開展調研，主動挖掘系統需求，進行需求分析，形成調研報告或業務需求報告。

　　5、項目管理相關工作，包括組織業務需求論證、項目立項、進度管理等根據項目管理規范開展相關工作。

　　6、完成領導交辦的其他工作事項。

數據處理工程師崗位職責 篇19

　　1、負責產品數據庫研發，參與系統整體架構設計；

　　2、根據產品目標負責相關業務的數據分析、建模、設計評審，跟進產品過程中數據庫設計；

　　3、負責產品模塊的數據層分析、設計、編碼、測試；

　　4、能夠獨立完成產品數據層開發任務，負責各類數據接口開發；

　　5、負責各類型數據操作處理和兼容問題；數據庫復雜SQL開發和調優。

數據處理工程師崗位職責 篇20

　　1、負責每日的數據倉庫運維工作，保障數據的穩定性、一致性等;

　　2、參與數據倉庫的優化設計，如元數據、數據權限、調度優化;

　　3、負責數據質量和數據標準化的設計與開發;

　　4、負責滿足業務部門的日常業務提數與報表需求的開發。

數據處理工程師崗位職責 篇21

　　1.負責海量數據的分析開發工作;

　　2.完成數據挖掘模型，跟蹤模型的實施和效果，定期優化算法和分析策略，分析研究后提供建設性建議 ;

　　3.優化大數據存儲、計算等各方面性能，確保能從海量大數據信息里，有效進行數據分析和挖掘;

　　4.根據用戶的活動記錄進行特征篩選和關聯挖掘。提高關聯準確性;

　　5.參與相關數據標準和規范的制定。

　　要求：

　　1.熟悉java/scala/python/R中至少一種編程語言，具有良好的.編碼習慣;

　　2.計算機、數學相關專業本科以上學歷;

　　3.2年以上數據挖掘及其相關經驗，對常用的數據挖掘算法有較深入了解，有實際算法調優經驗 ;

　　4.熟悉常用數據挖掘算法(聚類/分類/回歸/關聯規則/圖模型)等算法原理，具備實際的建模經驗，熟悉常用機器學習算法原理，如樸素貝葉斯/決策樹/隨機森林/邏輯回歸/SVM等，并具備相關應用經驗;

　　5.熟悉hadoop生態，具有spark/flink等實際開發經驗;

　　6.極強的數據敏感度，能從海量數據中挖掘出數據核心價值，相關;

　　7.熟悉分布式存儲，熟悉mysql/oracle、hbase、redis、mogongdb、elasticsearch等，熟悉neo4j/JanusGraph等圖數據庫優先 ;

　　8.富有創新精神，充滿激情，樂于接受挑戰，良好的溝通技巧和團隊合作，抗壓性強，能適應加班。

數據處理工程師崗位職責 篇22

　　1.負責直播業務相關數據倉庫的數據模型設計;

　　3.參與數據倉庫ETL流程設計、開發和優化，解決ETL過程相關技術問題;

　　3.參與項目規劃，數據采集設計，數據倉庫開發，模型開發，報表開發等;

　　4. 總結數據倉庫建模的方法，負責數據產品平臺化和系統化;

數據處理工程師崗位職責 篇23

　　崗位職責：

　　深入研究業內領先的技術思路，輸出具有創新價值的預研項目可行性分析報告以及相關實驗數據;

　　負責產品、銷售、供應鏈、電商等公司數據的海量挖掘，并建立和優化用戶標簽、特征模型、產品精準匹配、異常預警等;

　　負責大數據下傳統機器學習算法的并行化實現及應用，并提出改進方法和思路;

　　參與公司大數據架構，負責BI實施中的數據挖掘模塊算法研究、模型建立和優化，幫助實現數據挖掘和分析平臺的建設;

　　負責相關數據挖掘項目的需求收集、項目建立、項目設計開發和結果輸出質量把控，通過數據挖掘結果驅動業務執行;

　　配合技術進行數據挖掘模型開發和模型封裝，例如決策規則模型、預警模型、流失模型、效果標桿模型、客戶生命周期管理模型等;

　　任職要求：

　　大學本科及以上學歷，統計學、計算機、信息技術、數學相關專業;

　　兩年以上數據建模經驗;

　　數據主流數據庫，mysql、oracle、DB2等傳統結構化數據倉庫，熟悉HBase、MongoDB等非結構化數據庫;

　　熟悉常用的聚類、分類、回歸、關聯、時間序列等監督式和非監督式學習算法;

　　熟悉R、Python、MLlib等數據挖掘工具中至少一種。

　　熟悉spark、storm等大數據計算框架者優先。

數據處理工程師崗位職責 篇24

　　1、進行GIS數據建庫和數據處理方案的設計和實現;

　　2、運用相關GIS軟件進行數據空間化處理建庫;

　　3、進行影像識別及處理;

　　4、進行數據采集處理建庫項目管理。

數據處理工程師崗位職責 篇25

　　任職要求：

　　1、軟件、計算機、通訊等理工科相關專業本科及以上學歷；

　　2、具有3年配置管理或產品數據管理經驗；

　　3、熟悉計算機與網絡管理；

　　4、熟悉配置管理與產品數據管理知識，熟練掌握svn、plm等數據管理平臺的`操作與管理；

　　5、熟悉系統與信息安全知識；

　　6、具有較強的邏輯思維能力及良好的溝通能力，良好的主動學習能力及執行力。

數據處理工程師崗位職責 篇26

　　1.依據項目需求建構數據萃取與轉換流程

　　2.挖掘數據特征，進行數據和特征融合

　　3.搭建數學模型，并對模型進行檢驗評估

　　職位要求：

　　1、計算機、數學、統計、人工智能等相關專業的碩士或以上學歷;

　　2、二年以上數據挖掘、機器學習相關工作經驗，熟悉python、spark、pandas、sklearn等數據分析工具者優先;

　　3、熟練掌握貝葉斯、隨機森林、深度學習等機器學習算法;

　　4、突出的分析問題和解決問題能力，自我驅動，并且具備較強的學習能力、創新應用能力及溝通協調能力，有良好的'團隊合作意識;

　　5、有國際背景或能熟練使用英文溝通者優先

數據處理工程師崗位職責 篇27

　　崗位職責：

　　1、對通信和金融業務數據進行分析和挖掘，滿足研發和運營等部門的業務需求和決策需求;

　　2、能根據業務特點選擇最合適的數據挖掘算法，并做調優;

　　3、支持數據分析、挖掘算法平臺的部署和日常運營;

　　4、撰寫分析類報告。

　　任職資格：

　　1、大學本科或本科以上統計學、數學或其他相關專業，對數據結構熟悉;

　　2、熟練使用python進行數據分析、處理、可視化。熟悉numpy/pandas/matplotlib等常用模塊。熟練使用sql,最好用過hive-sql或spark-sql;

　　3、對hadoop/spark有一定了解。能夠簡單使用hadoop系列命令;

　　4、對線性回歸，決策森林，xgboost，評分卡等數據挖掘相關算法有一定了解;

　　5、做過web接口調試，熟悉json者優先;

　　6、熟練掌握PPT和EXCEL制作;

　　7、具備良好的學習、溝通與表達能力，具有較強的團隊合作精神，對工作富有熱情，能承受工作壓力;

　　8、有運營商或金融類相關數據經驗工作優先考慮;

　　9、能適應中長期現場出差。

數據處理工程師崗位職責 篇28

　　崗位職責：

　　1.參與金融大數據平臺系統和算法的研發和優化;

　　2.基于大數據金融場景，進行信用風險模型，風控模型，營銷模型的創新設計;

　　3.與業務部門溝通合作，將數據模型應用于實際業務。

　　任職要求：

　　1.計算機相關專業碩士及以上學歷，至少7年以上相關工作經驗;;

　　2.具有良好的商業敏感度和優秀的數據分析技能，能夠開發創新而實際的.分析方法以解決復雜的商業問題。

　　3.熟悉機器學習的一般模型;例如分類.聚類.預測，理解一些常用的特征選擇和矩陣分解算法。

　　4.熟悉深度神經網絡和常用模型(如CNN，DBN，sparseconding,RNN等)，有Caffe或Theano或ConvNet的實踐經驗。

　　5.在語義理解檢索(如知識圖譜表示.結構化預測.語義解析.信息檢索.知識挖掘等)有過深入的工作與研究。

　　6.較強的自學能力.優秀的邏輯思維能力和良好的溝通表達能力和敬業精神。

　　7.具備良好的系統分析能力，良好的抽象思維和邏輯思維能力，獨立分析問題解決問題的能力;

　　8.可承受較大壓力，有責任感，較強的溝通協調能力，具有團隊合作精神;

　　9.有互聯網公司.大型金融企業和大型IT企業工作經歷的優先。

數據處理工程師崗位職責 篇29

　　1、學習并理解勵步云學業務及系統，根據業務部門需求對公司各項業務數據進行統計分析，出具相關報表；

　　2、進行數據倉庫設計、模型開發、數據質量校驗，報表開發；

　　3、進行數據差異分析，找出統計口徑、數據錯誤、操作錯誤等造成的差異原因；

　　4、進行數據查詢優化，解決跑數性能問題。

數據處理工程師崗位職責 篇30

　　1.負責公司產品的現場安裝，部署，優化;

　　2.負責數據庫集群的部署和配置升級;

　　3.定期進行性能檢測、分析、調優，數據備份、遷移，保障數據庫系統高效安全及穩定運行;

　　4.負責排查數據庫故障，分析和解決疑難問題，提出預防方案。數據庫故障處理與災難恢復;

　　5.對開發工程師的SQL語句進行審核，SQL優化，及時發現并處理高負載SQL;

　　6.負責客戶單位軟件系統的管理和日常維護，;

數據處理工程師崗位職責 篇31

　　崗位職責：

　　1、負責構建公司數據分析與數據挖掘業務分析體系,整體架構設計、規劃,充分發揮數據的價值,提高數據質量,促進公司業務更好的發展;

　　2、通過建立業務的數據分析模型來指導業務的發展,對數據庫信息進行深度挖掘和有效利用,充分實現數據的商業價值,構建公司核心競爭力;

　　3、跟蹤并分析用戶行為,為公司廣告業務的發展及產品的設計進行海量數據支持;

　　4、負責數據管理中心團隊的建設、發展、激勵、培訓等管理工作,有效領導數據分析與挖掘團隊支持和推動業務發展。

　　任職要求：

　　1、熱愛數據,對數據及邏輯關系敏感,并對數據體系有深入的認識;

　　2、本科以上學歷、計算機/統計學/經濟學等相關專業，有一定工作經驗，;

　　3、具備數據建模(機器學習,數據挖掘,信息檢索背景)和分析理論知識和經驗;

　　4、熟悉Linux平臺的海量數據分布式存儲、分布式計算;

　　5、熟悉常用的數據分析工具，有基于Hadoop的云計算平臺，HBase及類似的NoSQL存儲, MySQL,和BI系統等實踐經驗;

　　6、熟悉互聯網并且對于互聯網常見的業務形態與商業模式有深入的理解,對業務變化有敏銳的洞察力;

　　7、有較強的對業務理解與分析能力，了解業務規劃與策劃能力以及相應經驗;

　　8、具備較強的問題定位、分解、解決能力及計劃和組織能力;

　　9、善于創新、思維敏捷、精力充沛，溝通能力強，能夠承受較大工作壓力;

　　10、有電子商務或互聯網數據倉庫或商業智能架構設計、開發實施經驗者優先。

數據處理工程師崗位職責 篇32

　　1.負責工業設備組網及數據采集方案設計；

　　2.負責設計方案所需傳感器、儀表選型，布線圖、數據存儲方式、數據表等詳細設計；

　　3.負責與設備廠商、數控系統廠商進行業務協議、通信協議及接口協調；

　　4.負責現場數據采集相關軟硬件安裝調試；

　　5.負責和用戶現場對口協調、技術指導及現場培訓。