數據采集工程師崗位職責

數據采集工程師崗位職責（通用34篇）

數據采集工程師崗位職責 篇1

　　1.嵌入式bootloader，kernel開發；

　　2.工業通訊協議解析等；

　　3.windows/linux平臺網關應用層程序開發；

　　4.網關產品的軟件功能測試驗證；

　　5.工業網關產品軟件sdk及library開發。

數據采集工程師崗位職責 篇2

　　1.負責linux平臺下應用軟件開發，根據產品與項目要求，開展模塊設計.編碼等工作；

　　2.負責linux軟件的交叉編譯與移植；

　　3.參與需求分析.軟件設計.開發.調試以及測試維護全過程；

　　4.負責協同硬件工程師或第三方方案商完成系統功能模塊的聯調及功能對接.接口文文件輸出；

　　5.負責嵌入式系統軟件平臺搭建工作；

數據采集工程師崗位職責 篇3

　　1.負責工業設備組網及數據采集方案設計；

　　2.負責設計方案所需傳感器、儀表選型，布線圖、數據存儲方式、數據表等詳細設計；

　　3.負責與設備廠商、數控系統廠商進行業務協議、通信協議及接口協調；

　　4.負責現場數據采集相關軟硬件安裝調試；

　　5.負責和用戶現場對口協調、技術指導及現場培訓。

數據采集工程師崗位職責 篇4

　　1.數據采集系統和分布式爬蟲系統的架構設計和開發

　　2.對接外部數據服務商提供的數據及資訊服務，實現數據的'有效沉淀，建立數據服務評估機制

　　3.負責大規模文本、圖像、視頻數據的抓取、抽取，去重、分類，垃圾過濾，質量識別等工作

　　4.研究各種目標網站的形態，互聯網特征挖掘，發現它們的特點和規律

數據采集工程師崗位職責 篇5

　　•識別，分析和解決計劃支持問題。

　　•與BU利益相關者合作，確定并優先考慮數據和統計要求，包括要收集的特定數據元素。

　　•協助開發和實施數據庫，數據收集系統/工具，數據分析以及其他優化統計效率和質量的策略(包括確定流程改進以更好地滿足業務需求)。

　　•分析大量數據集，提出有見地的業務建議。

　　•通過查看報告和績效指標來確定和糾正數據收集問題，從而確保數據的準確性和完整性。

　　•識別，分析，解釋和建模數據湖中數據的趨勢或模式。

　　•為各種受眾設計和生成準確有效的統計數據可視化產品和報告。

　　•通過促進技術和非技術利益相關者之間的溝通，確保技術團隊了解計劃和業務工作的短期和長期目標

　　•準時交付優質，易懂，明確的產品。

　　•參與構建機器學習策略平臺。

　　•對數據驅動業務，關鍵思想家，問題解決者和自我啟動者的熱情

　　•促進技術和非技術利益相關者之間交流的能力

　　•出色的書面和口頭交流能力。

數據采集工程師崗位職責 篇6

　　1、學習并理解勵步云學業務及系統，根據業務部門需求對公司各項業務數據進行統計分析，出具相關報表；

　　2、進行數據倉庫設計、模型開發、數據質量校驗，報表開發；

　　3、進行數據差異分析，找出統計口徑、數據錯誤、操作錯誤等造成的差異原因；

　　4、進行數據查詢優化，解決跑數性能問題。

數據采集工程師崗位職責 篇7

　　•在行業擔任數據工程師或后端工程師超過4年

　　•您將了解數據倉庫的概念(建模，調整，維護)

　　•您非常精通SQL，并渴望指導和教其他SQL

　　•您精通Python或任何其他腳本語言和軟件開發

　　•您在分布式數據處理/傳統RDBMS / MPP / NoSQL系統和數據建模方面有很強的低估/經驗

　　•您在Spark / Kafka / HBase / Redis / Kettle方面擁有豐富的經驗

　　•您受到探索數據的好奇心和動力的驅動

　　•您具有處理數據管道的DevOps問題的經驗

　　•對數據驅動業務，關鍵思想家，問題解決者和自我啟動者的熱情

　　•獲得認可大學的相關學科的學士學位

數據采集工程師崗位職責 篇8

　　數據處理工程師（大數據項目）全成通信上海全成通信技術有限公司，全成通信，全成崗位職責：

　　1、負責大數據平臺的日常維護和監控

　　2、負責大數據項目日報發布工作

　　3、負責日報數據的統計

　　4、負責大數據項目日常數據的計算、分析和維護

　　任職要求：

　　1、一年以上相關工作經驗，有電信行業經驗者優先

　　2、熟悉linux和excel，熟練使用perl或者其他的'腳本語言

　　3、具有oracledll/dml技術的使用經驗

　　4、具有良好的團隊合作精神，有較強的學習能力、適應能力、溝通能力

數據采集工程師崗位職責 篇9

　　1、參與部門項目的售前工作，參與現場交流，深入挖掘用戶需求，編寫投標方案，參與投標;

　　2、完成所負責項目的需求規格說明書的編寫，并向項目組開發人員和測試人員講解需求，如需求發生變化及時調整需求。

　　3、完成所負責項目的概要設計，并解決項目進展過程中的需求與設計問題;

　　4、可承擔部分項目經理的職責，組織相關資源對項目工作進行計劃/控制/調整;

數據采集工程師崗位職責 篇10

　　1、負責數據倉庫的設計、開發、部署、維護和優化;

　　2、參與公司項目數據庫架構設計,及相關文檔的撰寫;

　　3、協助開發完成數據庫表的設計以及SQL調優,給開發人員提供SQL調優指導;

　　4、負責數據庫技術規范建設。

數據采集工程師崗位職責 篇11

　　崗位職責:

　　1.負責銜接大數據平臺與前端的數據傳輸；

　　2.根據客戶需求設計大數據業務平臺架構、配置組件；

　　3.負責后臺服務的調試與測試，梳理接口文檔、開發文檔與測試文檔。

　　任職資格:

　　1.碩士以上，或較為優秀的本科生；后端開發經驗2年以上；

　　2.有基于b/s架構進行實際業務平臺開發的經驗，有to b軟件開發經驗更佳；

　　3.通用軟件開發基礎、軟件架構基礎、scrum敏捷開發方法，有大數據基礎更佳；

　　4.精通java或python語言，有rcp框架經驗更佳；熟練掌握mybatis、springcloud / springboot、node.js等框架，精通sql技術；了解以太網通信協議，熟悉websocket技術。熟練使用git，svn等工具；

　　5.學習能力強，勇于挑戰，代碼質量意識強，篤信“工程即魔法”。

數據采集工程師崗位職責 篇12

　　1、針對海量用戶行為數據進行挖掘和建模，深入挖掘數據的業務價值。研究機器學習或統計學習領域的前沿技術，并能活學活用到項目中。

　　2、基于對汽車廣告投放業務及用戶的理解，參與精準營銷、個性化推薦等模型建設和領域研究，提升轉化率等業務指標。

　　3、根據業務需要采集相關數據，對原始數據進行ETL和歸類整理，并實現流程自動化。

　　4、其他大數據處理及項目開發工作等。

數據采集工程師崗位職責 篇13

　　崗位職責：

　　1、對通信和金融業務數據進行分析和挖掘，滿足研發和運營等部門的業務需求和決策需求;

　　2、能根據業務特點選擇最合適的數據挖掘算法，并做調優;

　　3、支持數據分析、挖掘算法平臺的部署和日常運營;

　　4、撰寫分析類報告。

　　任職資格：

　　1、大學本科或本科以上統計學、數學或其他相關專業，對數據結構熟悉;

　　2、熟練使用python進行數據分析、處理、可視化。熟悉numpy/pandas/matplotlib等常用模塊。熟練使用sql,最好用過hive-sql或spark-sql;

　　3、對hadoop/spark有一定了解。能夠簡單使用hadoop系列命令;

　　4、對線性回歸，決策森林，xgboost，評分卡等數據挖掘相關算法有一定了解;

　　5、做過web接口調試，熟悉json者優先;

　　6、熟練掌握PPT和EXCEL制作;

　　7、具備良好的學習、溝通與表達能力，具有較強的團隊合作精神，對工作富有熱情，能承受工作壓力;

　　8、有運營商或金融類相關數據經驗工作優先考慮;

　　9、能適應中長期現場出差。

數據采集工程師崗位職責 篇14

　　1、熟悉掌握業務系統功能，靈活制定不同業務的推廣策略，通過活動運營、內容運營等方式策劃并落地項目推廣方案，拓展系統用戶量及影響力。

　　2、熟悉公文寫作，配合完成工作匯報材料的撰寫及分析報告。

　　3、與企業及海關關系的協調和維護，強化合作關系，維護好項目參與方的'關系。

　　4、面向進出口企業開展調研，主動挖掘系統需求，進行需求分析，形成調研報告或業務需求報告。

　　5、項目管理相關工作，包括組織業務需求論證、項目立項、進度管理等根據項目管理規范開展相關工作。

　　6、完成領導交辦的其他工作事項。

數據采集工程師崗位職責 篇15

　　1、負責數據接入、數據提取、數據清洗、底層重構、業務主題建模等工作;

　　2、參與數據集市開發，用戶畫像標簽開發;

　　3、負責接口平臺、自助分析平臺等系統的建設和維護;

　　4、針對具體大數據應用場景，提供有效解決方案，并針對具體模型落地實施;

數據采集工程師崗位職責 篇16

　　1.負責企業級數據倉庫設計、規劃、建設、實施、管理,數據倉庫架構設計與數據開發，創建數據倉庫、數據集市

　　2.熟悉數據倉庫領域知識，從架構和技術層面參與建設數據倉庫，包括元數據管理、數據質量、主數據管理、性能優化和調優。

　　3.負責數據倉庫平臺相關數據管理工作，如研發規范、質量規范、保障規范的制定與推動實施落地

　　4.配合和協助數據分析/數據挖掘形成底層/中間層的業務邏輯切片

數據采集工程師崗位職責 篇17

　　1、負責生產環境Mysql數據庫系統高可用、高性能架構方案，分庫分表策略，數據庫擴展方案;

　　2、排查數據庫故障，分析和解決疑難問題，提出預防方案;

　　3、制定數據庫監控策略、備份策略、容災策略，探查系統潛在的問題和可能的性能瓶頸并進行優化;

　　4、對開發工程師的SQL語句進行審核及SQL優化;

　　5、負責redis、memcache等非關系數據庫的管理和擴展，能夠根據業務需求完成系統設計、架構設計工作;

　　6、參與前瞻性新技術研究，解決數據庫相關疑難問題。

數據采集工程師崗位職責 篇18

　　1、負責每日的數據倉庫運維工作，保障數據的穩定性、一致性等;

　　2、參與數據倉庫的優化設計，如元數據、數據權限、調度優化;

　　3、負責數據質量和數據標準化的設計與開發;

　　4、負責滿足業務部門的日常業務提數與報表需求的開發。

數據采集工程師崗位職責 篇19

　　崗位職責：

　　業務數據的收集整理和分析;

　　負責公安、交通領域的業務建模和算法設計;

　　分析項目數據需求，完成系統中數據分析模塊的設計、實現和測試;

　　設計、構建和優化基于大數據的存儲平臺架構，編寫相關技術文檔;

　　設計并實現基于開源項目(Cobar，Spark等)的海量數據集成與處理平臺;

　　為其他部門提供數據分析支撐。

　　任職資格：

　　計算機相關專業;

　　熟悉數據挖掘算法，對分類、聚類、時序、圖等算法有很深了解;

　　熟練掌握Hadoop、Spark生態系統組件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib等)，有相關大數據架構,開發成功案例;

　　熟練的使用、開發ETL工具經驗，有數據庫建模ER建模經驗優先;

　　有海量數據BI或數據挖掘項目實施和管理經驗，對數據挖掘理論方法有一定了解者優先;

　　熟悉的Bash Shell和Python等腳本編程能力;

　　強烈的責任心和工作熱情，良好的團隊合作精神。

數據采集工程師崗位職責 篇20

　　崗位職責：

　　深入研究業內領先的技術思路，輸出具有創新價值的預研項目可行性分析報告以及相關實驗數據;

　　負責產品、銷售、供應鏈、電商等公司數據的海量挖掘，并建立和優化用戶標簽、特征模型、產品精準匹配、異常預警等;

　　負責大數據下傳統機器學習算法的并行化實現及應用，并提出改進方法和思路;

　　參與公司大數據架構，負責BI實施中的數據挖掘模塊算法研究、模型建立和優化，幫助實現數據挖掘和分析平臺的建設;

　　負責相關數據挖掘項目的需求收集、項目建立、項目設計開發和結果輸出質量把控，通過數據挖掘結果驅動業務執行;

　　配合技術進行數據挖掘模型開發和模型封裝，例如決策規則模型、預警模型、流失模型、效果標桿模型、客戶生命周期管理模型等;

　　任職要求：

　　大學本科及以上學歷，統計學、計算機、信息技術、數學相關專業;

　　兩年以上數據建模經驗;

　　數據主流數據庫，mysql、oracle、DB2等傳統結構化數據倉庫，熟悉HBase、MongoDB等非結構化數據庫;

　　熟悉常用的聚類、分類、回歸、關聯、時間序列等監督式和非監督式學習算法;

　　熟悉R、Python、MLlib等數據挖掘工具中至少一種。

　　熟悉spark、storm等大數據計算框架者優先。

數據采集工程師崗位職責 篇21

　　1.負責直播業務相關數據倉庫的數據模型設計;

　　3.參與數據倉庫ETL流程設計、開發和優化，解決ETL過程相關技術問題;

　　3.參與項目規劃，數據采集設計，數據倉庫開發，模型開發，報表開發等;

　　4. 總結數據倉庫建模的方法，負責數據產品平臺化和系統化;

數據采集工程師崗位職責 篇22

　　職責描述：

　　1、負責文本數據處理，如格式轉換、分詞處理、實體抽取、專業詞典整理等；

　　2、自然語言處理相關工具開發；

　　3、協助訓練nlp模型。

　　任職要求：

　　1、計算機相關專業（本科2年以上）；

　　2、精通c/c++或java，熟悉python、bash？shell等腳本語言；

　　3、熟悉正則表達式，了解常用分類、聚類算法及相應工具；

　　4、熟悉使用基本分類、聚類算法及相應工具；

　　5、具備nlp相關工作（特別是數據處理與分析）經驗，了解nlp基本知識；

　　6、其他：耐心、細致；較強的邏輯思維能力；性格踏實穩定，抗壓能力強。

數據采集工程師崗位職責 篇23

　　1、對海量業務數據進行分析，并利用算法挖掘用戶行為特征，發現潛在規律，建立機器學習算法并優化;

　　2、利用數據挖掘技術分析、預測用戶的消費行為;

　　3、建立各種業務邏輯模型和數學模型，幫助公司改善運營管理，節省成本。

　　任職要求：

　　1、大學本科及以上學歷;

　　2、統計學、會計學、數學、物理等相關專業;

　　3、本科5年以上同崗位工作經驗，研究生3年以上同崗位工作經驗;

　　4、對統計學和數據挖掘算法原理有較為深刻的理解，了解數據倉庫思想，熟悉SPSS、SAS、R、MAHOUT等數據挖掘軟件之一;

　　5、熟悉決策樹、聚類、邏輯回歸，關聯分析、SVM，貝葉斯等數據挖掘算法，有海量數據挖掘的項目經驗;

　　6、有用戶行為分析、用戶建模、業務建模、數學建模經驗優先;

　　7、良好的邏輯分析能力、分析問題和解決問題的`能力，對數據敏感，良好的溝通能力。

數據采集工程師崗位職責 篇24

　　1、負責大數據平臺搭建及數據倉庫建模；

　　2、負責數據庫管理及數據優化；

　　3、利用大數據相關技術實現對數據的分析、挖掘、處理、及數據可視化等相關工作；

　　4、維護大數據平臺并能解決相關問題，保障平臺正常運行；

　　5、學習和研究新技術以滿足系統需求。

數據采集工程師崗位職責 篇25

　　1、參與數據倉庫建設，負責數據倉庫模型設計；

　　2、開發高質量可擴展的底層數據倉庫體系；

　　3、負責數據倉庫系統與業務系統的接口設計和確認工作；

　　4、負責數據平臺相關的管理工作，如數據研發規范、數據質量及穩定性保證等建設；

　　5、參與公司各個業務線BI、數據產品與應用的數據研發，發覺數據潛在價值。

數據采集工程師崗位職責 篇26

　　1、維護數據庫穩定運行，持續發現和解決潛在的問題；

　　2、負責數據庫的性能優化，使用新技術和新架構滿足日益增長的業務需求；

　　3、負責數據庫的監控系統設計，為開發團隊提供平臺支持；

　　4、負責數據庫的運維方面的相關工作，包括數據庫的安裝部署、壓力測試、備份恢復、知識庫管理等

　　5、負責數據庫進行容量規劃、架構設計，提高業務高可用性和容災能力；

　　6、負責數據庫相關工作的整體規劃，提供決策建議。

數據采集工程師崗位職責 篇27

　　1、負責產品數據庫研發，參與系統整體架構設計；

　　2、根據產品目標負責相關業務的數據分析、建模、設計評審，跟進產品過程中數據庫設計；

　　3、負責產品模塊的數據層分析、設計、編碼、測試；

　　4、能夠獨立完成產品數據層開發任務，負責各類數據接口開發；

　　5、負責各類型數據操作處理和兼容問題；數據庫復雜SQL開發和調優。

數據采集工程師崗位職責 篇28

　　1、負責數據倉庫（HADOOP）ETL工作以及數據運營；

　　2、負責數據產品的業務需求梳理、數據開發以及維護；

　　3、負責數據倉庫的'維度建模以及設計相關的腳本調度；

　　4、負責維度模型的數據處理的腳本開發，程序開發以及接口對接。

數據采集工程師崗位職責 篇29

　　1、MySQL數據庫規劃、設計、監控維護、升級、備份、鏡像、容災;

　　2、數據庫服務器的安裝部署、性能優化、可靠性、容災方案制定等;

　　3、對數據庫性能分析與調優，排錯，保證數據安全;

　　4、負責對開發工程師的SQL語句進行優化;

　　5、配合研發制定數據庫技術方案，分庫分表策略，現有表結構優化，數據遷移方案;

　　6、負責Mysql自動化相關事宜;

數據采集工程師崗位職責 篇30

　　任職要求：

　　1、軟件、計算機、通訊等理工科相關專業本科及以上學歷；

　　2、具有3年配置管理或產品數據管理經驗；

　　3、熟悉計算機與網絡管理；

　　4、熟悉配置管理與產品數據管理知識，熟練掌握svn、plm等數據管理平臺的`操作與管理；

　　5、熟悉系統與信息安全知識；

　　6、具有較強的邏輯思維能力及良好的溝通能力，良好的主動學習能力及執行力。

數據采集工程師崗位職責 篇31

　　崗位職責：

　　1、負責構建公司數據分析與數據挖掘業務分析體系,整體架構設計、規劃,充分發揮數據的價值,提高數據質量,促進公司業務更好的發展;

　　2、通過建立業務的數據分析模型來指導業務的發展,對數據庫信息進行深度挖掘和有效利用,充分實現數據的商業價值,構建公司核心競爭力;

　　3、跟蹤并分析用戶行為,為公司廣告業務的發展及產品的設計進行海量數據支持;

　　4、負責數據管理中心團隊的建設、發展、激勵、培訓等管理工作,有效領導數據分析與挖掘團隊支持和推動業務發展。

　　任職要求：

　　1、熱愛數據,對數據及邏輯關系敏感,并對數據體系有深入的認識;

　　2、本科以上學歷、計算機/統計學/經濟學等相關專業，有一定工作經驗，;

　　3、具備數據建模(機器學習,數據挖掘,信息檢索背景)和分析理論知識和經驗;

　　4、熟悉Linux平臺的海量數據分布式存儲、分布式計算;

　　5、熟悉常用的數據分析工具，有基于Hadoop的云計算平臺，HBase及類似的NoSQL存儲, MySQL,和BI系統等實踐經驗;

　　6、熟悉互聯網并且對于互聯網常見的業務形態與商業模式有深入的理解,對業務變化有敏銳的洞察力;

　　7、有較強的對業務理解與分析能力，了解業務規劃與策劃能力以及相應經驗;

　　8、具備較強的問題定位、分解、解決能力及計劃和組織能力;

　　9、善于創新、思維敏捷、精力充沛，溝通能力強，能夠承受較大工作壓力;

　　10、有電子商務或互聯網數據倉庫或商業智能架構設計、開發實施經驗者優先。

數據采集工程師崗位職責 篇32

　　崗位職責:

　　1.從事數學建模及數據挖掘應用方法研究;

　　2.與開發部門配合實現相應的數據分析模塊的開發;

　　3.制定公司數據可管理體系,建產研究用數據平臺。

　　任職要求:

　　1.應用數學、統計學、計算機等專業碩士以上學歷;

　　2.具備常用機器學習、數據挖掘相關知識,會spark;

　　3.具備一種或多種開發語言(如scalapython java等)的.程序和算法開發能力,掌握常用數據結構和算法;

　　4.有視頻、地圖、文本、社交等大數據分析能力;

　　5.有工業數據分析工作經驗者優先。

數據采集工程師崗位職責 篇33

　　1.高質量地完成集團內外各類數據生產集成、數據分析應用建設工作，涉及投研、市場、ERP、全球金融資訊等四個業務領域方向;

　　2.需求及源系統數據分析，完成數據倉庫/EDM等系統數據模型及應用模型設計、數據Mapping規則文檔撰寫、開發、自測及上線部署;

　　3. 數據質量稽核、問題分析及處理,優化數據處理程序;

　　4. 洞察數據、滿足業務場景需求。

數據采集工程師崗位職責 篇34

　　工作職責：

　　1、運用數據挖掘和機器學習方法和技術，深入挖掘和分析海量商業數據

　　2、包括但不限于風控模型、用戶畫像、商家畫像建模、文本分析和商業預測等

　　3、運用數據挖掘/統計學習的理論和方法，深入挖掘和分析用戶行為，建設用戶畫像

　　4、從系統應用的角度，利用數據挖掘/統計學習的理論和方法解決實際問題

　　任職要求

　　—計算機、數學，統計學或人工智能等相關專業碩士以上學歷，5—10年以上或相關工作經歷

　　—精通1—2種編程語言（Python或Java），熟練掌握常用數據結構和算法，具備比較強的'實戰開發能力，能帶領團隊共同進步。

　　—具有統計或數據挖掘背景，并對機器學習算法和理論有較深入的研究

　　—熟悉數據挖掘相關算法（決策樹、SVM、聚類、邏輯回歸、貝葉斯）

　　—具有良好的學習能力、時間和流程意識、溝通能力

　　—熟悉Spark或hadoop生態分布式計算框架

　　—優秀的溝通能力，有創新精神，樂于接受挑戰，能承受工作壓力

　　—有互聯網，央企，政務，金融等領域大規模數據挖掘經驗者優先