大數據架構師崗位的工作職責

大數據架構師崗位的工作職責（通用13篇）

大數據架構師崗位的工作職責 篇1

　　職責：

　　1.能夠帶領技術人員基于hadoop平臺進行海量數據應用系統開發;

　　2.負責結構化和非結構化數據的解析和清洗,海量數據查詢和報表展現;

　　3.負責超大規模數據平臺的搭建、維護和優化;

　　4.負責大數據采集、存儲框架研究，參與在線或離線數據存儲模型設計;

　　5.負責大數據平臺新技術的開發使用和性能優化，測試。

　　任職資格：

　　1.計算機相關專業本科及以上學歷;

　　2. 熟悉hadoop相關各種開源項目，比如HDFS/Hive/Hbase等有實際應用。(5年以上開發經驗者優先);

　　3.兩年以上熟練編寫mapreduce代碼經驗，有三年以上網絡日志分析、ETL經驗。熟悉日志分析框架chukwa,flume,scribe者優先;

　　4.兩年以上海量數據存儲的安裝部署、優化、二次開發經驗，對大規模數據存儲、傳輸、處理等有豐富的經驗;

　　5.在數據挖掘、數據密集型處理、分布式計算、網格計算領域有深入理論基礎;

　　6.具有較強的文檔撰寫能力，較強的團隊精神和合作精神，對工作有熱情，能承受壓力。

大數據架構師崗位的工作職責 篇2

　　職責：

　　1、負責大數據平臺架構的規劃與設計;

　　2、負責大數據平臺技術框架的選型與技術難點攻關;

　　3、參與企業級大數據產品和應用規劃;

　　4、研究跟進大數據架構領域新技術并分享;

　　5、大數據處理和分析應用平臺的設計指導。

　　任職資格：

　　1、 具備深厚的分布式系統或數據庫系統的理論基礎，熟悉分布式計算系統的工作機制，具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經驗;

　　2、熟悉BI平臺架構及相關項目標準，大數據解決方案包括Hadoop、Spark、Storm、機器學習等大數據平臺解決方案;

　　3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流數據數據庫;

　　4、 精通Linux/Unix環境，精通J java、scala、python、R中的一種或多種語言;

　　5、 具備優秀的團隊意識和溝通能力，學習能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰;

　　6、大專及以上學歷，3年及以上工作經驗。

大數據架構師崗位的工作職責 篇3

　　職責：

　　1. 規劃設計大數據平臺整體架構，規劃各種組件，并且指導技術團隊完成相關系統驗證、安裝、部署、配置;

　　2. 負責制定大數據平臺技術規范和接口規范，指導研發團隊按照規范進行系統開發;

　　3. 配合商務人員完成售前技術支持工作;

　　4. 完成其他與數據應用有關的技術工作;

　　任職要求：

　　1. 計算機相關專業本科學歷，5年以上工作經驗;

　　2. 對大數據技術棧有非常深刻的了解;具備架構設計的實際經驗;

　　3. 對信息安全架構設計及實施有一定的經驗;

　　4. 熟悉Linux、Windows等操作系統的安裝配置;

　　5. 熟悉互聯網應用的安裝配置;熟悉常見大數據技術棧組件的安裝配置;熟悉Visio等繪圖工具的使用;

　　6. 有衛生信息化建設經驗者優先;有容器安裝部署經驗者優先。

大數據架構師崗位的工作職責 篇4

　　職責：

　　1.負責數據倉庫建設，基于數據驅動構建企業級數據模型，根據架構設計進行各層數據模型開發。

　　2.面向PB級別超大規模數據處理和查詢需求，設計適合業務變化的合理的多維數據分析系統架構，滿足多樣性需求。

　　3.構建設計良好的數據流、調度系統、查詢引擎、監控系統，保證系統穩定高效運行，以實現數據的最大價值。

　　4.指導團隊成員開展數據倉庫建設。

　　5.參與重點項目的評審，參與企業數據管理體系建設。

　　任職要求：

　　1.統招本科及以上學歷。

　　2.從事數據倉庫領域至少5年以上，熟悉數據倉庫模型設計與ETL開發經驗 ，掌握Kimball的維度建模設計方法，具備海量數據加工處理(ETL)相關經驗 。

　　3.具有一定數據模型和數據架構基礎，熟悉hadoop\hive和常用數據庫。

　　4. 精通SQL，有一定的SQL性能調優經驗，熟悉hive sql的開發。

　　5.具有管理團隊開發經驗，具備良好的組織能力、協調能力及項目管理能力。

　　6.具有較好的文字功底及語言表達能力，能夠快速、準確地理解需求。

　　7.具有專研、快速學習和創新精神，具備獨立分析問題和解決問題的能力。

　　8.具有責任心，時間觀念強，工作獨立性強，有良好的團隊合作精神。

　　9.全日制普通本科畢業。

大數據架構師崗位的工作職責 篇5

　　職責

　　1、負責企業級大數據平臺、數據云服務的設計與開發;

　　2、基于大數據生態圈，支持智慧交通等大數據場景應用實現;

　　3、負責公司大數據產品的設計、封裝與落地;

　　4、負責學習大數據相關算法研究、實現與應用

　　任職要求

　　1、統招本科及以上學歷;2年以上智慧城市建設或交通行業信息化相關工作經驗，3年以上大數據架構設計、開發經驗;

　　2、精通大數據生態圈的技術，包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備源碼級問題解決和集群優化改造能力;

　　3、熟悉常用編程語言，包括Java、Python、Scala等;

　　4、具有很強的技術研發和創新能力，能有效把握技術發展方向，有較強的執行能力、學習能力、溝通能力、適應能力，責任心強;

大數據架構師崗位的工作職責 篇6

　　職責：

　　1、負責大數據平臺的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;

　　2、負責大數據平臺的架構評審，代碼評審，上線評審;參與數據應用需求、設計、審核和評審;

　　3、負責核心模塊研發，負責大數據平臺的搭建，完成系統調試、集成與實施;

　　4、負責建立和維護大數據平臺技術標準規范，指導開發人員編寫代碼;

　　任職要求：

　　1、本科及以上計算機相關專業畢業;

　　2、精通離線和實時數據處理流程，掌握離線數據處理框架hive、impala、spark-sql等，掌握實時數據處理常用技術工具，包括Storm、SparkStreaming等;

　　3、熟悉大數據技術生態圈，精通大數據技術架構，有大數據平臺構建經驗;

　　4、掌握常見數據流接入工具，包括Flume、kafka等;

　　5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);

　　6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優先;

　　7、有實際大規模數據(TB級以上)處理經驗優先;

大數據架構師崗位的工作職責 篇7

　　職責：

　　負責大數據平臺的規劃和搭建、完成大數據平臺的日常運營工作，為數據分析和展現提供支持;

　　對系統框架相關技術和業務進行培訓，并負責核心代碼編寫，指導團隊開發及解決出現的系統問題;

　　參與基于大數據平臺的創新業務場景進行數據產品的架構設計，負責數據產品的研發交付;

　　負責處理大數據平臺的疑難問題，為數據團隊提供可靠的技術支持;

　　負責數據質量、穩定性等數據管理，數據內部共享融通的數據平臺，讓數據標準更規范、數據獲取更高效;

　　及時跟進大數據領域新技術并分享，提升團隊技術能力。

　　任職要求：

　　本科或以上學歷，5年以上數據系統建設經驗，3年以上大數據架構設計經驗;

　　精通 java，python，scala 等一種大數據開發語言，熟悉Hadoop生態圈，包括但不限于hdfs，hive，spark， 有豐富的大數據項目的實踐經驗;

　　具備創新精神，條理清晰，溝通表達和邏輯思維能力強;

　　熟悉數據倉庫的設計和開發，對數據架構有深入的了解和具備相關的項目實踐經驗優先;

　　對SQL on Hadoop 的開源查詢引擎(如Presto、 Apache Drill ) 原理有深入研究優先;

　　有敏捷大數據和數據可視化實踐經驗優先。

大數據架構師崗位的工作職責 篇8

　　職責：

　　負責公司大數據產品架構的設計與實現;

　　配合大數據產品經理完成產品的快速研發與交付;

　　負責大數據產品架構的持續優化設計;

　　負責大數據產品核心組件設計;

　　負責大數據相關數據架構規劃、數據建模、數據庫設計以及大數據產品研發工作;

　　為應用開發團隊提供技術支撐。

　　及時向上級反饋工作進度、遇到的問題或者對現有工作的建議等;

　　完成上級領導交辦的其它各項工作。

　　任職資格：

　　985/211本科及以上學歷，3年以上的大數據開發經驗、

　　2年以上大數據架構設計經驗;

　　豐富的JAVA研發經驗，精通JAVA，熟悉Python Scala等編程語言;具備深厚的分布式系統或數據庫系統的理論基礎，熟悉分布式計算系統的工作機制，具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經驗;

　　熟悉整個大數據的完整處理流程(數據的采集、清洗、預處理、存儲、分析挖掘、機器學習和數據可視化);

　　精通各種大數據相關技術體系：Hadoop、Spark、Storm、ElasticSearch、Kafka;

　　有數據挖掘、機器學習相關應用或研究背景;

　　溝通能力較好，積極主動意識較強，責任心較強。

　　具備優秀的邏輯思維能力，對解決挑戰性問題充滿熱情，善于解決問題和分析問題;

　　良好的團隊合作精神，較強的溝通能力和學習能力 ;

大數據架構師崗位的工作職責 篇9

　　職責：

　　1)負責大數據平臺系統架構設計、核心開發工作(Hadoop&Spark技術方向)，基于業務場景設計最優的系統解決方案。

　　2)構架支持大數量級的數據的大數據平臺系統，及相關監控，拓展系統設計及實現。

　　3)利用Hadoop、Spark等大數據技術對海量數據進行處理，支持BI和數據科學(建模)的應用實現。

　　4)對現有系統的進行架構深入分析及系統優化，進一步提升系統的性能及數據處理能力。

　　任職資格

　　1)統招本科或以上學歷，計算機相關專業， 5年以上軟件開發經驗、3年以上大數據項目經驗。

　　2)具備較豐富的大數據平臺相關構建，維護及調優經驗，有大數據量級下的大數據集市相關經驗。

　　3)具備較豐富的基于Hadoop或Hive或Spark等大數據處理項目經驗，具備一定的數據挖掘經驗。

　　4) 具有阿里云的EMR(emapreduce)的經驗者優先考慮。

　　5)具有良好的業務理解、溝通和協作能力，具有較強的學習和總結能力。

　　6)優秀的團隊合作精神、誠實、勤奮、嚴謹，敢于接受挑戰。

　　7)機器學習技術、數據挖掘經驗豐富者優先考慮。

大數據架構師崗位的工作職責 篇10

　　職責：

　　1.負責企業數據中心建設，設計數據邏輯模型和物理模型，并完成相關開發

　　2.梳理公司各業務線常用的指標和維度，統一指標定義口徑

　　3.根據數據應用開發和數據分析需求，設計數據倉庫信息層模型，提高數據開發的效率

　　4.負責數據模型的運營和優化，及時響應業務邏輯變更，保證模型的數據質量和穩定性

　　5.負責公司數據標簽體系的建設，并推動標簽體系在實際業務場景中落地

　　崗位要求：

　　1.5年以上DW/BI數據架構設計、模型設計和性能調優等相關經驗

　　2.有較強的數據分析能力，精通數據倉庫架構，熟悉Erwin或PowerDesigner建模工具

　　3.精通一種主流關系數據庫(如mysql等)，熟悉Hive開發

　　4.有電商業務經驗，元數據管理，數據質量管理或標簽體系搭建經驗者優先

　　5.優秀的協調溝通與團隊協作能力，極強的責任心，能承受一定的工作壓力，認同企業文化和團隊價值

大數據架構師崗位的工作職責 篇11

　　職責：

　　1.參與公司數據平臺系統規劃和架構工作，主導系統的架構設計和項目實施，確保項目質量和關鍵性能指標達成;

　　2.統籌和推進制造工廠內部數據系統的構建，搭建不同來源數據之間的邏輯關系，能夠為公司運營診斷、運營效率提升提供數據支持;

　　3.負責數據系統需求對接、各信息化系統數據對接、軟件供應商管理工作

　　5.根據現狀制定總體的數據治理方案及數據體系建立，包括數據采集、接入、分類、開發標準和規范，制定全鏈路數據治理方案;深入挖掘公司數據業務，超強的數據業務感知力，挖掘數據價值，推動數據變現場景的落地，為決策及業務賦能;

　　6.定義不同的數據應用場景，推動公司的數據可視化工作，提升公司數據分析效率和數據價值轉化。

　　任職要求：

　　1.本科以上學歷，8年以上軟件行業從業經驗，5年以上大數據架構設計經驗，熟悉BI平臺、大數據系統相關技術架構及技術標準;

　　2.熟悉數據倉庫、熟悉數據集市，了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;

　　3.熟悉大數據相關技術：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

　　4.熟悉制造企業信息化系統及相關數據庫技術;

　　5.具備大數據平臺、計算存儲平臺、可視化開發平臺經驗，具有制造企業大數據系統項目開發或實施經驗優先;

　　6.對數據敏感，具備優秀的業務需求分析和報告展示能力，具備制造企業數據分析和數據洞察、大數據系統的架構設計能力，了解主流的報表工具或新興的前端報表工具;

　　7.有較強的溝通和組織協調能力，具備結果導向思維，有相關項目管理經驗優先。

大數據架構師崗位的工作職責 篇12

　　職責:

　　1、從事電信行業大數據項目相關業務調研、產品標準建設、核心模型設計和優化、系統測試等相關工作

　　2、與數據專業委員會一起研究數據建模方案和建模工具，負責產品線產品的數據架構、數據模型設計

　　3、參與研究數據庫之間的數據轉換方式，參與項目中的數據移植工作，收集在項目中的數據移植經驗，優化產品的數據模型

　　4、負責培訓本部門隊伍的數據模型基礎理論工作，建立數據模型團隊

　　崗位要求：

　　1、統招本科學歷，3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗，具備大型數據倉庫邏輯模型和物理模型設計經驗，精通SQL，有較好的SQL性能調優經驗;

　　2、擁有Python，R等數學建模工具的使用經驗，并具備一定的數據處理和建模經驗，可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法并對其進行完整的解釋和說明;

　　3、熟悉統計學基本原理，做過實戰的數據建模項目;

　　4、有分布式數據倉庫建設相關經驗者優先，具備電信行業數據倉庫建設相關經驗者優先;

大數據架構師崗位的工作職責 篇13

　　職責：

　　1、負責規劃大數據平臺及應用產品的需求和技術方案設計;

　　2、負責數據對接和對外服務設計、開發和維護，并能保證質量和性能;

　　3、負責基于大數據平臺的應用設計、開發和維護;

　　4、能從系統全局和各子系統的角度思考可能存在的問題，并提出改進方案建議;

　　任職要求：

　　1、大學本科6年以上工作經驗，計算機相關專業。

　　2、至少4年以上的Java開發經驗，3年以上大數據應用系統的開發和設計經驗。

　　3、熟悉Hadoop生態圈技術體系， 對離線計算、內存計算和流式計算均有深刻理解， 如Hadoop、Storm、Spark三個中的任意二個， 能進行平臺和組件優化。

　　4、精通Hive、HBase倉庫設計，深刻理解MR運行原理和機制，能進行以提供高任務執行效率的優化。

　　5、精通Java開發，熟悉JVM調優， 對GC有深刻理解。

　　6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關技術， 能進行hbase可靠性診斷和維護。

　　7、快速研究和學習技術能力。