數據平臺崗位職責(通用11篇)
數據平臺崗位職責 篇1
1、負責騰訊云數據平臺產品中心整體項目管理工作,確保項目團隊各干系人協同工作,達到項目目標;
2、負責騰訊云數據平臺產品中心研發項目管理工作,對項目資源、項目節奏、項目進度、項目質量、項目風險等進行有效管理;通過組織項目需求評審、項目例會、制定并推廣項目流程規范,確保項目有序推進;
3、負責騰訊云數據平臺產品中心團隊氛圍建設管理;
任職要求:
1.本科及以上學歷,計算機、通信或相關專業優先;
2.至少2年以上項目管理經驗,軟件或it相關領域項目管理經驗優先;
3.精通項目過程管理,對敏捷項目管理有實際應用經驗及深刻理解;
4.具有較強的自驅力和執行力,極具正能量和感染力,積極推動項目團隊朝目標前進;
5.具有豐富的與人溝通、交流和組織協調能力,出色的團隊合作精神;
6.具有tob和tog溝通經驗者優先;
數據平臺崗位職責 篇2
職位描述:
1、面向公司的大數據開發套件產品設計與研發,包括大數據任務建設平臺,元數據管理系統,數據質量監控平臺,任務運維平臺等
2、參與需求調研與用戶技術支持
3、追求極致,構建業內領先的數據平臺產品
任職要求:
1、精通java/scala語言,包括jvm、類裝載、線程、并發、io資源管理、網絡
2、扎實的計算機基礎,對技術有熱情,愿意不斷嘗試新技術和業務挑戰
3、精通soa架構和微服務架構
4、有ide開發經驗者優先考慮
5、熟悉前端技術的全棧開發工程師優先
6、熟悉hadoop ecosystem常用開源框架者優先,例如hadoop/flink/spark等
數據平臺崗位職責 篇3
職位描述:
1、負責大數據開源組件的調研
2、負責大數據平臺自研平臺系統及功能模塊設計與開發
3、配合架構師及測試按時完成開發,保證產品正常發布與迭代
任職要求:
1、本科以上學歷,計算機相關專業
2、2年以上大數據平臺開發經驗
3、精通java,熟悉linux系統,深入理解并使用主流技術框架,如springboot、mybatis、mq、redis、zk、spring cloud等技術棧,具備豐富的分布式系統的研發經驗
4、熟悉hadoop生態圈其他系統,包括hive,pig,hbase,spark,kafka,oozie,sqoop,flume,zookeeper,strom,flink,并了解其原理
5、熟練掌握各類數據結構與算法,具有較強的編碼能力
6、具有良好的團隊合作精神和表達溝通能力
7、有數據中臺,數據服務平臺開發經驗,熟悉hadoop生態圈組件者優先
數據平臺崗位職責 篇4
職位描述:
1、負責公司級別的異構數據源傳輸平臺架構設計與核心技術研發
2、參與需求調研與用戶技術支持
3、追求極致,構建業內領先的異構數據源傳輸產品
任職要求:
1、精通java/scala語言,并發編程,jvm
2、精通數據庫技術,rdbms、nosql、大數據至少精通一種
3、精通數據庫日志抓取解析、message queue、etl等數據處理技術
4、扎實的計算機基礎,對技術有熱情,愿意不斷嘗試新技術和業務挑戰
5、有canal運維或開發經驗者優先
6、熟悉hadoop ecosystem常用開源框架者優先,例如hadoop/flink/spark等
數據平臺崗位職責 篇5
職位描述:
1、基于每日百億級展現數據,搭建大數據處理平臺;實現流式事件的實時計算,落地儲存。對于離線數據完成數據倉庫的建立,為數據挖掘提供有效的數據。
2、使用用戶行為數據,廣告投放數據,挖掘數據層次關系,利用機器學習算法,解決媒體、流量、充分競價等對優化廣告投放流程,
3、數據分析,挖掘,模型具體的產品化;了解廣告業務能,和pm合作,基于數據驅動持續優化數據產品。
任職要求:
1、熟悉c++、java、python中的一種或多種編程技術,編程能力強,熟悉大數據處理技術,善于學習應用業界領先數據架構和技術。
2、熟悉數據挖掘算法,包括數據清洗、統計學習、分類聚類算法,并能夠驗證算法效果,將算法應用在廣告業務中。
3、善于學習,有想要折騰的想法。有廣告調優背景優先,對廣告行業有自己思考的優先。
數據平臺崗位職責 篇6
職位描述:
基于海量的微信支付用戶、商戶、交易和行為數據,使用業界開源的主流技術棧以及我們自研的大數據技術相結合,構建金融級的大數據平臺,提供金融級數據安全保障和質量保障,為數據開發者提供工業化的數據平臺服務,建立元數據管理、血緣關系、計算任務和計算資源的動態管控、全方位的數據安全風險控制,為數據分析、智慧推薦、金融風控等業務提供數據平臺支撐;
負責微信支付大數據基礎平臺相關開發工作;
負責大數據采集、計算、分析處理相關開發工作;
負責大數據治理相關開發工作,提供一站式的數據平臺及工具支持。
任職要求:
本科及以上學歷,計算機相關專業,3年及以上開發經驗;
熟悉java、php、shell、python等至少三種開發語言;
有分布式系統、大數據服務、數據分析方面的開發經驗者優先;
熟悉hadoop,spark,storm,flink,kafka、elasticsearch、druid等平臺和組件,有相關項目經驗優先;
良好的.溝通表達能力,執行力力強,對待工作認真嚴謹、高度負責。
數據平臺崗位職責 篇7
職位描述:
負責騰訊微校數據平臺搭建與數據分析工作;
承擔大數據etl、高效計算、即時查詢等數據處理分析工程開發;
bi與大數據產品架構設計與開發。
任職要求:
本科及以上學歷,數學或計算機相關專業背景;
有互聯網公司的從業經驗,三年以上數據平臺開發或數據分析工作經驗;
熟練掌握sql語言,了解hadoop、hbase、hive、spark、flink等組件的工作原理;
熟悉機器學習、數據挖掘、數據分析、分布式計算至少一方面,有較深的理論研究和實踐經驗優先;
熟練掌握scala/java/python中的至少一門語言,有其他腳本語言開發經驗的優先;
數據敏感,有良好的邏輯思維能力,較強的溝通能力和團隊合作精神,勇于承擔工作壓力。
數據平臺崗位職責 篇8
職位描述:
1.負責廣告數據平臺實時指標計算、歸因、實驗平臺等業務的計算架構設計與開發;
2.負責對實時計算服務的性能進行優化;
3.負責指導其他工程師進行業務功能開發。
任職要求:
1.3年以上相關工作經驗,計算機相關專業本科及以上學歷;
2.具備扎實的java語言基礎;
3.熟悉并行計算或者分布式計算原理,熟悉高并發、高穩定性、可線性擴展、海量數據的系統特點和技術方案;
4.有storm/sparkstreaming/flink等數據平臺的開發和使用經驗;
5.對性能調優,算法效率和分布式計算的資源管理策略有較深的理解;
6.熟悉zookeeper/kafka/hadoop/hbase/flume/redis等平臺者優先;
7.具備較強的業務需求分析能力,問題定位能力良好的溝通能力和自我學習能力。
額外加分項:
github等開源社區貢獻者。
數據平臺崗位職責 篇9
職位描述:
1、參與小鵬汽車技術中臺的大數據云平臺產品建設,包括:實時計算處理平臺、離線計算處理平臺、調用鏈分析監控、日志處理平臺;
2、分析系統瓶頸,處理、協調和解決基礎框架中出現的技術問題;
3、大數據新技術研究和應用,并推動適合技術應用于生產;
任職要求:
1、計算機相關專業,本科或以上學歷,五年以上開發工作經驗,有基礎架構開發經驗優先;
2、熟練java、python服務端編程,有良好的編碼習慣;
3、深入理解mapreduce,熟練使用storm/flink、hadoop、spark,并閱讀部分源碼;
4、熟練使用hadoop、hdfs、hbase、kafka、elasticsearch;
5、具有自然語言處理、信息檢索、機器學習、web挖掘、搜索引擎、推薦引擎等相關經驗優先;
6、熟悉docker容器及容器化技術,有kubernetes實戰經驗者優先;
7、對新技術有執著追求,熱愛編程。善于抽象、總結、思考,能及時關注和學習業界最新技術;
8、有較強的自學能力和鉆研精神,具有良好的溝通能力和團隊合作能力,綜合能力強。
數據平臺崗位職責 篇10
職位描述:
負責spark、hadoop計算平臺的設計和開發工作,構建高效穩定的計算平臺,為業務提供大數據分析所需的海量計算服務;
負責數據倉庫、以及機器學習平臺的建設。
任職要求:
計算機相關專業,本科及以上學歷,2年以上大數據平臺開發、運維經驗;
對spark、hadoop平臺計算原理有深刻理解,能夠閱讀spark、hadoop源碼;對社區有源碼貢獻者優先;
熟悉spark流計算框架或其他開源實時計算框架;
有elasticsearch集群運維、開發經驗者優先;
有數據倉庫建設經驗者優先;
數據大數據算法經驗、機器學習平臺建設經驗者優先;
精通java、熟練掌握mapreduce原理及數據分析相關的二次開發;
對新技術充滿熱情,具有良好的學習能力、團隊協作能力和溝通能力;
能承受較大的工作壓力。
數據平臺崗位職責 篇11
工作職責:
1、負責離線計算平臺的開發和維護工作;
2、負責hbase/tidb的開發與維護工作;
3、負責alluxio/arrow等開發與維護工作。
任職要求:
1、5年以上相關領域開發經驗,熟悉java/go/c++的一種;
2、對數據庫系統或分布式系統的原理和架構有較好的了解;
3、優秀的發現和解決問題能力,良好的溝通能力和團隊意識。
加分項:
1、熟悉hadoop生態,參加過開源項目;
2、熟悉hive、spark、hdfs、hbase、tidb中至少一種產品的實現細節;
3、有數據庫/數據治理產品的開發和運維經驗。
