大數(shù)據(jù)架構(gòu)師崗位的基本職責(精選32篇)
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇1
職責:
1、負責大數(shù)據(jù)項目技術(shù)架構(gòu)評估與設(shè)計;
2、負責關(guān)鍵功能的開發(fā),技術(shù)難題的解決,以及輸出代碼的關(guān)鍵把控;
3、負責對使用關(guān)鍵技術(shù)的預(yù)研和選型,完成PoC;
4、指導(dǎo)工程師完成開發(fā)工作,并能分享技術(shù)經(jīng)驗。
任職要求:
1、3年以上相關(guān)工作經(jīng)驗,其中具有1年以上架構(gòu)設(shè)計經(jīng)驗
2、熟悉商業(yè)智能系統(tǒng)相關(guān)技術(shù),如 ETL、數(shù)據(jù)倉庫、OLAP開發(fā);
3、精通設(shè)計模式,熟悉面向服務(wù)架構(gòu)(SOA)以及其它常用軟件架構(gòu)思想,有SOA方案設(shè)計、開發(fā)實施的實際經(jīng)驗,要具備實際的服務(wù)規(guī)劃、服務(wù)粒度劃分經(jīng)驗;并且要善于設(shè)計可重用組件和可定制化產(chǎn)品。
4、相關(guān)技術(shù)棧:Java /Scala/Flume/Hive/Kafka/HBase/ Spark/Storm/Redis;
5、有扎實的計算機基礎(chǔ),熟悉Java等編程語言;
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇2
職責:
1、負責大數(shù)據(jù)平臺架構(gòu)的評估、規(guī)劃和設(shè)計 ;負責海量數(shù)據(jù)采集、處理及存儲、應(yīng)用方案的技術(shù)選型及架構(gòu)實現(xiàn);
2、開發(fā)大數(shù)據(jù)平臺的核心代碼,負責大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實施,技術(shù)難題的解決,保證大數(shù)據(jù)產(chǎn)品的上線運行 ;
3、根據(jù)業(yè)務(wù)需求持續(xù)優(yōu)化數(shù)據(jù)架構(gòu),保證產(chǎn)品的可靠性、穩(wěn)定性 ;
4、指導(dǎo)開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設(shè),分析模型構(gòu)建及分析呈現(xiàn) ,分享技術(shù)經(jīng)驗;
5、負責大數(shù)據(jù)平臺的架構(gòu)評審,代碼評審,上線評審;參與數(shù)據(jù)應(yīng)用需求、設(shè)計、審核和評審;
6、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進業(yè)界先進技術(shù);
任職資格:
1.本科及以上學歷,數(shù)學或計算機相關(guān)專業(yè)畢業(yè),不少于5年的工作經(jīng)驗,具有扎實的計算機基礎(chǔ)理論知識;
2.有3年以上Hadoop、Spark、Hbase平臺性能調(diào)優(yōu)經(jīng)驗;熟悉sparkstreaming等實時計算技術(shù)
3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等,具備實際項目設(shè)計及開發(fā)經(jīng)驗;
4.熟悉sparkstreaming等相關(guān)的實時計算技術(shù);
5.熟悉大規(guī)模數(shù)據(jù)挖掘、機器學習、自然語言處理、分布式計算中一項或多項技術(shù),并具備多年的實際工作經(jīng)驗;
6.熟悉主流關(guān)系型數(shù)據(jù)庫(Oracle、MySql)、NoSql數(shù)據(jù)庫,熟悉pl/sql編程;精通Linux操作系統(tǒng),熟練使用Java;熟悉常用框架.如Spring、MyBatis等;
7.具有較強的執(zhí)行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇3
職責:
1、負責自然語音交互、IOT家電物聯(lián)控制、知識圖譜等相關(guān)模塊和系統(tǒng)的開發(fā);
2、負責掌握第三方接口的調(diào)用和功能實現(xiàn),持續(xù)優(yōu)化服務(wù)性能和容量,并保證產(chǎn)品的兼容性和執(zhí)行效率;
3、根據(jù)設(shè)計文檔和需求說明完成代碼編寫、調(diào)試、單元測試與維護,確保項目進度和質(zhì)量;
4、協(xié)助制定測試計劃,及時發(fā)現(xiàn)并修復(fù)BUG,實現(xiàn)服務(wù)端的性能優(yōu)化。
任職資格:
1、大學本科3年以上工作經(jīng)驗,計算機相關(guān)專業(yè);
2、熟悉軟件項目開發(fā)流程,具有良好編碼風格及文檔編寫能力;
3、熟悉Linux服務(wù)器相關(guān)技術(shù),能夠獨立完成服務(wù)器部署,具有相關(guān)經(jīng)驗;
4、熟悉Hadoop/Spark框架,JAVA基礎(chǔ)扎實;
5、熟練使用Mysql數(shù)據(jù)庫,了解MongoDB或neo4j等分布式數(shù)據(jù)庫;
6、熟悉SpringCloud,SSM,Docker,redis開發(fā)者優(yōu)先;
7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)開發(fā)技術(shù)優(yōu)先;
8、了解Socket網(wǎng)絡(luò)編程、MQTT等,有相應(yīng)實踐經(jīng)驗者優(yōu)先;
9、有智能語音語義、知識圖譜服務(wù)端開發(fā)經(jīng)驗者優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇4
職責:
1、負責大數(shù)據(jù)項目或產(chǎn)品中架構(gòu)設(shè)計、數(shù)據(jù)倉庫公共層與應(yīng)用層建模;
2、負責大數(shù)據(jù)項目或產(chǎn)品中業(yè)務(wù)需求的需求理解、數(shù)據(jù)指標維度需求梳理、數(shù)據(jù)探查和分析,指導(dǎo)技術(shù)團隊進行工作;
3、負責大數(shù)據(jù)項目中的具體技術(shù)管理工作,完成驗收目標。
4、發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問題,推動整體數(shù)據(jù)質(zhì)量提升。
任職要求:
1、計算機相關(guān)專業(yè),3年以上數(shù)據(jù)研發(fā)與數(shù)據(jù)倉庫相關(guān)開發(fā)經(jīng)驗;
2、熟練掌握維度建模方法,有大型數(shù)倉構(gòu)建經(jīng)驗優(yōu)先;
3、精通Oracle/DB2/Teradata等主流數(shù)據(jù)庫編程,有較好的SQL性能調(diào)優(yōu)經(jīng)驗;
4、扎實的編程基礎(chǔ)和動手能力,精通至少一門編程語言,有大數(shù)據(jù)、分布式開發(fā)經(jīng)驗尤佳;
5、有良好溝通協(xié)調(diào)能力,有帶領(lǐng)小團隊或項目管理工作經(jīng)驗;
6、具備很強的責任心,做事細致、嚴謹,同時需要具備較強的溝通和學習能力,能快速理解行業(yè)的需求,對農(nóng)業(yè)等行業(yè)數(shù)據(jù)應(yīng)用有經(jīng)驗者優(yōu)先;
7、能夠接受出差。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇5
職責:
負責公司大數(shù)據(jù)產(chǎn)品架構(gòu)的設(shè)計與實現(xiàn);
配合大數(shù)據(jù)產(chǎn)品經(jīng)理完成產(chǎn)品的快速研發(fā)與交付;
負責大數(shù)據(jù)產(chǎn)品架構(gòu)的持續(xù)優(yōu)化設(shè)計;
負責大數(shù)據(jù)產(chǎn)品核心組件設(shè)計;
負責大數(shù)據(jù)相關(guān)數(shù)據(jù)架構(gòu)規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)庫設(shè)計以及大數(shù)據(jù)產(chǎn)品研發(fā)工作;
為應(yīng)用開發(fā)團隊提供技術(shù)支撐。
任職要求:
本科及以上學歷,3年以上的大數(shù)據(jù)開發(fā)經(jīng)驗、
2年以上大數(shù)據(jù)架構(gòu)設(shè)計經(jīng)驗;
豐富的JAVA研發(fā)經(jīng)驗,精通JAVA,熟悉Python Scala等編程語言;具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎(chǔ),熟悉分布式計算系統(tǒng)的工作機制,具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構(gòu)設(shè)計經(jīng)驗;
熟悉整個大數(shù)據(jù)的完整處理流程(數(shù)據(jù)的采集、清洗、預(yù)處理、存儲、分析挖掘、機器學習和數(shù)據(jù)可視化);
精通各種大數(shù)據(jù)相關(guān)技術(shù)體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有數(shù)據(jù)挖掘、機器學習相關(guān)應(yīng)用或研究背景;
溝通能力較好,積極主動意識較強,責任心較強。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇6
職責:
1. 負責大數(shù)據(jù)基礎(chǔ)和應(yīng)用平臺的整體規(guī)劃和架構(gòu)設(shè)計,參與需求分析,架構(gòu)設(shè)計,詳細設(shè)計以及技術(shù)選型決策
2. 參與數(shù)據(jù)挖掘和建模相關(guān)核心算法的代碼實現(xiàn)
3. 負責大數(shù)據(jù)算法平臺的技術(shù)把關(guān),性能調(diào)優(yōu),控制架構(gòu)質(zhì)量,解決項目技術(shù)難題;對研發(fā)項目和任務(wù)需求進行評估和方案設(shè)計、拆分任務(wù)并指導(dǎo)工程師完成開發(fā)
4. 帶領(lǐng)團隊提供并實現(xiàn)大數(shù)據(jù)算法平臺上各項數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構(gòu)設(shè)計與能力,支持解決方案實施
5. 負責數(shù)據(jù)庫設(shè)計、應(yīng)用架構(gòu)設(shè)計、核心技術(shù)選型等工作
6. 協(xié)調(diào)解決開發(fā)中的技術(shù)問題、設(shè)計和監(jiān)控運營指標,保障系統(tǒng)穩(wěn)定運行
7. 培養(yǎng),指導(dǎo)有能力的員工,指導(dǎo)工程師進行技術(shù)驗證實現(xiàn),核心技術(shù)攻關(guān),解決開發(fā)過程中的技術(shù)難題
任職要求:
1. 熟悉大數(shù)據(jù)和數(shù)據(jù)倉庫的系統(tǒng)架構(gòu)設(shè)計方法
2. 熟練使用并理解HadoopSpark架構(gòu)及生態(tài)。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)
3. 熟悉分布式系統(tǒng)架構(gòu),有分布式實時、離線和機器學習平臺的架構(gòu)和開發(fā)經(jīng)驗,具備海量數(shù)據(jù)清洗、分析處理及存儲的實踐經(jīng)驗
4. 熟練使用JAVA,具有大規(guī)模分布式系統(tǒng)調(diào)優(yōu)經(jīng)驗
5. 熟悉AI相關(guān)算法,熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優(yōu)先;
6. 具備良好的團隊合作精神,對工作充滿激情。
7. 熟悉FusionInsight平臺開發(fā)經(jīng)驗者優(yōu)先
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇7
職責:
1.負責過多個大數(shù)據(jù)項目的架構(gòu);
2.精通Hadoop、Spark, HBase等主流的大數(shù)據(jù)平臺、精通各組件優(yōu)化設(shè)計原理;
3.精通大數(shù)據(jù)實時流式處理的設(shè)計和應(yīng)用;
3.熟悉大數(shù)據(jù)平臺調(diào)優(yōu),具備大數(shù)據(jù)生產(chǎn)平臺調(diào)優(yōu)經(jīng)驗;
4.金融行業(yè),運營商行業(yè)大數(shù)據(jù)架構(gòu)經(jīng)驗更優(yōu);
5.研究大數(shù)據(jù)技術(shù)的最新發(fā)展,并引入到公司技術(shù)架構(gòu);
6.指導(dǎo)大數(shù)據(jù)工程師的日常工作,并培養(yǎng)技術(shù)骨干。
任職資格:
1.計算機相關(guān)專業(yè)本科或以上學歷;
2.具有5年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗;
3.具有2年以上帶團隊經(jīng)驗
4.對Hadoop/Hive/Spark/HBase/ES等等大數(shù)據(jù)常用技術(shù)有深刻理解,能夠帶領(lǐng)團隊進行技術(shù)攻堅,完成中間件的實施、改造、調(diào)優(yōu);
5.精通海量數(shù)據(jù)和實時數(shù)據(jù)的分析處理,能對線上的數(shù)據(jù)處理性能問題做調(diào)優(yōu);
6.精通數(shù)據(jù)倉庫以及維度建模原理,有大型數(shù)據(jù)倉庫建設(shè)經(jīng)驗;
7.精通關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫的使用,熟悉相關(guān)理論;
8.溝通順暢,重點突出,高效。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇8
職責:
1、負責公司大數(shù)據(jù)產(chǎn)品的架構(gòu)設(shè)計,包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)應(yīng)用,并完成相關(guān)架構(gòu)設(shè)計文檔的撰寫;
2、參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程,并參與相關(guān)產(chǎn)品的決策;
3、負責解決核心技術(shù)問題,對技術(shù)方案進行決策;
4、負責大數(shù)據(jù)研發(fā)團隊建設(shè)、人才梯隊培養(yǎng)和技術(shù)團隊管理;
5、積極了解業(yè)界發(fā)展,研究與跟蹤大數(shù)據(jù)新技術(shù)發(fā)展方向。
任職要求:
1、精通GoldenGate For BigData相關(guān)理論,具備大型數(shù)據(jù)利用的生產(chǎn)實戰(zhàn)經(jīng)驗;
2、精通數(shù)據(jù)驅(qū)動的理論,設(shè)計并生產(chǎn)上線相關(guān)數(shù)據(jù)驅(qū)動的產(chǎn)品;
3、精通常用消息中間件的使用,例如kafka/RocketMQ/Apache Pulsar,有解讀相關(guān)源碼者優(yōu)先;
4、掌握hadoop、spark生態(tài)體系相關(guān)產(chǎn)品的使用,掌握MapReduce編程或Spark編程;
5、了解傳統(tǒng)數(shù)據(jù)倉庫理論及相關(guān)ETL工具,例如kettle/datastage;
6、熟悉Oracle、Mongodb、Mysql數(shù)據(jù)庫的使用;
7、扎實的Java語言基礎(chǔ),熟悉Java開發(fā)工具和調(diào)試工具的使用;
8、良好的團隊協(xié)作精神,有能力對團隊在軟件設(shè)計、實現(xiàn)和測試方面進行指導(dǎo);
9、良好的邏輯分析能力和溝通能力,執(zhí)行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神,有一定的推動能力;
10、計算機科學、信息技術(shù)或相關(guān)領(lǐng)域本科以上學歷,具有5年以上數(shù)據(jù)平臺項目開發(fā)經(jīng)驗,3年以上的架構(gòu)設(shè)計經(jīng)驗,具有大數(shù)據(jù)平臺應(yīng)用大型項目架構(gòu)設(shè)計經(jīng)驗優(yōu)先;
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇9
1. 負責數(shù)瀾大數(shù)據(jù)平臺的架構(gòu)設(shè)計和研發(fā),建立數(shù)據(jù)生態(tài)服務(wù),解決海量數(shù)據(jù)面臨的挑戰(zhàn);
2. 管理和優(yōu)化Hadoop、Spark等集群,計算作業(yè)的調(diào)優(yōu),保證集群和平臺的高效和穩(wěn)定;
3. 負責Hadoop、Spark、Flink的功能、性能和擴展,解決并實現(xiàn)業(yè)務(wù)需求;
4. 負責大數(shù)據(jù)產(chǎn)品的自動化、離線與實時計算、即席計算、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、機器學習等平臺的設(shè)計和開發(fā);
5. 調(diào)研和把握當前的最新技術(shù),將其中的先進技術(shù)引入到自己的平臺中,改善產(chǎn)品,提升競爭力;
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇10
職責:
1)負責大數(shù)據(jù)平臺系統(tǒng)架構(gòu)設(shè)計、核心開發(fā)工作(Hadoop&Spark技術(shù)方向),基于業(yè)務(wù)場景設(shè)計最優(yōu)的系統(tǒng)解決方案。
2)構(gòu)架支持大數(shù)量級的數(shù)據(jù)的大數(shù)據(jù)平臺系統(tǒng),及相關(guān)監(jiān)控,拓展系統(tǒng)設(shè)計及實現(xiàn)。
3)利用Hadoop、Spark等大數(shù)據(jù)技術(shù)對海量數(shù)據(jù)進行處理,支持BI和數(shù)據(jù)科學(建模)的應(yīng)用實現(xiàn)。
4)對現(xiàn)有系統(tǒng)的進行架構(gòu)深入分析及系統(tǒng)優(yōu)化,進一步提升系統(tǒng)的性能及數(shù)據(jù)處理能力。
任職資格
1)統(tǒng)招本科或以上學歷,計算機相關(guān)專業(yè), 5年以上軟件開發(fā)經(jīng)驗、3年以上大數(shù)據(jù)項目經(jīng)驗。
2)具備較豐富的大數(shù)據(jù)平臺相關(guān)構(gòu)建,維護及調(diào)優(yōu)經(jīng)驗,有大數(shù)據(jù)量級下的大數(shù)據(jù)集市相關(guān)經(jīng)驗。
3)具備較豐富的基于Hadoop或Hive或Spark等大數(shù)據(jù)處理項目經(jīng)驗,具備一定的數(shù)據(jù)挖掘經(jīng)驗。
4) 具有阿里云的EMR(emapreduce)的經(jīng)驗者優(yōu)先考慮。
5)具有良好的業(yè)務(wù)理解、溝通和協(xié)作能力,具有較強的學習和總結(jié)能力。
6)優(yōu)秀的團隊合作精神、誠實、勤奮、嚴謹,敢于接受挑戰(zhàn)。
7)機器學習技術(shù)、數(shù)據(jù)挖掘經(jīng)驗豐富者優(yōu)先考慮。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇11
職責:
負責大數(shù)據(jù)平臺架構(gòu)的規(guī)劃和設(shè)計,主導(dǎo)系統(tǒng)的架構(gòu)設(shè)計和核心模塊開發(fā),確保項目質(zhì)量和關(guān)鍵性能指標達成;
負責大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點攻關(guān),指導(dǎo)開發(fā)大數(shù)據(jù)平臺的開發(fā),保證大數(shù)據(jù)產(chǎn)品的上線運行;
負責深入理解業(yè)務(wù)需求,對業(yè)務(wù)建模,設(shè)計系統(tǒng)架構(gòu),滿足業(yè)務(wù)需求;
負責協(xié)助策略和算法工作,保障數(shù)據(jù)挖掘建模和工程化;
負責根據(jù)業(yè)務(wù)需求整合優(yōu)化數(shù)據(jù)架構(gòu),保證產(chǎn)品的可靠性、穩(wěn)定性;
負責指導(dǎo)開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設(shè)、分析模型構(gòu)建及分析呈現(xiàn);
負責研發(fā)技術(shù)發(fā)展方向,新技術(shù)領(lǐng)域的探索,將新技術(shù)應(yīng)用到公司大數(shù)據(jù)平臺,提升公司效能
任職要求:
本科及以上學歷,擁有5年以上大數(shù)據(jù)平臺產(chǎn)品或分布式系統(tǒng)設(shè)計經(jīng)驗,6年以上的開發(fā)經(jīng)驗;
精通Hadoop,熟悉大數(shù)據(jù)生態(tài)技術(shù),如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大規(guī)模集群架構(gòu)、開發(fā)及運維經(jīng)驗;
熟練掌握java/Scala語言,實現(xiàn)面向?qū)ο箝_發(fā)思想OOA,OOD,OOP;
熟悉linux操作系統(tǒng),熟練掌握腳本言語Shell/Perl/Python等編碼語言;
熟練掌握數(shù)據(jù)倉庫設(shè)計,開發(fā)工作。能夠根據(jù)業(yè)務(wù)設(shè)計并開發(fā)數(shù)據(jù)倉。
具備源碼級問題解決和集群優(yōu)化改造能力者優(yōu)先;
能快速的學習新的開源框架和知識體系,并應(yīng)用到現(xiàn)有架構(gòu)體系中;
邏輯清晰,快速的學習能力,良好的溝通能力、團隊協(xié)調(diào)能力。
具備良好的團隊合作精神,較強的溝通交流能力,具備良好的技術(shù)領(lǐng)導(dǎo)能力;
具備良好的文檔撰寫能力和技術(shù)團隊管理能力
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇12
1、負責大數(shù)據(jù)項目技術(shù)架構(gòu)評估與設(shè)計;
2、負責關(guān)鍵功能的開發(fā),技術(shù)難題的解決,以及輸出代碼的關(guān)鍵把控;
3、負責對使用關(guān)鍵技術(shù)的預(yù)研和選型,完成PoC;
4、指導(dǎo)工程師完成開發(fā)工作,并能分享技術(shù)經(jīng)驗。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇13
職責:
1、正確理解業(yè)務(wù)需求,對需求進行工作量評估;
2、參與項目相關(guān)的需求、設(shè)計、投產(chǎn)手冊等文檔的編寫;
3、根據(jù)進度計劃,完成所承擔功能模塊的設(shè)計、開發(fā)、單元測試、聯(lián)調(diào)測試;
4、配合測試組修復(fù)代碼缺陷,確保功能實現(xiàn)與代碼質(zhì)量;
5、負責所承擔功能模塊投產(chǎn)、部署,及上線后的日常維護;
6、完成項目經(jīng)理或者架構(gòu)師安排的其他工作;
任職資格:
1、本科以上學歷,計算機相關(guān)專業(yè),兩年以上大數(shù)據(jù)開發(fā)經(jīng)驗;
2、熟悉Linux 環(huán)境,掌握shell或python;
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大數(shù)據(jù)開發(fā)組件;
4、精通 ETL,數(shù)據(jù)倉庫的設(shè)計和開發(fā);
5、有大數(shù)據(jù)處理實戰(zhàn)經(jīng)驗,熟悉整個大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、存儲;
6、較強的動手能力和學習能力,良好的溝通能力、團隊協(xié)調(diào)能力;
7、具有銀行、金融行業(yè)從業(yè)背景者優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇14
職責:
1、負責大數(shù)據(jù)項目平臺架構(gòu)的評估、規(guī)劃和設(shè)計
2、開發(fā)大數(shù)據(jù)平臺的核心模塊代碼,負責大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實施,保證大數(shù)據(jù)產(chǎn)品的上線運行
3、根據(jù)業(yè)務(wù)需求整合優(yōu)化數(shù)據(jù)架構(gòu),保證產(chǎn)品的可靠性、穩(wěn)定性
4、指導(dǎo)開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設(shè),分析模型構(gòu)建及分析呈現(xiàn)
5、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進業(yè)界先進技術(shù);
6、根據(jù)項目要求編寫相關(guān)技術(shù)文檔;
7、負責大數(shù)據(jù)平臺的架構(gòu)評審,代碼評審,上線評審;參與數(shù)據(jù)應(yīng)用需求、設(shè)計、審核和評審;
8、負責核心模塊研發(fā),負責大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實施;
9. 負責關(guān)鍵功能的開發(fā),技術(shù)難題的解決,以及輸出代碼的關(guān)鍵把控;
10. 負責對使用關(guān)鍵技術(shù)的預(yù)研和選型,完成 PoC ;
11. 指導(dǎo)工程師完成開發(fā)工作,并能分享技術(shù)經(jīng)驗。
任職資格:
1、精通Linux操作系統(tǒng),熟練使用Java;
2、3年以上大數(shù)據(jù)項目實戰(zhàn)經(jīng)驗,兩個項目的架構(gòu)設(shè)計經(jīng)驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,并熟悉其工作原理;
3、有Hadoop、Spark、Hbase平臺性能調(diào)優(yōu)經(jīng)驗;
4、熟悉其它分布式存儲相關(guān)技術(shù),包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java開發(fā)常用框架.如Spring、MyBatis等;
6、熟悉關(guān)系型數(shù)據(jù)庫如oracle及數(shù)據(jù)庫編程。
7、能夠根據(jù)項目情況安排人力、分配任務(wù),具有較強的團隊管理能力。
8、碩士以上學歷,20xx年以上的工作經(jīng)驗。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇15
1、負責大數(shù)據(jù)平臺的架構(gòu)設(shè)計、核心代碼開發(fā)等任務(wù);根據(jù)項目要求編寫相關(guān)技術(shù)文檔;
2、負責大數(shù)據(jù)平臺的架構(gòu)評審,代碼評審,上線評審;參與數(shù)據(jù)應(yīng)用需求、設(shè)計、審核和評審;
3、負責核心模塊研發(fā),負責大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實施;
4、負責建立和維護大數(shù)據(jù)平臺技術(shù)標準規(guī)范,指導(dǎo)開發(fā)人員編寫代碼;
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇16
1、基于公司大數(shù)據(jù)基礎(chǔ)和數(shù)據(jù)資產(chǎn)積累,負責大數(shù)據(jù)應(yīng)用整體技術(shù)架構(gòu)的設(shè)計、優(yōu)化,建設(shè)大數(shù)據(jù)能力開放平臺;負責大數(shù)據(jù)應(yīng)用產(chǎn)品的架構(gòu)設(shè)計、技術(shù)把控工作。
2、負責制定大數(shù)據(jù)應(yīng)用系統(tǒng)的數(shù)據(jù)安全管控體系和數(shù)據(jù)使用規(guī)范。
3、作為大數(shù)據(jù)技術(shù)方案到產(chǎn)品實現(xiàn)的技術(shù)負責人,負責關(guān)鍵技術(shù)點攻堅工作,負責內(nèi)部技術(shù)推廣、培訓及知識轉(zhuǎn)移工作。
4、負責大數(shù)據(jù)系統(tǒng)研發(fā)項目任務(wù)規(guī)劃、整體進度、風險把控,有效協(xié)同團隊成員并組織跨團隊技術(shù)協(xié)作,保證項目質(zhì)量與進度。
5、負責提升產(chǎn)品技術(shù)團隊的技術(shù)影響力,針對新人、普通開發(fā)人員進行有效輔導(dǎo),幫助其快速成長。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇17
職責:
1. 規(guī)劃設(shè)計大數(shù)據(jù)平臺整體架構(gòu),規(guī)劃各種組件,并且指導(dǎo)技術(shù)團隊完成相關(guān)系統(tǒng)驗證、安裝、部署、配置;
2. 負責制定大數(shù)據(jù)平臺技術(shù)規(guī)范和接口規(guī)范,指導(dǎo)研發(fā)團隊按照規(guī)范進行系統(tǒng)開發(fā);
3. 配合商務(wù)人員完成售前技術(shù)支持工作;
4. 完成其他與數(shù)據(jù)應(yīng)用有關(guān)的技術(shù)工作;
任職要求:
1. 計算機相關(guān)專業(yè)本科學歷,5年以上工作經(jīng)驗;
2. 對大數(shù)據(jù)技術(shù)棧有非常深刻的了解;具備架構(gòu)設(shè)計的實際經(jīng)驗;
3. 對信息安全架構(gòu)設(shè)計及實施有一定的經(jīng)驗;
4. 熟悉Linux、Windows等操作系統(tǒng)的安裝配置;
5. 熟悉互聯(lián)網(wǎng)應(yīng)用的安裝配置;熟悉常見大數(shù)據(jù)技術(shù)棧組件的安裝配置;熟悉Visio等繪圖工具的使用;
6. 有衛(wèi)生信息化建設(shè)經(jīng)驗者優(yōu)先;有容器安裝部署經(jīng)驗者優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇18
職責:
1. 負責大數(shù)據(jù)基礎(chǔ)平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)設(shè)計和研發(fā);
2. 負責實時計算平臺基礎(chǔ)架構(gòu)設(shè)計、部署、監(jiān)控、優(yōu)化升級;
3. 制定項目/數(shù)據(jù)倉庫設(shè)計及實現(xiàn)規(guī)范,指導(dǎo)設(shè)計研發(fā)和部署;
4. 協(xié)助策略和算法團隊工作,保障數(shù)據(jù)挖掘建模和工程化;
5. 深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進業(yè)界先進技術(shù)。
任職要求:
1. 全日制本科及以上學歷,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術(shù)及其生態(tài)圈;
3. 具備Java/C++/Scala等開發(fā)經(jīng)驗,熟悉數(shù)據(jù)挖掘和分析的策略與算法;
4. 具備良好的系統(tǒng)分析能力、故障診斷能力;
5. 有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先;
6、211/985 重點學校畢業(yè)優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇19
1、負責公司大數(shù)據(jù)產(chǎn)品的架構(gòu)設(shè)計,包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)應(yīng)用,并完成相關(guān)架構(gòu)設(shè)計文檔的撰寫;
2、參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程,并參與相關(guān)產(chǎn)品的決策;
3、負責解決核心技術(shù)問題,對技術(shù)方案進行決策;
4、負責大數(shù)據(jù)研發(fā)團隊建設(shè)、人才梯隊培養(yǎng)和技術(shù)團隊管理;
5、積極了解業(yè)界發(fā)展,研究與跟蹤大數(shù)據(jù)新技術(shù)發(fā)展方向。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇20
職責:
1. 負責大數(shù)據(jù)基礎(chǔ)平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)設(shè)計和研發(fā);
2. 負責實時計算平臺基礎(chǔ)架構(gòu)設(shè)計、部署、監(jiān)控、優(yōu)化升級;
3. 制定項目/數(shù)據(jù)倉庫設(shè)計及實現(xiàn)規(guī)范,指導(dǎo)設(shè)計研發(fā)和部署;
4. 協(xié)助策略和算法團隊工作,保障數(shù)據(jù)挖掘建模和工程化;
5. 深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進業(yè)界先進技術(shù);
任職要求:
1. 全日制本科及以上學歷,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術(shù)及其生態(tài)圈;
3. 具備良好的系統(tǒng)分析能力、故障診斷能力;
4 有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇21
職責:
1.負責公司大數(shù)據(jù)底層框架的整體架構(gòu)設(shè)計,結(jié)合公司實際業(yè)務(wù)情況進行技術(shù)選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;
2.負責統(tǒng)一數(shù)據(jù)平臺項目的整體評估、設(shè)計、架構(gòu)及關(guān)鍵模塊的開發(fā),不斷提升系統(tǒng)的穩(wěn)定性和效率;
3.負責架構(gòu)優(yōu)化及系統(tǒng)關(guān)鍵模塊的設(shè)計開發(fā),協(xié)助團隊解決開發(fā)過程中的技術(shù)難題;
4.建立良好的公司內(nèi)外的業(yè)界技術(shù)影響力;有效輔導(dǎo)團隊,提升數(shù)據(jù)研發(fā)能力;
任職要求:
1.從事大數(shù)據(jù)項目相關(guān)開發(fā)和設(shè)計2年以上經(jīng)驗;有作為技術(shù)負責人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)實踐經(jīng)驗優(yōu)先;
2.擁有一定的算法和數(shù)據(jù)結(jié)構(gòu)基礎(chǔ);有很強的數(shù)據(jù)設(shè)計抽象能力,善于從復(fù)雜的數(shù)據(jù)問題中找到關(guān)鍵路徑;
3.熟悉目前正在發(fā)展的大數(shù)據(jù)分布式平臺前沿技術(shù)的應(yīng)用;包括但不僅僅限于:hadoop、storm、spark、等;
4. 良好的邏輯思維能力,良好的業(yè)務(wù)解讀能力,懂電力或通信業(yè)務(wù)優(yōu)先;
5.具有鉆研精神,樂于接受挑戰(zhàn);
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇22
職責:
1、負責面向政府信領(lǐng)域的企業(yè)(不限于)大數(shù)據(jù)平臺、大數(shù)據(jù)應(yīng)用等系統(tǒng)的架構(gòu)設(shè)計、技術(shù)規(guī)劃、技術(shù)選型
2、跟進業(yè)界大數(shù)據(jù)技術(shù)發(fā)展動態(tài),匹配行業(yè)應(yīng)用訴求,制定大數(shù)據(jù)策略,提前識別關(guān)鍵技術(shù)并完成技術(shù)驗證;
3、支撐售前完成項目解決方案技術(shù)架構(gòu)的設(shè)計及重要客戶的交流;
4、負責指導(dǎo)研發(fā)完成大數(shù)據(jù)產(chǎn)品的開發(fā)
5、帶領(lǐng)團隊進行產(chǎn)品核心技術(shù)的創(chuàng)新和積累
崗位要求:
1、熟悉BI和大數(shù)據(jù)領(lǐng)域的解決方案,具備該領(lǐng)域全面的技術(shù)積累,包括報表平臺,OLAP引擎和DB,ETL,數(shù)據(jù)倉庫建模和設(shè)計,海量分布式數(shù)據(jù)處理分析架構(gòu);
2、在大數(shù)據(jù)處理和分析領(lǐng)域具有3年或者以上的技術(shù)規(guī)劃、架構(gòu)設(shè)計經(jīng)驗,并有成功的項目實踐;
3、4年以上Hadoop實戰(zhàn)經(jīng)驗,熟悉Hadoop底層文件系統(tǒng)及分布式計算框架,具備傳統(tǒng)數(shù)據(jù)倉庫、MPP、Hadoop等混搭平臺架構(gòu)的設(shè)計能力和數(shù)據(jù)建模能力,對大規(guī)模數(shù)據(jù)并行計算、傳輸、處理等有豐富的經(jīng)驗;
4、有實際應(yīng)用storm、spark、flume、kafka等項目經(jīng)驗優(yōu)先;
5、卓越的技術(shù)領(lǐng)導(dǎo)力,善于溝通、發(fā)現(xiàn)和解決產(chǎn)品需求階段、開發(fā)階段和測試階段的問題,并能提供合理解決方案,有大中型互聯(lián)網(wǎng)企業(yè)工作背景優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇23
職責:
1. 負責大數(shù)據(jù)平臺的基礎(chǔ)技術(shù)規(guī)劃,編制相關(guān)規(guī)范文檔。
2. 負責大數(shù)據(jù)平臺的數(shù)據(jù)采集,處理,存儲以及挖掘分析的架構(gòu)實現(xiàn)。
3. 負責大數(shù)據(jù)平臺的實際規(guī)劃建設(shè),包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作。
4. 負責大數(shù)據(jù)相關(guān)技術(shù)發(fā)展方向的預(yù)研。
5. 參與業(yè)務(wù)需求調(diào)研,根據(jù)需求及行業(yè)特點設(shè)計大數(shù)據(jù)解決方案并跟進具體實施項目。
6. 制定大數(shù)據(jù)平臺中數(shù)據(jù)質(zhì)量,業(yè)務(wù)質(zhì)量監(jiān)控及管理辦法。
崗位要求:
1. 全日制本科及以上學歷,5年以上工作經(jīng)驗,4年及以上大數(shù)據(jù)架構(gòu)設(shè)計經(jīng)驗,熟悉大數(shù)據(jù)解決方案,包括Hadoop平臺、Spark、storm、機器學習、深度學習等大數(shù)據(jù)解決方案。
2. 深刻理解大數(shù)據(jù)處理(流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲等相關(guān)技術(shù))實現(xiàn)方法。有架構(gòu)和設(shè)計實踐經(jīng)驗。
3. 精通大型數(shù)據(jù)庫Oracle、SqlServer等的開發(fā)。
4. 精通java,Python中的一種或多種語言。
5. 熟悉容器、虛擬化、微服務(wù)框架等相關(guān)技術(shù)。
6. 對數(shù)據(jù)敏感,有嚴謹?shù)墓ぷ魉悸罚己玫臏贤芰蛨F隊合作精神。
7. 熟悉R,Python,SAS、SPSS等數(shù)據(jù)挖掘經(jīng)驗者優(yōu)先。
8. 高寬展性,高性能,和分布式系統(tǒng)的實踐及運維經(jīng)驗者優(yōu)先。
9. 有大型數(shù)據(jù)倉庫實施、大數(shù)據(jù)平臺數(shù)據(jù)開發(fā)經(jīng)驗,熟悉運營商業(yè)務(wù)者優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇24
職責:
1、負責大數(shù)據(jù)平臺的架構(gòu)設(shè)計、核心代碼開發(fā)等任務(wù);根據(jù)項目要求編寫相關(guān)技術(shù)文檔;
2、負責大數(shù)據(jù)平臺的架構(gòu)評審,代碼評審,上線評審;參與數(shù)據(jù)應(yīng)用需求、設(shè)計、審核和評審;
3、負責核心模塊研發(fā),負責大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實施;
4、負責建立和維護大數(shù)據(jù)平臺技術(shù)標準規(guī)范,指導(dǎo)開發(fā)人員編寫代碼;
任職要求:
1、本科及以上計算機相關(guān)專業(yè)畢業(yè);
2、精通離線和實時數(shù)據(jù)處理流程,掌握離線數(shù)據(jù)處理框架hive、impala、spark-sql等,掌握實時數(shù)據(jù)處理常用技術(shù)工具,包括Storm、SparkStreaming等;
3、熟悉大數(shù)據(jù)技術(shù)生態(tài)圈,精通大數(shù)據(jù)技術(shù)架構(gòu),有大數(shù)據(jù)平臺構(gòu)建經(jīng)驗;
4、掌握常見數(shù)據(jù)流接入工具,包括Flume、kafka等;
5、熟練掌握基本的Linux操作系統(tǒng)和某種腳本語言編程(如Shell等);
6、掌握一種或以上實時處理語言,如JAVA、SCALA、PYTHON等,有SCALA經(jīng)驗者優(yōu)先;
7、有實際大規(guī)模數(shù)據(jù)(TB級以上)處理經(jīng)驗優(yōu)先;
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇25
職責:
1.負責企業(yè)數(shù)據(jù)中心建設(shè),設(shè)計數(shù)據(jù)邏輯模型和物理模型,并完成相關(guān)開發(fā)
2.梳理公司各業(yè)務(wù)線常用的指標和維度,統(tǒng)一指標定義口徑
3.根據(jù)數(shù)據(jù)應(yīng)用開發(fā)和數(shù)據(jù)分析需求,設(shè)計數(shù)據(jù)倉庫信息層模型,提高數(shù)據(jù)開發(fā)的效率
4.負責數(shù)據(jù)模型的運營和優(yōu)化,及時響應(yīng)業(yè)務(wù)邏輯變更,保證模型的數(shù)據(jù)質(zhì)量和穩(wěn)定性
5.負責公司數(shù)據(jù)標簽體系的建設(shè),并推動標簽體系在實際業(yè)務(wù)場景中落地
崗位要求:
1.5年以上DW/BI數(shù)據(jù)架構(gòu)設(shè)計、模型設(shè)計和性能調(diào)優(yōu)等相關(guān)經(jīng)驗
2.有較強的數(shù)據(jù)分析能力,精通數(shù)據(jù)倉庫架構(gòu),熟悉Erwin或PowerDesigner建模工具
3.精通一種主流關(guān)系數(shù)據(jù)庫(如mysql等),熟悉Hive開發(fā)
4.有電商業(yè)務(wù)經(jīng)驗,元數(shù)據(jù)管理,數(shù)據(jù)質(zhì)量管理或標簽體系搭建經(jīng)驗者優(yōu)先
5.優(yōu)秀的協(xié)調(diào)溝通與團隊協(xié)作能力,極強的責任心,能承受一定的工作壓力,認同企業(yè)文化和團隊價值
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇26
職責:
1、負責規(guī)劃大數(shù)據(jù)平臺及應(yīng)用產(chǎn)品的需求和技術(shù)方案設(shè)計;
2、負責數(shù)據(jù)對接和對外服務(wù)設(shè)計、開發(fā)和維護,并能保證質(zhì)量和性能;
3、負責基于大數(shù)據(jù)平臺的應(yīng)用設(shè)計、開發(fā)和維護;
4、能從系統(tǒng)全局和各子系統(tǒng)的角度思考可能存在的問題,并提出改進方案建議;
任職要求:
1、大學本科6年以上工作經(jīng)驗,計算機相關(guān)專業(yè)。
2、至少4年以上的Java開發(fā)經(jīng)驗,3年以上大數(shù)據(jù)應(yīng)用系統(tǒng)的開發(fā)和設(shè)計經(jīng)驗。
3、熟悉Hadoop生態(tài)圈技術(shù)體系, 對離線計算、內(nèi)存計算和流式計算均有深刻理解, 如Hadoop、Storm、Spark三個中的任意二個, 能進行平臺和組件優(yōu)化。
4、精通Hive、HBase倉庫設(shè)計,深刻理解MR運行原理和機制,能進行以提供高任務(wù)執(zhí)行效率的優(yōu)化。
5、精通Java開發(fā),熟悉JVM調(diào)優(yōu), 對GC有深刻理解。
6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關(guān)技術(shù), 能進行hbase可靠性診斷和維護。
7、快速研究和學習技術(shù)能力。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇27
職責:
1、負責相關(guān)開源系統(tǒng)/組件的性能、穩(wěn)定性、可靠性等方面的深度優(yōu)化;
2、負責解決項目上線后生產(chǎn)環(huán)境的各種實際問題,保障大數(shù)據(jù)平臺在生產(chǎn)上的安全、平穩(wěn)運行;
3、推動優(yōu)化跨部門的業(yè)務(wù)流程, 參與業(yè)務(wù)部門的技術(shù)方案設(shè)計、評審、指導(dǎo);
4、負責技術(shù)團隊人員培訓、人員成長指導(dǎo)。
5、應(yīng)項目要求本月辦公地址在錦江區(qū)金石路316號新希望中鼎國際辦公,月底項目結(jié)束后在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術(shù)擔當,解決核心技術(shù)問題;
2、3年以上大數(shù)據(jù)平臺項目架構(gòu)或開發(fā)經(jīng)驗,對大數(shù)據(jù)生態(tài)技術(shù)體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐, 注重文檔管理、注重工程規(guī)范優(yōu)先;
4、熟悉Java后臺開發(fā)體系,具備微服務(wù)架構(gòu)的項目實施經(jīng)驗,有Dubbo/Spring cloud微服務(wù)架構(gòu)設(shè)計經(jīng)驗優(yōu)先;
5、性格開朗、善于溝通,有極強的技術(shù)敏感性和自我驅(qū)動學習能力,注重團隊意識。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇28
職責:
1、大數(shù)據(jù)平臺的規(guī)劃、設(shè)計、實施,并優(yōu)化數(shù)據(jù)庫;
2、對數(shù)據(jù)庫進行管理,負責數(shù)據(jù)庫應(yīng)用系統(tǒng)的運營及監(jiān)控;
3、對數(shù)據(jù)庫性能分析與調(diào)優(yōu),排錯,保證數(shù)據(jù)正確率;
4、配合其他部門進行的數(shù)據(jù)處理、查詢,統(tǒng)計和分析工作;
5、完成公司下達的項目開發(fā)任務(wù)。
任職要求:
1、計算機及相關(guān)專業(yè)本科以上學歷,5年以上軟件開發(fā)從業(yè)經(jīng)驗,其中包括至少2年以上的大數(shù)據(jù)開發(fā)工作經(jīng)驗;
2、熟悉hive,hadoop/spark,hbase等大數(shù)據(jù)相關(guān)技術(shù)架構(gòu),有管理或優(yōu)化大型分布式集群經(jīng)驗;
3、熟悉linux基本命令,精通SQL腳本的編寫,有豐富的數(shù)據(jù)庫管理、運維調(diào)優(yōu)經(jīng)驗;
4、熟悉C++、Java、C#等開發(fā)語言;
5、有互聯(lián)網(wǎng)電商行業(yè)大數(shù)據(jù)分析處理和大型數(shù)據(jù)倉庫的設(shè)計和實施經(jīng)驗;
6、有分布式系統(tǒng)分析及架構(gòu)設(shè)計經(jīng)驗和大型計算集群的基礎(chǔ)設(shè)施開發(fā)維護經(jīng)驗;
7、快速處理系統(tǒng)突發(fā)事件的能力,較強的學習和創(chuàng)新能力;
8、良好的溝通能力和團隊合作精神。
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇29
1、正確理解業(yè)務(wù)需求,對需求進行工作量評估;
2、參與項目相關(guān)的需求、設(shè)計、投產(chǎn)手冊等文檔的編寫;
3、根據(jù)進度計劃,完成所承擔功能模塊的`設(shè)計、開發(fā)、單元測試、聯(lián)調(diào)測試;
4、配合測試組修復(fù)代碼缺陷,確保功能實現(xiàn)與代碼質(zhì)量;
5、負責所承擔功能模塊投產(chǎn)、部署,及上線后的日常維護;
6、完成項目經(jīng)理或者架構(gòu)師安排的其他工作;
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇30
1、負責大數(shù)據(jù)平臺資源規(guī)劃、權(quán)限控制、運維架構(gòu)設(shè)計,為各產(chǎn)品業(yè)務(wù)提供穩(wěn)定、高效、安全的運行環(huán)境;
2、負責實時,離線數(shù)據(jù)分析處理及實時平臺的建設(shè)和搭建
3、熟悉 Flink 流式計算引擎的使用以及源碼原理,并且有相關(guān)的流式處理平臺的經(jīng)驗。
4、Java基礎(chǔ)扎實,熟練掌握垃圾回收,網(wǎng)絡(luò),多線程編程,了解 python 或 scala
5、負責大數(shù)據(jù)平臺技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)的分析與設(shè)計;
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇31
職責:
1、負責公司大數(shù)據(jù)平臺架構(gòu)的技術(shù)選型和技術(shù)難點攻關(guān)工作;
2、依據(jù)行業(yè)數(shù)據(jù)現(xiàn)狀和客戶需求,完成行業(yè)大數(shù)據(jù)的特定技術(shù)方案設(shè)計與撰寫;
3、負責研究跟進大數(shù)據(jù)架構(gòu)領(lǐng)域新興技術(shù)并在公司內(nèi)部進行分享;
4、參與公司大數(shù)據(jù)項目的技術(shù)交流、解決方案定制以及項目的招投標工作;
5、參與公司大數(shù)據(jù)項目前期的架構(gòu)設(shè)計工作;
任職要求:
1、計算機及相關(guān)專業(yè)本科以上,5年以上數(shù)據(jù)類項目(數(shù)據(jù)倉庫、商務(wù)智能)實施經(jīng)驗,至少2年以上大數(shù)據(jù)架構(gòu)設(shè)計和開發(fā)經(jīng)驗,至少主導(dǎo)過一個大數(shù)據(jù)平臺項目架構(gòu)設(shè)計;
2、精通大數(shù)據(jù)生態(tài)圈的技術(shù),包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數(shù)據(jù)統(tǒng)計查詢性能優(yōu)化能力。熟悉星環(huán)大數(shù)據(jù)產(chǎn)品線及有過產(chǎn)品項目實施經(jīng)驗者優(yōu)先;
3、優(yōu)秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據(jù)業(yè)務(wù)需求設(shè)計合理的解決方案;
4、精通ORACLE、DB2、mySql等主流關(guān)系型數(shù)據(jù)庫,熟悉數(shù)據(jù)倉庫建設(shè)思路和數(shù)據(jù)分層架構(gòu)思想;
5. 熟練掌握java、R、python等1-2門數(shù)據(jù)挖掘開發(fā)語言;
6. 熟悉云服務(wù)平臺及微服務(wù)相關(guān)架構(gòu)思想和技術(shù)路線,熟悉阿里云或騰訊云產(chǎn)品者優(yōu)先;
7、有煙草或制造行業(yè)大數(shù)據(jù)解決方案售前經(jīng)驗者優(yōu)先;
8、能適應(yīng)售前支持和項目實施需要的短期出差;
大數(shù)據(jù)架構(gòu)師崗位的基本職責 篇32
職責:
1、負責大數(shù)據(jù)開發(fā)團隊建設(shè);
2、負責行業(yè)大數(shù)據(jù)產(chǎn)品架構(gòu)設(shè)計與研發(fā);
3、負責帶領(lǐng)團隊進行行業(yè)大數(shù)據(jù)產(chǎn)品關(guān)鍵技術(shù)攻關(guān)。
任職要求:
1、有三年以上大數(shù)據(jù)應(yīng)用、開發(fā)經(jīng)驗;具備海量數(shù)據(jù)加工處理(ETL)相關(guān)經(jīng)驗,對數(shù)據(jù)挖掘及機器學習有較為深刻的理解;
2、熟悉Hadoop相關(guān)技術(shù),對HDFS、MapReduce、Hive、HBase有一定的使用和開發(fā)經(jīng)驗;
3、熟悉Linux,熟練使用Shell或Python,進行腳本編寫;
4、對數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)統(tǒng)計分析算法有較為深刻理解;
5、掌握至少一種主流關(guān)系數(shù)據(jù)庫開發(fā)技術(shù):Oracle、SQL Server、MySQL等;
6、掌握實時流計算技術(shù),有Spark、Storm開發(fā)經(jīng)驗者優(yōu)先;
7、需要具備2年以上研發(fā)團隊管理經(jīng)驗。
