大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選
大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)該領(lǐng)域所屬模塊的代碼開發(fā)、調(diào)試與維護(hù)工作，并進(jìn)行技術(shù)沉淀和文檔輸出。下面是第一范文網(wǎng)小編整理的大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選。
大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選1
職責(zé)：
1、負(fù)責(zé)公司項(xiàng)目應(yīng)用監(jiān)測數(shù)據(jù)，分析軟件大數(shù)據(jù)平臺的代碼開發(fā);
2、負(fù)責(zé)大數(shù)據(jù)體系架構(gòu)設(shè)計(jì)和應(yīng)用產(chǎn)品的研究;
3、負(fù)責(zé)大數(shù)據(jù)平臺及應(yīng)用場景的構(gòu)建、部署、測試;
4、編寫軟件研發(fā)相關(guān)技術(shù)文檔;
5、編寫產(chǎn)品研發(fā)相關(guān)任務(wù)單計(jì)劃，階段性代碼、技術(shù)方案和軟件產(chǎn)品及時(shí)提交至配置管理理庫;
6、Spark程序的研發(fā)，sqoop腳本開發(fā)和商家用戶行為等離線分析數(shù)據(jù);
7、kudu，kylin等技術(shù)調(diào)研，編寫軟件研發(fā)相關(guān)技術(shù)文檔;
8、SUNMI數(shù)倉設(shè)計(jì)架構(gòu)以及ETL流程開發(fā);
9、建立多維度，多體系的用戶標(biāo)簽體系以及用戶行為數(shù)據(jù)庫。
崗位要求 ：
1、本科以上學(xué)歷，4年以上?工作經(jīng)驗(yàn)，2年以上Hadoop平臺的相關(guān)研發(fā)經(jīng)驗(yàn)，具有良好的需求分析，方案設(shè)計(jì)，架構(gòu)設(shè)計(jì)，程序編寫、測試能力;
2、熟悉J2EE或Python平臺開發(fā)，有良好的Java或Python語言功底;
3、了解Linux/Unix操作系統(tǒng)，了解腳本編程(Shell/Python其中一種);
4、具備數(shù)據(jù)中心資源管理(YARN)、監(jiān)控(ClouderaManage)、調(diào)度(Azkaban)等系統(tǒng)研發(fā)經(jīng)驗(yàn)者優(yōu)先，具備分布式系統(tǒng)研發(fā)經(jīng)驗(yàn)者優(yōu)先;
5、熟悉hadoop以及其?生態(tài)圈系統(tǒng)上的hive、hbase、sqoop、spark、spark-streaming等技
術(shù)，懂hadoop源碼者優(yōu)先;
6、熟悉Kylin有OLAP平臺設(shè)計(jì)和開發(fā)經(jīng)驗(yàn)優(yōu)先;
7、具有應(yīng)用大數(shù)據(jù)技術(shù)處理TB級以上數(shù)據(jù)的項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先;
8、有較清晰的代碼編寫規(guī)范，邏輯性強(qiáng)，工作態(tài)度認(rèn)真，良好溝通能力和團(tuán)隊(duì)合作精神。
大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選2
職責(zé)：
1、 負(fù)責(zé)基于Hadoop/Spark平臺架構(gòu)的開發(fā)、設(shè)計(jì)和布局 ;
2、 完成系統(tǒng)框架的設(shè)計(jì)和核心代碼的編寫;
3、 針對海量的用戶行為數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析與挖掘，不斷提高系統(tǒng)運(yùn)行效率;
4、 負(fù)責(zé)對數(shù)據(jù)進(jìn)行分析，為項(xiàng)目組提供大數(shù)據(jù)技術(shù)指導(dǎo)及分析手段支撐;
5、 負(fù)責(zé)大數(shù)據(jù)平臺的性能監(jiān)控和持續(xù)優(yōu)化;針對需求提供大數(shù)據(jù)分析技術(shù)解決方案 ;
6、 大數(shù)據(jù)平臺的運(yùn)維工作，持續(xù)完善大數(shù)據(jù)平臺，保證穩(wěn)定性、安全性;
7、 熟練使用大數(shù)據(jù)ETL數(shù)據(jù)抽取工具;
8、領(lǐng)導(dǎo)安排的其他工作。
任職資格：
1、 3年互聯(lián)網(wǎng)行業(yè)開發(fā)經(jīng)驗(yàn)，計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷;
2、 精通Hadoop大數(shù)據(jù)平臺架構(gòu)，具有扎實(shí)的Java/Python等開發(fā)語言;并可以開發(fā)高效可靠的代碼;
3、 具有較強(qiáng)的數(shù)據(jù)分析、數(shù)據(jù)挖掘的能力;
4、 熟悉spark、Hive、storm等計(jì)算框架者優(yōu)先，對分布式存儲和計(jì)算原理有較深的理解;
5、 嚴(yán)密的數(shù)學(xué)思維、突出的分析和歸納能力、優(yōu)秀的溝通表達(dá)能;
6、 個(gè)性開朗，對技術(shù)鉆研好學(xué)、邏輯思維能力強(qiáng)，溝通能力優(yōu)秀，有團(tuán)隊(duì)合作精神。
大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選3
職責(zé):
1. 負(fù)責(zé)機(jī)票酒店大數(shù)據(jù)項(xiàng)目的評估、設(shè)計(jì)及關(guān)鍵模塊研發(fā);
2. 參與公司大數(shù)據(jù)平臺及聯(lián)機(jī)分析系統(tǒng)的建設(shè);
3. 機(jī)器學(xué)習(xí)算法討論、評估及算法的最終編碼實(shí)現(xiàn);
4. 數(shù)據(jù)平臺開發(fā)規(guī)范制定，數(shù)據(jù)建模及核心框架研發(fā);
任職要求:
1. 本科及以上學(xué)歷，計(jì)算機(jī)或數(shù)學(xué)相關(guān)專業(yè)，三年以上相關(guān)工作經(jīng)驗(yàn);
2. 掌握J(rèn)ava、Python、Scala等 中的一到兩種語言;
3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL數(shù)據(jù)庫開發(fā)和調(diào)優(yōu);
4. 熟悉數(shù)據(jù)相關(guān)開源框架和工具，如ZooKeeper、Spark、Flink、Impala、Kylin 等;
5. 對數(shù)據(jù)結(jié)構(gòu)和機(jī)器學(xué)習(xí)算法有一定的了解;
6. 具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)項(xiàng)目的工作經(jīng)驗(yàn)者優(yōu)先;
7. 有機(jī)票酒店等旅游行業(yè)數(shù)據(jù)開發(fā)經(jīng)驗(yàn)者優(yōu)先。
大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選4
職責(zé)：
1.負(fù)責(zé)公司環(huán)保大數(shù)據(jù)平臺的架構(gòu)與搭建;
2.負(fù)責(zé)需求分析，根據(jù)客戶應(yīng)用需求規(guī)劃大數(shù)據(jù)平臺架構(gòu);
3.負(fù)責(zé)將大數(shù)據(jù)平臺部署至私有服務(wù)器群、私有云或公有云;
4.負(fù)責(zé)在企業(yè)內(nèi)部進(jìn)行數(shù)據(jù)平臺原型開發(fā)與數(shù)據(jù)實(shí)時(shí)交互、存儲性能測試;
5.負(fù)責(zé)與數(shù)據(jù)挖掘算法交互的架構(gòu)設(shè)計(jì)與開發(fā)。
任職要求：
1.計(jì)算機(jī)相關(guān)專業(yè)，全日制本科以上學(xué)歷;
2.具有3年以上大數(shù)據(jù)相關(guān)應(yīng)用開發(fā)經(jīng)驗(yàn)，有Java開發(fā)經(jīng)驗(yàn)更佳;
3.至少熟悉一種流行的大數(shù)據(jù)編程框架，如Spark，Storm，F(xiàn)link等;
4.熟悉大數(shù)據(jù)生態(tài)圈常用技術(shù)如RocketMQ，Kafka，F(xiàn)lume，Zookeeper等;
5.熟悉Hadoop安裝、調(diào)試、發(fā)布配置應(yīng)用，熟悉Linux操作系統(tǒng)更佳;
6.至少熟悉TIDB，MySQL，SQLServer其中一種數(shù)據(jù)庫;
7.學(xué)習(xí)能力強(qiáng)，對技術(shù)有熱情，關(guān)注技術(shù)發(fā)展方向;
8.具有工業(yè)物聯(lián)網(wǎng)、智慧型環(huán)保項(xiàng)目背景者優(yōu)先。
大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選5
職責(zé)：
1、負(fù)責(zé)公司大數(shù)據(jù)平臺建設(shè);
2、根據(jù)業(yè)務(wù)需求，制定數(shù)據(jù)倉庫和數(shù)據(jù)分析平臺的實(shí)施和持續(xù)更新;
3、攻克技術(shù)難關(guān)，保證大數(shù)據(jù)系統(tǒng)的穩(wěn)定運(yùn)行;
4、完成大數(shù)據(jù)產(chǎn)品的開發(fā)。
職位要求：
1、計(jì)算機(jī)相關(guān)專業(yè)全日制專科及以上學(xué)歷，大數(shù)據(jù)相關(guān)經(jīng)驗(yàn);
2、熟悉Java或Scala語言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大數(shù)據(jù)相關(guān)技術(shù);
3、精通SQL語句并對Redis，Mongodb等NoSQL數(shù)據(jù)庫有一定經(jīng)驗(yàn);
4、對于高并發(fā)、高穩(wěn)定可用性、性能、大數(shù)據(jù)處理有過實(shí)際項(xiàng)目產(chǎn)品經(jīng)驗(yàn)者優(yōu)先;
5、責(zé)任心強(qiáng)，工作踏實(shí)，有團(tuán)隊(duì)協(xié)作精神，溝通能力強(qiáng)者優(yōu)先。