大數(shù)據(jù)開發(fā)工程師的基本職責(zé)
大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)大數(shù)據(jù)平臺(tái)各類環(huán)境的部署及運(yùn)維、并參與架構(gòu)優(yōu)化、性能優(yōu)化等工作。下面是第一范文網(wǎng)小編整理的大數(shù)據(jù)開發(fā)工程師的基本職責(zé)。
大數(shù)據(jù)開發(fā)工程師的基本職責(zé)1
職責(zé)：
1、數(shù)字貨幣領(lǐng)域數(shù)據(jù)統(tǒng)計(jì)分析，負(fù)責(zé)數(shù)字貨幣量化投資策略的設(shè)計(jì)、管理以及實(shí)際投資運(yùn)作
2、與交易員對(duì)接，制定切實(shí)可行的的策略測(cè)試計(jì)劃，開展新策略模型的開發(fā)和驗(yàn)證
3、協(xié)助交易員進(jìn)行交易、風(fēng)險(xiǎn)管理，并對(duì)實(shí)際交易結(jié)果進(jìn)行量化的績(jī)效分析，推動(dòng)交易自動(dòng)化
4、上級(jí)交辦的其他工作
任職要求：
1、數(shù)學(xué)/計(jì)算機(jī)/金融專業(yè)畢業(yè)，有扎實(shí)的算法和機(jī)器學(xué)習(xí)的理論基礎(chǔ)
2、有量化實(shí)盤交易經(jīng)驗(yàn)，具備豐富的數(shù)學(xué)建模經(jīng)驗(yàn)及較強(qiáng)的數(shù)據(jù)處理能力優(yōu)先
3、對(duì)金融市場(chǎng)的價(jià)格波動(dòng)有獨(dú)特理解和深入的量化分析，具備一定對(duì)沖策略研究經(jīng)驗(yàn);
4、對(duì)數(shù)字貨幣領(lǐng)域感興趣，結(jié)果導(dǎo)向;
5、有網(wǎng)頁抓取和爬蟲程序編寫經(jīng)驗(yàn)者優(yōu)先。
大數(shù)據(jù)開發(fā)工程師的基本職責(zé)2
職責(zé)：
1、大數(shù)據(jù)日志分析系統(tǒng)的設(shè)計(jì)，選型和開發(fā);
2、配合各業(yè)務(wù)給予數(shù)據(jù)支持，對(duì)產(chǎn)品和運(yùn)營(yíng)數(shù)據(jù)總結(jié)和優(yōu)化;
3、處理用戶海量數(shù)據(jù)，提取、分析、歸納用戶屬性，行為等信息，完成分析結(jié)果;
4、發(fā)現(xiàn)并指出數(shù)據(jù)異常情況，分析數(shù)據(jù)合理性;
5、公司大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)的運(yùn)維，保障數(shù)據(jù)平臺(tái)服務(wù)的穩(wěn)定性和可用性;
6、大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)的監(jiān)控、資源管理、數(shù)據(jù)流管理;
7、基于數(shù)據(jù)分析的可預(yù)測(cè)的云平臺(tái)彈性擴(kuò)展解決方案。
任職要求：
1、日志分析數(shù)據(jù)系統(tǒng)實(shí)際經(jīng)驗(yàn);
2、3年以上互聯(lián)網(wǎng)行業(yè)研發(fā)經(jīng)驗(yàn)，有使用Hadoop/hive/spark分析海量數(shù)據(jù)的能力;
3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安裝與調(diào)試;
4、熟悉大數(shù)據(jù)周邊相關(guān)的數(shù)據(jù)庫系統(tǒng)，關(guān)系型數(shù)據(jù)庫和 NoSQL。
5、掌握 Linux 操作系統(tǒng)的配置，管理及優(yōu)化，能夠獨(dú)立排查及解決操作系統(tǒng)層的各類問題;
6、有良好的溝通能力，具備出色的規(guī)劃、執(zhí)行力，強(qiáng)烈的責(zé)任感，以及優(yōu)秀的學(xué)習(xí)能力。
大數(shù)據(jù)開發(fā)工程師的基本職責(zé)3
職責(zé)：
1、負(fù)責(zé)數(shù)據(jù)分析、加工、清理、處理程序的開發(fā);
2、負(fù)責(zé)數(shù)據(jù)相關(guān)平臺(tái)的搭建、維護(hù)和優(yōu)化;
3、負(fù)責(zé)基于Hadoop/Spark/Hive/kafka等分布式計(jì)算平臺(tái)實(shí)現(xiàn)離線分析、實(shí)時(shí)分析的計(jì)算框架的開發(fā);
崗位要求：
1、本科學(xué)歷須211院校以上，碩士及以上學(xué)歷不限院校，計(jì)算機(jī)軟件及相關(guān)專業(yè)
2、熟悉Java和Scala語言、熟悉常用設(shè)計(jì)模式、具有代碼重構(gòu)意識(shí);
3、熟練使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底層框架和實(shí)現(xiàn)原理;
4、使用Spark Streaming和Spark SQL進(jìn)行數(shù)據(jù)處理, 并具有SPARK SQL優(yōu)化經(jīng)驗(yàn);
5、需要有至少2年開發(fā)經(jīng)驗(yàn),有flink開發(fā)經(jīng)驗(yàn)優(yōu)先;
6、學(xué)習(xí)能力強(qiáng)，喜歡研究新技術(shù)，有團(tuán)隊(duì)觀念，具備獨(dú)立解決問題的能力。
大數(shù)據(jù)開發(fā)工程師的基本職責(zé)4
職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的基礎(chǔ)環(huán)境搭建與性能優(yōu)化，完成平臺(tái)的構(gòu)建與維護(hù)、實(shí)時(shí)流計(jì)算平臺(tái)、分布式調(diào)度、可視化報(bào)表等平臺(tái)的架構(gòu)與研發(fā);
2、對(duì)各種開源框架進(jìn)行深入的代碼剖析和優(yōu)化;
3、參與大數(shù)據(jù)技術(shù)方案評(píng)審;
4、指導(dǎo)初中級(jí)大數(shù)據(jù)工程師工作;
崗位要求:
1、計(jì)算機(jī)相關(guān)專業(yè)全日制專科及以上學(xué)歷，具有3年或以上的分布式計(jì)算平臺(tái)研發(fā)工作經(jīng)驗(yàn);
2. 對(duì)大數(shù)據(jù)相關(guān)組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構(gòu)與底層實(shí)現(xiàn)有深入理解，具備相應(yīng)的定制和研發(fā)能力，尤其需要精通Flink框架;
3. 具備構(gòu)建穩(wěn)定的大數(shù)據(jù)基礎(chǔ)平臺(tái)的能力，具備數(shù)據(jù)收集、數(shù)據(jù)清洗、數(shù)據(jù)倉庫建設(shè)、實(shí)時(shí)流計(jì)算等系統(tǒng)研發(fā)經(jīng)驗(yàn);
4. 對(duì)技術(shù)有熱情，有不錯(cuò)的數(shù)據(jù)思維和敏感度，有一定的數(shù)據(jù)分析能力優(yōu)先，對(duì)深度學(xué)習(xí)、機(jī)器學(xué)習(xí)有一定的了解優(yōu)先;
5. 工作有計(jì)劃性，責(zé)任心和執(zhí)行能力強(qiáng)，具備高度的責(zé)任心、誠信的工作作風(fēng)、優(yōu)秀溝通能力及團(tuán)隊(duì)精神。
大數(shù)據(jù)開發(fā)工程師的基本職責(zé)5
職責(zé)：
1.參與大數(shù)據(jù)平臺(tái)搭建以及項(xiàng)目技術(shù)架構(gòu)。
2.數(shù)據(jù)分析，挖掘，模型具體的產(chǎn)品化;
3.根據(jù)產(chǎn)品需求，分析編寫和制定大數(shù)據(jù)相關(guān)解決方案
崗位要求：
1、計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷，編程基礎(chǔ)扎實(shí)，有2年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)
2、熟悉Hadoop生態(tài)和體系架構(gòu)，熟悉Flink、Spark，Hive等常用開源工具
3、熟悉Flume，kakfa，scribe等日志收集體系
4、熟悉主流數(shù)據(jù)庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL性能調(diào)優(yōu)經(jīng)驗(yàn)
5、有數(shù)據(jù)倉庫ETL經(jīng)驗(yàn)者優(yōu)先
6、有用戶行為日志采集、海量數(shù)據(jù)處理、數(shù)據(jù)建模方面經(jīng)驗(yàn)者優(yōu)先
7、有持續(xù)學(xué)習(xí)的能力;喜歡開源軟件，樂于知識(shí)分享;對(duì)工作認(rèn)真負(fù)責(zé);可以獨(dú)立承擔(dān)較大工作壓力