大數據開發工程師的工作職責模板(通用14篇)
大數據開發工程師的工作職責模板 篇1
職責:
1、 參與ODS系統或Hadoop 系統數據庫相關開發,包括數據倉庫的數據模型設計(ODS層設計、基礎數據層設計、匯總層設計等);
2、 參與ETL Mapping設計及開發工作;
3、 參與客戶/用戶畫像、經營管理、產品畫像、營銷活動等主題域建設工作。
資質要求:
1.計算機相關專業本科及以上學歷,優秀者放寬至大專;
2.有大型數據庫(ORALCE/MSSQL SERVER等)開發經驗,有Sybase IQ\HIVE\Spark SQL開發經驗者優先;
3、有較強的SQL編程能力,熟練編寫存儲過程,能設計各種復雜的業務處理、統計分析語句,精通sql性能優化;
4、具有數據倉庫、ods、BI商務智能項目經驗者優先,具有金融行業項目背景者優先;
5、較好的溝通理解能力,態度踏實,積極上進。
大數據開發工程師的工作職責模板 篇2
職責
1、負責公司大數據平臺建設工作,完成Hdaoop/Spark搭建部署,根據業務需要進行開發;
2、開發實現網絡爬蟲并爬取所需數據,有效存儲到大數據平臺;
3、對平臺數據做預處理,滿足數據展現及后續機器學習等系統使用;
4、根據業務需要,應用大數據實時分析技術、可視化技術等,并對平臺發展規劃進行設計。
任職資格
1、本科及以上學歷,計算機相關專業;
2、熟悉數據倉庫和數據建模相關技術細節,有編程經驗,熟悉SQL/Hadoop/Hive/Hbase/Spark等大數據工具;
3、具備海量數據處理經驗,或有互聯網行業數據挖掘工作經驗;
4、1年以上崗位經驗優先,本科應屆有意向的,可優先培養。
大數據開發工程師的工作職責模板 篇3
職責:
1.負責金融銀行大數據系統相關模塊的數據架構及研發實施工作
2.依據業務場景、分析需求提供技術解決方案并加以實現;
3.與客戶業務部門對接,解決數據建模、報表和報告在系統開發遇到的問題;
任職資格:
1.具備3年以上DW系統建設經驗,了解BI系統,有數據管理經驗,有維度建模相關經驗,了解數據倉庫建設過程中的挑戰與問題
2.精通多系統數據融合、清洗、轉換、整合,具備海量數據加工處理相關經驗
3.熟悉業界數據倉庫建模方法、元數據管理、數據質量體系管理
4.掌握大型數據庫開發技術(ORACLE/DB2等),有豐富的數據庫模型設計和優化經驗
5.熟練掌握Unix/Linux常規命令、工具及Shell編程
6.掌握一門或多門編程語言優先,如Java、Python、scala等
7.熟悉Hadoop、spark、kafka等大數據生態相關技術,有相關實踐經驗著優先8.良好的語言溝通與表達能力和自我驅動動力9.具備銀行項目設計、開發、優化等經驗者加分
大數據開發工程師的工作職責模板 篇4
職責:
1、獨立負責工作小組,并對下級成員進行監督;
2、具備資源整合以及對軟件項目全局把控的能力;
3、負責軟件項目的系統設計和需求分析;
4、制定軟件項目開發計劃,并按時完成功能模塊的設計、開發以及編程任務;
5、積極配合并完成主管下達的任務,并能夠對軟件部門的發展規劃提出意見;
任職條件
1、大數據相關開發經驗3年以上,至少具備2年以上java開發經驗;
2、有基于hadoop的數據抽取、轉換、加載的開發相關經驗;
3、熟練掌握hadoop生態的相關知識,如hive,hbase,flume.kafka,storm,spark,mapreduce等;
4、熟悉Linux操作系統。熟悉linux各項基本操作,至少掌握一門腳本語言;
5、熟練數據倉庫,對多維數據建模有深入理解;
6、有BI數據平臺、數據倉庫、日志采集、多維數據倉庫設計、開發、架構經驗者優先;
7、思維敏捷,有較強的鉆研學習能力,較好的溝通能力、團隊合作;
大數據開發工程師的工作職責模板 篇5
1、負責數據倉庫和大數據處理模塊的架構設計和開發;
2、負責實現基于Spark框架的分布式計算框架的設計和開發工作;
3、負責Spark技術研究和通用數據平臺的性能調優;
4、負責大數據項目中,基于kafka、flume、spark streaming、Spark SQL等相關技術的海量數據的處理、分析、統計、挖掘工作。
5、熟悉Scala/Java語言,對Scala/Java原理、底層技術有深入研究者優先;
6、有過海量數據系統開發經驗者優先;
7、熟悉Hadoop/Spark生態系統組件的使用,至少有2年以上的Spark開發經驗;
8、寫過推薦系統的優先考慮
大數據開發工程師的工作職責模板 篇6
職責:
1、根據工作安排和設計要求,完成相對應模塊的開發和單元測試,參與系統需求分析;
2、配合進行集成測試、系統測試以及用戶測試;
3、進行軟件維護,解決軟件漏洞、優化軟件、實現變更需求;
4、對系統運行提供技術支持,協助解決運行維護中的問題;
5、參與編寫軟件開發與系統維護相關技術文檔等。
任職條件
1、本科(含)以上學歷,計算機相關專業,3年Java開發經驗,熟悉軟件開發流程。
2、精通java,具備OOA/OOD編程理念,熟悉設計模式。
3、熟悉Struts、Spring、Hiberate 等主流開源框架, 熟悉Weblogic、Tomcat等應用服務器的部署與配置優先;
4、熟悉HMTL,XHTML,Xml,CSS,Javascript,AJAX等網絡技術者優先;
5、了解SQL語法,會java數據庫編程,熟悉Oracle或其他主流數據庫者優先;
6、責任心強,工作積極主動,有耐心,能承受一定工作壓力;有良好的學習能力,樂于學習研究新技術
7、有保險行業經驗者優先
大數據開發工程師的工作職責模板 篇7
1.熟悉Oracle數據庫和Windows/Linux 系統,具有一定的數據庫操作能力和oracle DBA OCP認證優先;
2.熟悉各廠網絡設備,有相關網絡認證、CCNP、CCIE優先;
3.具備較強的客戶溝通能力,能夠耐心、迅速的分析并理解客戶提出的問題和需求;
4.具備良好的團隊合作精神、高度的責任感,對工作積極嚴謹;
5.注重細節,工作細心,有良好的規范化文檔書寫能力;
6.有大型數據庫維護經驗的優先;
7.了解AIX等Unix系統優先;
8.日語口語熟練者N3~可以對接我司JPN項目(有JPN出差機會);
大數據開發工程師的工作職責模板 篇8
職責:
1、 負責社交產品業務的后臺架構設計開發等;
2、 負責社交產品的后臺poss系統架構設計開發;
3、 負責產品的內部財務系統開發;
4、 負責DB設計和大數據處理。
任職資格:
1.計算機或相關專業本科以上學歷,5年以上相關工作經驗;
2.精通java編程語言,扎實的編程基礎,熟悉spring,mybatis等主流開發框架使用及原理;熟悉Linux/Unix系統、多線程編程技術,熟悉MQ,精通高并發處理;
3.熟悉oracle、mysql、mongodb等數據庫;熟悉memcached/redis等nosql;
4.有golang語言和高并發開發經驗優先;
5.精通高并發,有tomcat和jvm優化,互聯網應用架構設計經驗者優先;
6.具備優秀的邏輯思維能力,對解決挑戰性問題充滿熱情,善于解決問題和分析問題;
7. 有強烈的上進心和求知欲,善于學習新事物;良好的團隊合作精神,較強的溝通能力和學習能力
8. 有大型互聯網公司核心部門工作經驗者,和有外企和名校背景者優先。
大數據開發工程師的工作職責模板 篇9
1、參與基站儲能電池PACK方案的制定與實施;
2、參與新產品開發計劃的編制;
3、配合營銷、商務部門,進行電池產品相關工作的支持;
4、配合交付線,與工藝、測試進行對接,協助解決電池產品生產中出現的相關問題;
5、負責項目開發工作,與電芯工程師、結構工程師對接,提出技術指標、可制造性指標和開發關鍵節點;
6、按時完成上級領導交辦的其他工作。
大數據開發工程師的工作職責模板 篇10
職責:
協助項目經理完成相應功能模塊的業務分析、系統設計及數據庫結構設計;
負責相應功能模塊的代碼編寫;
負責編寫相應功能模塊的技術文檔;
配合完成測試和部署工作。
任職資格:
計算機科學與技術、軟件工程等計算機軟件相關專業,本科及以上學歷;
熟練使用安全檢測工具Burp Suite、Fiddler、Fortify SCA、drozer等,進行安全測試;
具有web端和APP端滲透性測試手動測試經驗;
熟悉常見的web安全漏洞TOP10,會進行手工漏洞挖掘:如SQL注入、 XSS跨站腳本、跨站偽造請求、 XML注入、越權訪問、目錄遍歷、敏感信息泄露、CSRF、越權、用戶枚舉及猜解(暴力破解)、明文密碼傳輸、數據加密傳輸、任意URL重定向、授權繞過、JAVA反序列化等;
具有一定的測試環境部署,數據庫環境部署能力;
具有一定的APP開發、web開發能力;
有責任心、團隊協作能力、溝通能力以及良好的抗壓能力。
大數據開發工程師的工作職責模板 篇11
職責:
1、負責自動化運維平臺的開發
2、負責自動化運維平臺與運維工具的整合與優化
3、負責跟進運維平臺的需求收集、反饋、優化和落地實現
4、研究新運維技術,持續優化系統架構
任職資格:
1、3年或以上PHP/Python/Golang開發經驗
2、熟悉LNMP的配置、管理及優化,熟悉devops工具鏈優先
3、有自動化運維,Docker、Kubernetes開發經驗者優先
4、責任心強,有良好的溝通能力、協作能力、學習能力、英文閱讀能力
大數據開發工程師的工作職責模板 篇12
1.負責互聯網系統后端模塊的開發和測試;
2.與前端開發、運營、測試團隊合作完成整個項目開發;
3.編寫及維護軟件功能規格說明書,設計及開發過程中產生的系列文檔;
4.參與系統架構設計和核心代碼的編寫,可指導初級開發人員參與工作;
5.參與網站性能優化、產品體驗優化以及產品功能迭代;與前端開發團隊緊密配合,確保代碼有效對接,優化前端性能。
大數據開發工程師的工作職責模板 篇13
1.根據產品需求開發IOS客戶端產品;
2.驗證和修正測試中發現的問題 ;
3.學習和研究新技術以滿足產品的需求;
4.根據開發過程中的體驗對產品提出改進建議。
大數據開發工程師的工作職責模板 篇14
職責:
1.結合項目或產品涉及的具體業務場景,對數據進行清洗、計算與加工;
2.思路清晰,可快速響應數據處理的需求,評估并給出合理的解決方案,并采用合理的方式處理需求;
3.積極主動,能夠與團隊成員進行有效溝通,并完成數據處理結果的核對與對接;
4.完成上級交辦的工作或任務。
崗位要求
1.計算機相關專業大專以上學歷;
2.2年以上大數據產品或項目開發經驗,精通Hadoop生態圈,熟練使用Spark,HBase、Hive、Kafka、Redis等;
3.精通SQL,熟練使用HSQL實現復雜數據處理邏輯,并具備數據處理調優的能力;
4.熟悉Linux開發環境,熟悉Linux的shell命令。
5.具有良好的邏輯思維能力和嚴謹的程序開發思想,具備獨立問題排查與處理的能力;
6.良好的團隊精神和合作意識,強烈的責任心,對工作有激情,良好的溝通能力,能吃苦耐勞;
7.有大數據項目或產品背景者優先;
8.有使用Spark SQL進行數據處理,并具有Spark SQL優化經驗者優先。
9.有Python或者Shell腳本開發經驗優先
