大數據開發工程師崗位的主要職責概述

大數據開發工程師崗位的主要職責概述（精選19篇）

大數據開發工程師崗位的主要職責概述 篇1

　　職責：

　　1、參與大數據架構的規劃設計，參與業務建模及數據化運營平臺的搭建、運維，對業務流程與大數據的結合提出建議和解決方案;

　　2、完成基于大數據平臺的業務項目的開發、實施和維護工作;

　　3、負責解決大數據平臺建設過程中的技術難點和性能調優工作;

　　4、參與數據倉庫設計，根據業務需求實現高效率高靈活性的查詢，數據分析，數據挖掘;

　　5、負責高吞吐高可用數據實時和離線采集，高并發的大數據業務架構設計

　　6、負責研發技術發展方向，新技術領域的探索，引入并驗證數據平臺領域新技術，提供系統效能

　　7、對大數據技術及開源框架充滿熱情，具有鉆研精神，能自我學習。

　　任職資格：

　　1、具有5年Java開發經驗，熟悉Spring生態，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數據庫。

　　2、具有2年以上的大數據開發經驗，熟悉大數據、數據倉庫，分布式架構技術理論，具有大數據整體系統架構設計和實戰經驗，熟悉CDH、HDP、TDH至少一款大數據產品，有從無到有建設大數據平臺經驗者優先;

　　3、熟悉大數據組件的開發、搭建、維護以及性能優化;

　　4、較強的開發能力，必須熟練使用相關開發語言(Java/Python/Scala/Shell等)，熟悉大數據生態、關系數據庫和NOSQL數據庫、Linux等相關知識，能夠獨立完成并指導初級開發人員完成大數據相關的技術實現和調優;

　　5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術，能閱讀源碼跟蹤問題。

　　6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，并有實際項目開發經驗。

　　7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件，熟練應用開發，必須熟悉復雜數據查詢性能調優，包括實時查詢和離線批處理查詢，服務器和生態組件的參數優化。

　　8、精通高級算法并有與業務結合落地優先;

　　9、扎實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的數據設計抽象能力，善于從復雜的數據問題中找到關鍵路徑，并且擅于跟業務團隊就業務問題進行良好的溝通，能推動業務的指標化、量化;

　　10、有較好的學習能力、團隊協作精神，認真細心，有強烈的責任心，愛崗敬業，有較高抗壓能力，有較好的工作穩定性。

大數據開發工程師崗位的主要職責概述 篇2

　　職責：

　　1. 對數據進行結構化、標準化處理，對處理流程進行自動化搭建

　　2. 通過ETL/Cube數據建模，構建基于數據倉庫的分析工具;

　　3. 參與數據與公司軟件產品及第三軟件的API對接;

　　4. 搭建與優化，數據采集、處理、可視化流程中所需的框架與模塊開發;

　　5. 協同內外部力量完成需求的表達與技術攻關。

　　任職要求：

　　1. 熟悉數據庫的設計和開發如：Oracle/Mysql/MSSQL/Redis等，有處理大量數據經驗的優先;

　　3. 熟練使用ETL工具進行數據抽取，清洗，轉換，關聯等操作;

　　4. 熟練使用Linux操作系統,具備編寫shell的能力;

　　5. 熟練使用主流的開發框架，掌握以下語言：Java、Python;了解過源碼的優先;

　　6. 具有2年以上數據倉庫(DW)、商務智能(BI)、大數據等方面的軟件或項目開發經驗;

　　7. 了解可視化及BI工具者優先;

大數據開發工程師崗位的主要職責概述 篇3

　　職責：

　　1、 規劃及建設大數據平臺;

　　2、 負責大數據存儲系統、分布式計算系統、挖掘算法等設計、研發以及維護、優化工作;

　　3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;

　　4、 參與項目的系統設計和核心代碼開發，指導和培訓其他工程師;

　　5、 整理和提交技術文檔，負責核心功能模塊的代碼編寫和測試工作。

　　崗位要求：

　　1、 計算機、統計學等相關專業本科及以上學歷，具有深厚的數學、統計學和計算機相關知識，精通數據倉庫和數據挖掘的相關技術，3年以上大數據開發相關經驗;

　　2、具有非常扎實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;

　　3、算法基礎扎實，熟悉常見的數據結構，了解分布式算法和分布式系統的技術原理;

　　4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流云計算，大數據相關軟件有充分的了解，并且有實踐經驗，能解決應用中的復雜問題;

　　5、熟悉大數據處理相關技術，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

　　6、研讀過Hadoop、Hbase、Hive源代碼者，能夠在特定業務中進行定制改造者優先;

　　7、具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先。

大數據開發工程師崗位的主要職責概述 篇4

　　職責：

　　1、參與大規模數據快速查詢系統的架構設計和開發;

　　2、大規模數據挖掘和機器學習算法的實現;

　　3、在線和離線海量數據分析平臺的開發;

　　4、研究大數據前沿技術，提升系統的運維效率;

　　5、實現大數據基礎架構平臺的自動化運維。

　　【任職要求】：

　　1、計算機相關專業,具有3年以上大數據開發經驗，熟悉Java,Linux;

　　2、熟悉Hadoop大數據處理系統的開發,搭建及部署者優先

　　3、熟練地處理數據模型、數據ETL以及存儲管理;

　　4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程序開發者優先;

　　5、熟悉分布式系統概念、架構，有大規模分布式系統設計、實現、部署等經驗;

　　6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。

大數據開發工程師崗位的主要職責概述 篇5

　　職責：

　　1、 負責大數據平臺架構的整體設計，承擔數據抽取、清洗、轉化等數據處理程序開發;

　　2、 為業務運營提供技術支持，完成應用系統的搭建、優化、升級工作，保證平臺穩定運行;

　　3、 編寫系統的需求分析、設計、開發和部署文檔等。

　　崗位要求：

　　1、碩士及以上學歷，計算機、自動化、通信等相關專業;

　　2、熟練掌握Java語言，并熟悉Python語言，熟悉分布式系統架構，有hadoop，spark系統架構經驗;

　　3、熟悉實時計算框架storm，flink，spark streaming其中之一;

　　4、熟練使用SQL，熟悉數據庫原理，熟練使用至少一種主流關系型數據庫;

　　5、熟悉軟件開發流程，能夠根據需求編寫需求、設計、開發手冊等項目過程文檔;

　　6、具有良好的溝通能力和主動性，抗壓能力強。

大數據開發工程師崗位的主要職責概述 篇6

　　職責：

　　1、根據公司技術文檔規范編寫軟件詳細設計文檔，編寫軟件說明書，編寫測試用例文檔;

　　2、負責數據表結構設計，編寫數據庫腳本，數據庫性能優化(SQL腳本優化);

　　3、負責功能界面設計，編碼實現，代碼檢查(編碼規范、代碼性能等)，對外軟件接口功能實現，完成項目的集成;

　　4、負責功能自測(白盒測試)，測試環境搭建，協助測試人員測試，并對測試結果跟進;

　　5、負責功能數據維護(數據跟蹤、數據清查)，功能結構調整、Bug修改，為用戶提供系統及技術支持。

　　任職要求：

　　1、大專及以上學歷，通信、電子工程、自動化、計算機及其相關專業;

　　2、1年以上JVAV開發工作經驗，金融行業優先;

　　3、精通J2EE技術，包括Servlet/JSP、JDBC等，對各種開源框架如Spring、spring boot、hibernate、ibatis等有實際的應用經驗;

　　4、精通Java編程、Java語言基礎扎實，熟練使用junit進行白盒測試，有實際項目實施經驗優先;

　　5、具備編碼和撰寫文檔的能力，熟悉軟件版本控制、軟件開發流程、設計模式、體系結構，熟練使用easyui、jquery等前端技術，有相關項目經驗優先;

　　6、熟悉MySQL等主流數據庫，熟練掌握SQL，對各種互聯網協議有一定的理解，如HTTP\HTTPS等;

　　7、具備自我管理、團隊精神、客戶服務、溝通能力、學習能力、邏輯分析及解決問題的能力。

大數據開發工程師崗位的主要職責概述 篇7

　　職責：

　　1、參與系統需求分析、架構設計和概要設計;

　　2、獨立進行系統功能模塊的分析設計和核心功能的開發;

　　3、負責解決開發過程中的技術問題;

　　4、有能力參與需求分析、軟件設計、計劃制定與一些技術文檔的編寫工作;

　　5、定期向上級主管匯報工作情況。

　　任職要求：

　　1、有扎實的Java開發經驗，具有3年及以上Java開發經驗，計算機相關專業;

　　2、具備良好的面向對象編程經驗，具有較強的分析設計能力;

　　3、熟練HTML/CSS/Javascript/JQuery等前端開發;

　　4、精通MySQL，Oracle，熟練掌握SQL，存儲過程編寫等;

　　5、熟悉SpringMVC等Java框架，精通Springboot,MyBatis,Hibernate,Netty,Mina優先;

　　6、有開發系統接口經驗;

　　7、有客戶現場開發經驗;

　　8、善于學習與溝通，具有團隊精神;

大數據開發工程師崗位的主要職責概述 篇8

　　職責：

　　1、負責進行用戶需求收集和分析;

　　2、運用SQL數據庫語法，進行系統的二次開發和運維;

　　3、軟件安裝，調試，數據導入，用戶權限設定;

　　4、培訓甲方公司系統操作人員，使其掌握系統操作方法。

　　【任職要求】

　　1、具有良好的SQL Server或Oracle數據庫編程基礎;

　　2、具有較強的學習能力和良好的溝通能力;

　　3、工作積極主動、具有團隊合作精神;

　　4、具有數據庫開發相關經驗，或軟件實施、運維經驗優先。

大數據開發工程師崗位的主要職責概述 篇9

　　職責：

　　1.充分理解業務需求，根據產品開發計劃安排，高效高質地完成開發和自測工作;

　　2.參與公司C端產品接口和管理后臺的設計和開發，包括學習平臺、知識庫等;

　　3.維護現有營銷系統、中樞系統、教務系統等;

　　4.具有系統優化和監控意識，能及時排查線上用戶反饋問題，保障系統穩定運行。

　　任職要求：

　　1、擁有拼搏、服務、創新、開放、協作的價值觀，有強烈責任心和團隊合作溝通能力;

　　2、具備2-4年JAVA開發經驗，熟悉微服務設計和前后端分離開發，有互聯網產品開發經驗優先;

　　3、熟悉spring boot/spring+mybatis+redis開發框架，有dubbo分布式開發經驗優先;

　　4、熟悉mysql數據庫,了解分庫分表，使用過消息隊列;

　　5、邏輯思維能力強，熟悉業務抽象和數據模型設計和接口協議設計等，有重構優化代碼的能力;

　　6、了解zookeeper注冊中心，統一配置中心等。

大數據開發工程師崗位的主要職責概述 篇10

　　職責：

　　1、在上級指導和監督下定期完成量化的工作任務;

　　2、參與需求分析、設計、評審;

　　3、執行上級主管安排的工作任務，對負責模塊進行設計和開發測試;

　　4、對自己負責的工作質量進行把關，主動進行技術與業務知識總結;

　　5、負責項目的日常開發維護工作等。

　　入職要求：

　　1、計算機、通信類等相關專業，一年以上軟件項目開發實施經驗;

　　2、熟練掌握Java面向對象編程、Socket編程、多線程編程、I/O流編程、XML文檔解析;熟悉基本(工廠，單例)等設計模式;

　　3、熟悉SQL語法，熟悉JAVA語言，熟悉開發環境;

　　4、熟悉Linux系統的基本操作以及相關命令行的使用;

　　5、熟練使用至少一種大型關系型數據庫;

　　6、良好的表達溝通能力，極強的團隊合作精神，能夠承受一定工作壓力。

大數據開發工程師崗位的主要職責概述 篇11

　　職責：

　　1、參與銀行、支付、保險等系統的開發工作;

　　2、參與需求分析，系統設計和開發等各項工作;

　　3、能按時、獨立、高質量的完成工作，對自己的代碼嚴格要求;

　　4、能指導初級程序員工作，并負責CodeReview;

　　5、能解決復雜的技術問題;

　　任職要求：

　　1、3-5年JAVA實際開發經驗，計算機相關專業大專以上學歷(硬性要求：學歷必須學信網可查)

　　2、熟悉Java主流框架，能夠獨立完成功能模塊設計和開發;

　　3、掌握HTML、JavaScript、CSS、Ajax、JQuery等前端技術;

　　4、熟悉Oracle、MySql等主流數據庫的使用，熟悉存儲過程及SQL的性能優化;

　　5、熟悉Tomcat、JBoss等應用服務器的應用部署和配置，有Linux操作經驗;

　　6、具備良好的表達和溝通能力，能很好的融入團隊工作;

　　7、有銀行、支付、保險等相關系統開發經驗優先;

大數據開發工程師崗位的主要職責概述 篇12

　　職責：

　　1、負責公司在線平臺系統的設計、評審、編碼等開發和迭代升級工作，確保相關系統穩定可靠運行;

　　2、完成系統架構設計、數據庫結構設計、業務邏輯抽象、組件封裝等編碼工作;

　　3、與產品經理、前端開發工程師保持良好溝通，能快速理解、消化各方需求，并落實為具體的開發工作;

　　4、對自己開發的模塊的性能、穩定、安全等方面的監測和調優承擔

　　任職要求

　　1、3年以上的PHP項目開發工作經驗，熟練掌握各種API接口研發;

　　2、精通PHP，深入理解MVC模式，精通OOP開發，熟練運用常用設計模式開發;

　　3、熟悉html5/CSS3/javascript/AJAX等前端技術，熟悉jQuery/Bootstrap等前端類庫/框架;

　　4、熟悉MySQL數據庫設計，熟悉分布式儲存者優先;熟悉LNMP/LAMP架構的搭建、配置和優化;

　　5、熟悉redis/memcached底層緩存技術，有高并發開發經驗者優先;

　　6、有中大型電商系統、ERP系統等項目開發及維護經驗者優先;

　　7、精通一種或多種PHP開發框架，熟悉Laravel/Magento者優先;

　　8、具備較強的獨立開發能力和學習能力，同時需要較強的團隊協作精神、良好的表達能力和溝通能力;

　　9、工作認真負責，思路清晰，思維敏捷，能承擔較大的工作壓力，能適應創業型公司的成長速度和挑戰，具有較強的自我驅動力;

大數據開發工程師崗位的主要職責概述 篇13

　　1、 負責醫療器械設備的機械方案設計、項目評估;現有儀器設備的改進設計;

　　2、 完成相關圖紙繪制、3D模型及加工圖紙的轉化、設計數據的輸出;機械相關零部件的選型、采購清單的編制與輸出;

　　3、 制作設備的機械BOM表;

　　4、 產品的安裝、調試及驗證。

大數據開發工程師崗位的主要職責概述 篇14

　　職責：

　　1. 根據客戶需求，負責產品設計和開發工作;

　　2. 根據公司的質量要求，對所負責開發的產品進行單元測試;

　　3. 承擔部分新技術試驗和研究，并應用到公司產品中;

　　4. 能夠高效解決項目開發中遇到的問題;

　　5. 保質保量及時的完成公司下達的任務;

　　崗位要求：

　　1. 熟練使用PHP,熟悉ThinkPHP框架者優先;

　　2. 熟練使用Web前端技術，例如HTML/HTML5、JS、JQuery、CSS等;

　　3. 熟悉SQL語言，熟悉MySQL等數據庫的應用開發;

　　4. 具備良好的代碼編程習慣及較強的文檔編寫能力;

　　5. 具備良好的團隊協作精神，極強的責任心;

　　6. 具有大型互聯網應用開發經驗者優先。

大數據開發工程師崗位的主要職責概述 篇15

　　職責：

　　1.負責公司互聯網產品的部分功能設計，功能研發;

　　2.負責模塊代碼的編寫以及代碼質量控制;

　　3.負責與其他業務單位的技術對接工作。

　　任職要求：

　　1.計算機相關專業，本科或本科以上學歷，接受應屆生;

　　2.扎實全面的計算機基礎知識(算法、數據結構、數據庫系統、網絡安全等)，強大的編碼能力;

　　3.扎實的Java語言基礎，熟悉Spring、Spring MVC、Spring Boot、MyBatis等開發框架技術，熟悉主流的設計模式，會使用maven構建工具;

　　4.熟悉mysql或MariaDB，精通SQL語法，熟悉Redis緩存數據庫;

　　5.具有微信平臺(公眾號、支付、小程序)和支付寶平臺(生活號、支付)相關開發經驗的優先;

　　6.具體較強的學習能力，對未知技術和領域能快速掌握并實踐;

　　7.正直誠實，熱愛互聯網開發，有較強的溝通和團隊協作能力;

大數據開發工程師崗位的主要職責概述 篇16

　　職責：

　　1、 根據開發進度和任務分配，完成相應模塊軟件的設計、開發任務;

　　2、 參與軟件產品及項目的規劃工作，制定具體項目實施方案;

　　3、參與新技術的預研和應用工作;

　　4、 參與產品核心功能設計、開發。

　　任職要求：

　　1、至少2年以上的J2EE實際開發經驗;

　　2、精通Java語言，掌握IO、多線程、集合及JVM原理和性能調優;

　　3、熟悉spring+mybatis架構以及spring security安全策略;

　　4、 熟悉HTML5/CSS3/JQuery等相關技術，熟悉HTML/XHTML/CSS等網頁制作技術，熟悉頁面架構和布局;

　　5、熟悉主流WEB服務器之一，如TOMCAT，JBOSS等;

　　6、熟悉WebService的接口開發;

　　7、具有較強的責任心，良好的團隊精神和敬業精神;

　　8、具有較強的學習能力、溝通能力，樂于接受有挑戰性的工作;

　　9、 有工作流相關項目經驗者優先。

大數據開發工程師崗位的主要職責概述 篇17

　　負責公司電商平臺、內部管理系統架構設計及優化;

　　與產品經理和業務部門協調合作，參與設計方案，確定實現方案并最終實現代碼;

　　主要用php開發，但不限于php，會涉及JavaScript，CSS，HTML，Shell等;

　　領導或參與技術問題的攻關，解決技術上遇到的瓶頸問題;

　　參與技術規范的建立、維護、審核(代碼規范、數據庫命名、使用規范等);

　　對代碼質量負責，參與代碼評審，保證代碼的精簡，無錯和執行效率;

　　每月在自己負責的模塊上，盡可能重構代碼，優化設計;

大數據開發工程師崗位的主要職責概述 篇18

　　職責：

　　1、參與大型JAVA應用系統產品研發和支持;

　　2、參與大型JAVA 應用項目開發，實施，維護工作;

　　3、參與需求分析和設計;

　　4、按照公司規范編制高質量代碼;

　　5、按照公司規范對于代碼進行測試，保證交付代碼質量;

　　6、編寫相關技術文檔;

　　7、協助架構師做好相關研發工作。

　　8、參與產品的用戶調研和需求分析，將用戶需求轉化為軟件需求規格(高級工程師);

　　9、參與公司產品及應用架構設計及核心編碼(高級工程師);

　　10、負責公司團隊技術培養(高級工程師);

　　任職要求：

　　1、編程基礎扎實，有3-5年的開發經驗;

　　2、會用Git、SVN、Maven等項目管理工具;

　　3、熟練使用Mybatis,Hibernate,Spring MVC,Spring,Spring Boot,redis;

　　4、熟悉工作流引擎(Activity)和Java 規則引擎;

　　5、熟練使用Oracle，SQLServer，MySQL中至少一種數據庫系統;熟練運用Sql語句;

　　6、熟練使用css、JS,Jquery，EasyUI前端開發;

　　7、精通eclipse 開發工具使用;

　　8、對工作有很強的責任感和很高的熱情，適應在壓力下的工作、良好的團隊協作精神;

　　9、具備一定的軟件設計能力和文檔編寫能力，在編碼方面對自身有較高的要求，對于新的技術有較高的學習熱情;

　　10、編程基礎扎實，有5年以上的java開發經驗(高級工程師);

　　11、精通Mybatis\Hibernate\Spring MVC\Spring\Spring Boot(高級工程師);

　　12、精通工作流引擎(Activity)、規則引擎，Restful接口開發(高級工程師);

　　13、了解分布式框架duboo(高級工程師);

　　14、熟練使用MySql、Oracle數據庫，對內存數據庫、大數據量處理、數據庫性能優化有一定經驗(高級工程師);

　　15、有責任心，有較好的計劃與執行能力, 具備良好的溝通能力和優秀的團隊管理能力(高級工程師);

　　16、有大型成功上線產品(高級工程師)。

　　微服務架構師要求：

　　17. 精通分布式、大流量系統的設計與開發，具有豐富的架構設計經驗，精通基于Spring boot、Spring Cloud的微服務架構。

　　18. 對各種開源的框架如spring cloud、dubbo等有深入的了解，對框架本身有過開發或重構者優先;

　　19. 熟悉docker、mesos、rancher等容器技術并有實際使用經驗。在服務治理，服務監控方面有相關開發經驗;

大數據開發工程師崗位的主要職責概述 篇19

　　職責：

　　1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

　　2、與交易員對接，制定切實可行的的策略測試計劃，開展新策略模型的開發和驗證

　　3、協助交易員進行交易、風險管理，并對實際交易結果進行量化的績效分析，推動交易自動化

　　4、上級交辦的其他工作

　　任職要求：

　　1、數學/計算機/金融專業畢業，有扎實的算法和機器學習的理論基礎

　　2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

　　3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗;

　　4、對數字貨幣領域感興趣，結果導向;

　　5、有網頁抓取和爬蟲程序編寫經驗者優先。