大數(shù)據(jù)運維工程師的工作職責

大數(shù)據(jù)運維工程師的工作職責（通用14篇）

大數(shù)據(jù)運維工程師的工作職責 篇1

　　職責：

　　1. 完成大數(shù)據(jù)平臺日常運維工作(上線/日常監(jiān)控/問題定位/腳本開發(fā))，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源組件;

　　2. 完成大數(shù)據(jù)自研平臺工具運營，比如報表平臺、調度平臺和性能監(jiān)控平臺;

　　3. 提升系統(tǒng)可靠性，完善監(jiān)控策略，優(yōu)化運維流程，提升部門運維效率，保證7*24服務;

　　4. 參與開源社區(qū)建設，提升公司開源影響力;

　　任職條件：

　　1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源組件的搭建、維護以及問題定位;

　　2. 熟悉Linux操作系統(tǒng)，熟練掌握Linux常用命令,了解ansible/puppet;

　　3. 熟練掌握shell/python/java;

　　4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握數(shù)據(jù)庫的維護工作;

　　5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;

　　6. 有大數(shù)據(jù)平臺維護經(jīng)驗優(yōu)先;

　　7. 掌握dockerfile，了解大數(shù)據(jù)與k8s結合者優(yōu)先;

　　8. 參與開源社區(qū)，有代碼貢獻或者高質量博客文章者優(yōu)先;

大數(shù)據(jù)運維工程師的工作職責 篇2

　　職責：

　　1、負責和參與公司大數(shù)據(jù)基礎架構平臺規(guī)劃，運維，監(jiān)控和優(yōu)化工作，保障數(shù)據(jù)平臺服務的穩(wěn)定性和可用性;

　　2、研究大數(shù)據(jù)前沿技術，改進現(xiàn)有系統(tǒng)的服務和運維架構，提升系統(tǒng)可靠性和可運維性;

　　3、負責和參與自動化運維系統(tǒng)及平臺的建設;

　　4、負責優(yōu)化部門運維流程提升運維效率。

　　任職要求：

　　1、統(tǒng)招本科及以上學歷，計算機相關專業(yè)，2年以上互聯(lián)網(wǎng)運維工作經(jīng)驗;

　　2、熟悉Linux操作系統(tǒng)及常見開源軟件(Nginx,Tomcat,Zabbix等)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題;

　　3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運維方式;

　　4、精通Python,shell,了解JAVA;有良好的系統(tǒng)性能優(yōu)化及故障排除能力;

　　5、具有很強的責任心、執(zhí)行力、服務意識、學習能力和抗壓能力;

　　6、具備較好的溝通能力、主動性和團隊合作精神。

大數(shù)據(jù)運維工程師的工作職責 篇3

　　職責：

　　1、負責大數(shù)據(jù)平臺架構的規(guī)劃、設計、搭建;

　　2、負責大數(shù)據(jù)平臺的運維保障工作;

　　3、負責運維相關數(shù)據(jù)分析，以及報表產出;

　　4、為線上服務高效穩(wěn)定運行負責，支撐業(yè)務和數(shù)據(jù)量的快速擴張;

　　5、深入理解大數(shù)據(jù)平臺架構，發(fā)現(xiàn)并解決重大故障及性能瓶頸;

　　6、研究跟進大數(shù)據(jù)架構領域新技術并分享。

　　工作要求：

　　1、熟悉大數(shù)據(jù)產品生態(tài)圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;

　　2、精通Linux/Unix系統(tǒng);

　　3、有數(shù)據(jù)分析經(jīng)驗優(yōu)先，精通一門以上腳本語言(shell/perl/python等)，熟悉java/C/C++/Golang等開發(fā)語言一種及以上;

　　4、有2年以上大數(shù)據(jù)平臺相關運維開發(fā)經(jīng)驗，了解分布式平臺運行的原理，并有實際部署維護經(jīng)驗;

　　5、學習能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰(zhàn);

　　6、良好的服務意識，善于團隊協(xié)作，項目管理，主動思考，自我驅動力強。

大數(shù)據(jù)運維工程師的工作職責 篇4

　　職責：

　　1、負責Hadoop、HBase、Hive、Spark等大數(shù)據(jù)平臺 規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等，確保高可用;

　　2、負責公司大數(shù)據(jù)平臺的運維管理工作，集群容量規(guī)劃、擴容及性能優(yōu)化;

　　3、處理公司大數(shù)據(jù)平臺各類異常和故障，確保系統(tǒng)平臺的穩(wěn)定運行;

　　4、設計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;

　　5、深入研究大數(shù)據(jù)業(yè)務相關運維技術，持續(xù)優(yōu)化集群服務架構，探索新的大數(shù)據(jù)運維技及發(fā)展方向;

　　6、為數(shù)據(jù)倉庫、數(shù)據(jù)挖掘建模等數(shù)據(jù)應用項目提供運行環(huán)境支持。

　　崗位要求：

　　1、掌握Linux操作系統(tǒng)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題;

　　2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發(fā)經(jīng)驗優(yōu)先;

　　3、熟悉 Hadoop生態(tài)及高性能緩存相關的各種工具并有實戰(zhàn)經(jīng)驗，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

　　4、具有集群運維經(jīng)驗，以及大負載下的容量評估、問題定位、架構優(yōu)化等能力優(yōu)先;有分布式系統(tǒng)(計算/存儲)開發(fā)經(jīng)驗優(yōu)先;

　　5、熟悉zabbix/ganglia/Prometheus/grafana系統(tǒng)的組合構件及使用;

　　6、精通ELK系統(tǒng)，有過大規(guī)模ELK配置管理、調優(yōu)經(jīng)驗，有過ElasticSearch搜索和分析引擎開發(fā)經(jīng)驗者優(yōu)先;

大數(shù)據(jù)運維工程師的工作職責 篇5

　　1.負責公司大數(shù)據(jù)業(yè)務集群的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保集群環(huán)境的穩(wěn)定可用;

　　2.負責集群容量規(guī)劃、擴容及性能優(yōu)化;

　　3.負責大數(shù)據(jù)集群性能監(jiān)控與優(yōu)化，故障處理，數(shù)據(jù)備份及容災恢復，集群出現(xiàn)異常時，能快速定位問題，并及時給出解決方案;

　　4.設計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;

　　5.參與/主導業(yè)務架構設計，在設計階段給出可運維性改進建議;

　　6.深入研究大數(shù)據(jù)業(yè)務相關運維技術，持續(xù)優(yōu)化集群服務架構，探索新的大數(shù)據(jù)運維技術及發(fā)展方向;

　　7.參與例如服務器維護、項目維護、監(jiān)控維護等常見運維事務

大數(shù)據(jù)運維工程師的工作職責 篇6

　　職責：

　　1.日常監(jiān)控報警處理、故障現(xiàn)場處理以及系統(tǒng)關聯(lián)的業(yè)務服務需求處理;

　　2.系統(tǒng)變更處理，如系統(tǒng)優(yōu)化、漏洞修復、業(yè)務增加功能、系統(tǒng)漏洞修復等;

　　3.相關系統(tǒng)的項目前期測試、調研、以及實施和后期維護;

　　4.系統(tǒng)各類程序參數(shù)優(yōu)化設置，以及應用系統(tǒng)版本升級，系統(tǒng)架構調整等;

　　5.系統(tǒng)故障報告編寫，以及系統(tǒng)維護相關文檔整理。

　　任職要求：

　　1、本科及以上學歷或同等學力，2年以上IT相關工作經(jīng)驗;

　　2、熟悉linux或UNIX系統(tǒng)集成和運維管理，具有系統(tǒng)集成或項目實施經(jīng)驗;

　　3、至少掌握一門腳本語言，不限于shell、python、perl;

　　4、性格開朗，吃苦耐勞，積極主動、樂觀向上，富有團隊精神，具有良好協(xié)調溝通能力，能承受較大工作壓力和工作強度，具有良好的工作態(tài)度與職業(yè)精神。

大數(shù)據(jù)運維工程師的工作職責 篇7

　　職責：

　　1.負責項目系統(tǒng)部署實施的過程執(zhí)行;

　　2.負責日常系統(tǒng)維護、產品上線實施和故障處理;

　　3.負責收集系統(tǒng)維護過程中的系統(tǒng)缺陷和軟件缺陷，提出合理化改進建議和意見;

　　4.為目標客戶提供系統(tǒng)技術培訓和技術支持，完善系統(tǒng)維護知識庫建設。

　　任職要求：

　　1.具備專科及以上學歷，計算機、軟件等相關專業(yè)畢業(yè)，5年以上相關工作經(jīng)驗;

　　2.具備千萬級用戶量/設備的大型互聯(lián)網(wǎng)/物聯(lián)網(wǎng)系統(tǒng)建設運維經(jīng)驗及項目管理經(jīng)驗，熟悉互聯(lián)網(wǎng)/物聯(lián)網(wǎng)系統(tǒng)主流架構;

　　3.熟悉Tomcat、Nginx、IIS、Redis、MQTT和Apache等主流中間件及Docker等容器技術;

　　4.熟悉windows server、Linux等主流操作系統(tǒng)的使用;

　　5.掌握Postgresql(主要)、Oracle、Mysql等主流數(shù)據(jù)庫的使用，包括存儲過程開發(fā)，能編寫高效SQL。

　　6.熟悉Zabbix、Telegraf+InfluxDB+Grafana等監(jiān)控工具使用及Python腳本優(yōu)化;

　　7.掌握SVN/Git/Puppet/jenkins等自動化運維工具，具備應用服務安裝配置、管理維護、故障分析和系統(tǒng)性能分析優(yōu)化經(jīng)驗。

大數(shù)據(jù)運維工程師的工作職責 篇8

　　職責：

　　1、負責業(yè)務系統(tǒng)基礎設施維護，保障服務器與數(shù)據(jù)庫安全，檢查并消除安全漏洞;數(shù)據(jù)備份、數(shù)據(jù)監(jiān)控、應急響應、故障排除、編寫數(shù)據(jù)分析報告等。

　　2、負責Linux服務器的配置，維護，監(jiān)控，調優(yōu)，故障排除，網(wǎng)絡優(yōu)化等;大用戶量下高性能服務器系統(tǒng)部署方案的制定及實施;

　　任職要求(任意三條):

　　1、擁有對業(yè)務流向的邏輯理解能力，對軟件相關流量中的安全性有所考慮，對安全設備、網(wǎng)絡設備有了解。

　　2、熟悉centos/redhat系列l(wèi)inux系統(tǒng)，有2年以上linux系統(tǒng)工作經(jīng)驗;

　　3、熟悉常見的分布并發(fā)及負載均衡實現(xiàn)方案并有實際實施經(jīng)驗，有負載壓力及并發(fā)量控制經(jīng)驗;

　　4、熟練掌握Linux系統(tǒng)及常見服務的安裝配置，能靈活運用shell等相關腳本語言，熟悉mysql、Oracle等數(shù)據(jù)庫的部署、配置、數(shù)據(jù)備份機制等;

　　5、熟悉apache，nginx，php，squid，lvs，haproxy，mysql，redis，java等服務的安裝配置，有實際運維經(jīng)驗者優(yōu)先;

　　6、負責Linux服務器的配置，維護，監(jiān)控，調優(yōu)，故障排除，網(wǎng)絡優(yōu)化等;大用戶量下高性能服務器系統(tǒng)部署方案的制定及實施;

大數(shù)據(jù)運維工程師的工作職責 篇9

　　1、系統(tǒng)運維、服務監(jiān)控分析、故障排查，以及緊急情況下的應急處理;

　　2、遵循發(fā)布、變更流程，負責系統(tǒng)建設和運維工作，保證其高效、穩(wěn)定工作;

　　3、研究服務架構，發(fā)現(xiàn)潛在問題，制定系統(tǒng)調整和優(yōu)化方案，提高系統(tǒng)的健壯性和效率;

　　4、參與系統(tǒng)架構設計，建設和管理;

　　5、參與公司基礎網(wǎng)絡安全架構的建設，根據(jù)業(yè)務需求制定安全解決方案;

　　6、解決日常安全問題，在出現(xiàn)網(wǎng)絡攻擊或安全事件時進行緊急響應、恢復系統(tǒng)及調查取證。

大數(shù)據(jù)運維工程師的工作職責 篇10

　　職責：

　　1. 負責日常網(wǎng)絡及各子系統(tǒng)管理維護;

　　2. 負責設計并部署相關應用平臺，并提出平臺的實施、運行報告;

　　3. 負責配合開發(fā)搭建測試平臺，協(xié)助開發(fā)設計、推行、實施和持續(xù)改進;

　　4. 負責相關故障、疑難問題排查處理，編制匯總故障、問題，定期提交匯總報告;

　　5. 負責網(wǎng)絡監(jiān)控和應急反應，以確保網(wǎng)絡系統(tǒng)有7*24小時的持續(xù)運作能力;

　　6. 負責日常系統(tǒng)維護及監(jiān)控，提供IT軟硬件方面的服務和支持，保證系統(tǒng)的穩(wěn)定。

　　素質要求及任職資格：

　　1.學歷： 專科以上。

　　2.專業(yè)： 計算機相關專業(yè)。

　　3.經(jīng)驗： 一年以上相關工作經(jīng)歷優(yōu)先。

　　4.核心能力及業(yè)務技術要求：

　　A.熟悉Unix/linux和Windows系統(tǒng)，有IT系統(tǒng)維護經(jīng)驗; 對操作系統(tǒng)、網(wǎng)絡、計算機安全有一定的深刻理解;

　　B.熟悉主流的交換機、路由器、防火墻等網(wǎng)絡設備及其技術應用;

　　C.熟悉主流web配置，包括IIS、apache、tomcat、nginx等;

　　D.熟悉負載均衡技術，lvs+keepalive+Heartbeat等集群技術;

　　E.精通或掌握SQLServer/Oracle/mysql等大型數(shù)據(jù)庫管理系統(tǒng)(之一)的安裝/配置和管理;

　　F.熟練掌握Linux監(jiān)控軟件，如nagios等，監(jiān)控系統(tǒng)安全控制及技術防范;

　　G.具備良好的分析和解決問題的能力，對于攻關疑難問題具有強烈的興趣;

　　H.性格開朗外向、善于學習,具備較強的服務意識、溝通協(xié)調能力、團隊協(xié)作能力;

　　I.良好的文檔編寫能力，較強的客戶服務意識，積極主動，吃苦耐勞, 高度的責任心及應急能力;

　　5.其它：身體狀態(tài)良好。

大數(shù)據(jù)運維工程師的工作職責 篇11

　　職責：

　　1. 負責公司服務器的運維工作，主要包括升級部署、備份恢復、日常巡檢、性能優(yōu)化、配置操作等;

　　2. 搭建平臺監(jiān)控工具、自動化運維工具;

　　3. 編寫運維手冊，制定運維計劃、操作規(guī)范、應急手冊等;

　　4. 及時響應問題，快速定位排查故障，優(yōu)化網(wǎng)絡結構，提升用戶體驗;

　　5. 負責監(jiān)控檢查系統(tǒng)軟件、服務運行狀態(tài)和操作記錄，并進行詳細的數(shù)據(jù)化記錄，定期匯總并上報給負責人;

　　任職要求：

　　1.本科及以上學歷，計算機通信相關專業(yè)，3年以上相關工作經(jīng)驗;

　　2.熟練操作LINUX/WINDOWS操作系統(tǒng)的安裝、配置 及命令。

　　3.熟練操作ORACLE，編寫SQL語句，對用戶、表空間，數(shù)據(jù)文件有理解，并能擴大相關系統(tǒng)的表空間。

　　4.熟悉WEBLOGIC安裝及調優(yōu)，定期對JAVA應用程序的發(fā)布和更新;

　　5.具備故障診斷和處理能力及應用系統(tǒng)和數(shù)據(jù)庫備份的運維經(jīng)驗;

　　6.有較強的溝通協(xié)調能力及高度責任心

大數(shù)據(jù)運維工程師的工作職責 篇12

　　1、設計網(wǎng)絡設備、服務器及安全系統(tǒng)的拓撲結構

　　2、開展對公司各平臺服務器硬件的巡檢;桌面計算機軟硬件(計算機、顯示器、電話、網(wǎng)絡設施和其他附屬硬件設施，如打印機、掃描儀)安裝、配置、升級、運行維護與管理，保障桌面系統(tǒng)正常運行，滿足日常工作的需要;對網(wǎng)絡設備、服務器及安全系統(tǒng)等運行監(jiān)控與管理，負責對公司綜合布線系統(tǒng)的維護與管理;撰寫運維技術文檔。

　　3、根據(jù)運維、巡檢報告等統(tǒng)計整理運維數(shù)據(jù)定期評估平臺的硬件、軟件的服務能力，出具評估報告。

　　4、完成領導交辦的其他工作。

大數(shù)據(jù)運維工程師的工作職責 篇13

　　職責:

　　1、 負責企業(yè)機房日常維護和巡檢工作

　　2、 負責機房內服務器、存儲等硬件設備的維護管理, 自動化運維系統(tǒng)的部署和管理，以及常見軟硬件故障的處理

　　3、 負責企業(yè)內核心應用數(shù)據(jù)庫的日常維護，數(shù)據(jù)備份、數(shù)據(jù)恢復以及數(shù)據(jù)庫的優(yōu)化等工作

　　4、 負責各類服務器操作系統(tǒng)的維護和管理，包含Windows、Linux以及Unix服務器系統(tǒng)的日常維護

　　5、 負責云平臺系統(tǒng)的日常維護管理，虛擬機創(chuàng)建，資源分配、回收以及系統(tǒng)資源的日常監(jiān)控和管理

　　任職資格:

　　1、 本科或以上學歷，計算機相關專業(yè)

　　2、 至少兩年以上 windows、linux 服務器運維管理經(jīng)驗

　　3、 熟練掌握windows server、 liunx操作系統(tǒng)的安裝配置、系統(tǒng)管理以及系統(tǒng)優(yōu)化

　　4、 熟練掌握oracle/mysql/sybase主流數(shù)據(jù)庫的配置與優(yōu)化，數(shù)據(jù)備份與恢復，數(shù)據(jù)安全，數(shù)據(jù)遷移與歸檔，數(shù)據(jù)庫日常監(jiān)控與管理

　　5、 具有豐富的系統(tǒng)軟件及其硬件的故障排除經(jīng)驗，具備較強的分析及解決問題的能力，并善于主動總結和分享自己的工作經(jīng)驗;

　　6、具有良好的服務意識，端正的服務態(tài)度，敢于吃苦，服從安排

大數(shù)據(jù)運維工程師的工作職責 篇14

　　職責：

　　1、 負責Windows，Linux服務器操作系統(tǒng)的安全加固，包括防病毒，應用防護等。

　　2、 負責安全滲透、安全加固及安全事件的應急響應，協(xié)助漏洞驗證等。

　　3、 負責定期對服務器進行漏洞掃描、端口掃描、弱密碼掃描，并整理報告。

　　4、 負責定期對運維人員，研發(fā)人員及測試人員進行安全培訓，提高整體的安全意識。

　　5、 負責對各類安全事件主導跟進，包括系統(tǒng)漏洞處理、防薅羊毛、DDOS防御及其他安全加固措施實施。

　　6、 負責等保三級的相關工作;

　　7、處理領導交辦的其他工作 。

　　崗位要求：

　　1、 計算機、通信相關專業(yè)大專以上學歷

　　2、 熟悉主流服務器操作系統(tǒng)(Windows、LINUX)、數(shù)據(jù)庫(sql、mysql)等基本操作和安全配置;

　　3、 具備一定的信息安全基礎知識，熟悉網(wǎng)絡設備和安全設備的操作，熟悉防火墻、入侵檢測、VPN等網(wǎng)絡安全技術;

　　4、 良好的溝通能力、富有團隊精神，能夠承擔較大工作壓力;

　　5、 了解信息安全等級保護、27001信息安全體系、ITIL等相關安全標準優(yōu)先;

　　6、 持有等級保護測評師認證、HCNP或同等級證書者優(yōu)先;

　　7、 熟悉國產操作系統(tǒng)(如中標麒麟、中科方德等)、國產數(shù)據(jù)庫(神通、達夢、南大通用)優(yōu)先;

　　8、 有政府類項目實施維護經(jīng)驗優(yōu)先。