大數據運維工程師崗位的主要職責(精選21篇)
大數據運維工程師崗位的主要職責 篇1
1) 承擔團隊的日常管理,如值班安排、工作分配、日常考評等;
2) 組織制訂、完善與本部門相關的管理制度、標準操作手冊SOP、維護操作MOP和應急預案等;
3) 組織制定中心基礎設施保養計劃,做好相關計劃的實現、控制及優化工作;
4) 審核、報批、組織實施各類變更申請、事件報告工作,做好相關應急工作的指揮與處理;
5) 組織開展數據中心基礎設施運行維護相關培訓、訓練與演練;
6) 協助商務部與外包服務商洽談相關維護服務合同,監督服務實施并要求進行審核與考評,確保相關基礎設施的穩定運行;
7) 負責數據中心基礎設施資源統計、容量預警工作,做好每月用水用電統計、PUE統計與分析;
8) 配合數據中心進駐客戶的場地選址、平面布局、改造實施、進駐管理等支持協調工作;
9) 基礎設施月報、環境報告的編寫和提交;
10) 數據中心基礎設施的持續優化和改善;
11) 負責上級主管領導交辦的其它工作。
大數據運維工程師崗位的主要職責 篇2
職責:
1.負責大數據管理平臺產品的運維支撐工作,包括項目實施(安裝、調優、培訓)、項目聯調以及其他日常維護等;
2.負責大數據管理平臺產品的自動化運維相關腳本的開發、維護等;
3.參與大數據管理平臺其他相關工作;
4.領導交付的其他事宜任職要求
任職要求:
1.熟悉Linux(redhat/centos)軟硬件環境、系統管理和優化,熟練部署、優化各種常用服務,熟練使用Linux 命令;
2.具備一定的故障排查能力,能夠獨立排查及解決操作系統層的各類問題,有良好的技術敏感度和風險識別能力,熟悉一門以上腳本語言(Shell/Python等);
3.熟悉Hadoop大數據生態圈,包括但不限于Zookeeper、HDFS、YARN、Hive、Hbase、Spark、Kafka、Flume、ES、MySQL等;
4.熟悉Hadoop各組件的原理和實現,有實際部署維護、管理( 包括元數據管理)及優化經驗,并擁有持續調優能力,運維管理過大規模數據平臺經驗者優先考慮;
5.熟悉掌握常用的安全協議和組件服務,對hadoop各組件的權限、安全、kerberos進行配置管理。熟悉SSL、ACL、kerberos等在大數據環境場景的使用;
6.大型節假日需低頻次維護各項目,可以調休;
7.具備良好的服務意識,善于主動思考,自我驅動力強。有良好的溝通、協調能力,富有團隊精神,有較強的文檔編寫能力;
8.本科或碩士畢業于211、985等國內知名高校者優先(注意,僅是加分項,不是必須);
9.有實際工作經驗者優先;
大數據運維工程師崗位的主要職責 篇3
職責:
根據產品需求,完成產品功能的設計、編碼、測試和發布;
現場項目支持工作,對現場反饋工單問題進行分析、定位和解決;
對現場項目提出的新需求進行分析、設計并完成;
根據產品和技術發展要求,完成平臺的設計、開發和支持維護工作。
職位要求:
本科及以上學歷,計算機、軟件工程相關專業,3年以上相關工作經驗;
精通sql、greenplum/postgresql、impala、oracle、mysql至少1種技術、可融匯貫通靈活轉換使用;
熟悉hadoop平臺zookeeper、hdfs、spark、MR及hbase等常用組件的運行原理;
基于linux/unix平臺進行shell、python的常用腳本開發。
大數據運維工程師崗位的主要職責 篇4
職責:
1、負責公司大數據平臺自動化運維開發、監控和優化工作,保障數據平臺服務的穩定性和可用性;
2、負責公司Hadoop核心技術組件日常運維工作 ;
3、負責公司大數據平臺現場故障處理和排查工作;
4、研究大數據前沿技術,改進現有系統的服務和運維架構,提升系統可靠性和可運維性;
任職要求:
1、本科或以上學歷,計算機、軟件工程等相關專業,3年以上相關從業經驗
2、精通Linux運維命令,熟悉Linux的維護和管理,熟悉Shell/Python腳本開發,掌握Scala/JAVA優先;
3、熟悉大數據項目實施:包括不限于Kafka、Hadoop、Hive、Hbase、Spark等大數據生態的平臺搭建,監控和調優;
4、良好團隊精神服務意識,溝通協調能力;
大數據運維工程師崗位的主要職責 篇5
職責:
1、負責Hadoop、HBase、Hive、Spark等大數據平臺 規劃、部署、監控、系統優化等,確保高可用;
2、負責公司大數據平臺的運維管理工作,集群容量規劃、擴容及性能優化;
3、處理公司大數據平臺各類異常和故障,確保系統平臺的穩定運行;
4、設計實現大規模分布式集群的運維、監控和管理平臺;
5、深入研究大數據業務相關運維技術,持續優化集群服務架構,探索新的大數據運維技及發展方向。
任職要求:
1、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等開源項目的安裝與調試,升級擴容;
2、熟悉Hadoop大數據生態圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Kafka、Flume等;
3、精通一門以上腳本語言(shell/perl/python等),熟練掌握Linux系統及常規命令與工具,熟練的Shell腳本編寫能力。
大數據運維工程師崗位的主要職責 篇6
職責:
1. 負責公司項目的運維保障。
2. 負責配置測試環境和線上環境部署,并進行維護、升級;
3. 負責公司服務器的規劃與監控、數據分析、日志分析、排除故障等工作;
4. 優化運維體系并保證服務器可靠、可擴展的運維環境。
5. 自動化腳本的開發
職位要求:
1. 本科及以上學歷,計算機及相關理工科專業畢業
2. 1年以上linux/unix系統管理經驗,熟悉網絡整體的架構,能熟練使用系統命令
3. 熟悉bash,csh等unix/linux shell腳本,熟悉ORACLE數據庫基本操作,熟悉svn基本命令
4. 良好文檔編寫和文字表達能力和團隊合作精神
5. 有很強的責任心和學習能力。
大數據運維工程師崗位的主要職責 篇7
職責:
1、軟件產品及項目的部署、安裝、升級、維護,確保系統正常穩定運行;
2、項目數據庫維護、確保數據庫正常運行;
3、及時解決客戶在系統使用過程的各種問題,維護好客戶關系以及客戶培訓工作;
4、收集客戶在系統過程遇到的問題,進行分析和確認,并反饋至相關負責人;
5、完成上級安排的其他任務;
任職要求:
1、計算機相關專業,專科及以上學歷;
2、掌握計算機基礎知識,熟悉常用軟件的安裝與使用;
3、對軟件開發有一定的了解;
4、了解病毒防護、系統漏洞、防護墻等網絡安全知識;
5、具有良好的溝通和語言表達能力,邏輯思維能力強,有責任心,工作態度端正、積極,有團隊意識及良好的操作規范意識。
大數據運維工程師崗位的主要職責 篇8
職責:
1、 負責協助銷售人員、代理商售前技術講解、產品安裝、調試等工作;
2、 負責客戶端網絡環境搭建、服務器配置;
3、 負責售后為客戶提供技術服務、培訓;
4、 負責收集、分析、反饋客戶技術需求與產品意見;
5、負責公司服務器數據的更新與維護工作;
任職資格:
1、 計算機相關專業,大專及以上學歷;
2、 一年以上相關工作經驗,熟悉Linux、Windows的IIS,Apache, Nginx環境部署;
3、 對PHP、Mysql、Js開發語言熟悉者優先考慮;
4、 具有良好的溝通能力、學習能力、較有敬業精神,適應短期出差工作性質;
大數據運維工程師崗位的主要職責 篇9
1.負責高并發,大存儲和實時流的Hadoop/spark大數據平臺規劃,運維,監控和優化工作;
2.保證Hadoop/spark平臺各核心服務運行的穩定、高效;
3.對Hadoop/spark平臺運維不斷優化,提升數據產品的質量和響應速度;
4.開發各種Hadoop大數據自動化運維與監控工具;
5.平臺大數據環境的部署維護和技術支持;
6.應用故障的處理跟蹤及統計匯總分析;
7.應用安全,數據的日常備份和應急恢復。
大數據運維工程師崗位的主要職責 篇10
職責
1、服務器的配置,維護,監控,調優,故障排除等;
2、大用戶量下高性能服務器系統部署方案的制定及實施;
3、保障服務器與數據庫安全,檢查并消除安全漏洞;
4、數據備份、數據監控、應急響應、故障排除、編寫數據分析報告等;
5、能夠熟練排查運維過程中出現的服務故障、系統故障、網絡故障;
6、負責公司計算機硬件的安裝、配置以及維護修理
任職要求
1、本科學歷,計算機應用或網絡相關專業,有1~2年相關工作經驗者優先考慮;
2、精通shell/Python/bat等1至2種編程語言;
3、熟悉常見的監控軟件zabbix;
4、熟悉網絡基礎知識;
5、熟悉使用Linux/Unix操作系統;
6、能熟練的進行PostgreSQL數據庫運維管理操作,并能熟練的解決較嚴重數據庫故障;
7、精通數據庫的各種備份及恢復方法,能進行數據庫備份方案的設計,并能進行方案的實施和維護;
8、工作積極主動、踏實、認真,有較強的責任心和服務意識,良好的表達及溝通協調能力。
大數據運維工程師崗位的主要職責 篇11
職責:
1、參與項目需求分析, 制定開發計劃,承擔項目的架構設計和詳細設計工作,并承擔項目核心模塊的開發任務,確保按時完成既定的開發內容;
2、參與軟件開發的整體規劃及實施,分析并解決軟件開發過程中的技術問題,為公司的業務開展提供支持;
3、完成軟件系統代碼的實現,編寫代碼注釋和開發文檔,進行系統的功能定義,程序設計;
4、根據設計文檔或需求說明完成代碼編寫,調試,測試和維護;
5、根據需要不斷修改完善軟件,負責現有系統的重構、優化、維護等工作;
7、對系統數據庫進行日常管理,統計數據庫中相關信息;
8、負責網絡運行的安全性、可靠性及穩定性;
9、配合項目經理完成相關任務目標。
相關要求:
1、計算機或相關專業大專學歷以上;
2、2年以上軟件開發經驗;
3、具備需求分析和系統設計能力,以及較強的邏輯分析和獨立解決問題的能力;
4、熟練使用photoshop、flash、dreamweaver等工具,熟悉ASP,JAVA,SQL,HTML等開發語言;
5、具有良好的溝通領悟能力及團隊協作能力,有進取心,強烈的責任感和認真細致的工作態度,善于學習,具備良好的團隊意識。
大數據運維工程師崗位的主要職責 篇12
1. 負責客戶AD或Exchange系統日常維護及監控,提供系統功能方面的服務和支持
2. 負責客戶各應用系統相關故障、疑難問題排查處理,編制匯總故障、問題情況說明
3. 維護客戶關系,提高客戶滿意度
4. 負責部分應用系統的升級上線工作
5. 整理現場需求,做成系統改善提案
大數據運維工程師崗位的主要職責 篇13
職責:
1、負責建設、調試和維護公司的網絡系統,包括網絡相關的軟硬件系統負責解決網絡故障、優化網絡性能;
2、對各種應用支持軟件如數據庫、中間件以及各種通用服務或特定服務的監控管理,如郵件系統、DNS、Web 等的監控與管理;
3、管理企業中各 IT 系統的資源資產情況,這些資源資產可以是物理存在的,也可以是邏輯存在的;
4、推行信息技術中心的軟件配置化管理,保證公司主要業務系統配置安全;
5、負責業務系統SIT/PRE/PRD的環境的部署發布工作;
6、負責維護公司機房和服務器資源;
7、推行Devops,實現適合公司IT環境的持續集成、持續部署等自動化運維;
任職資格:
1、大學本科及以上學歷,計算機或相關專業畢業,具有大型互聯網公司三年以上運維經驗;
2、精通Linux系統,熟悉常用的web服務器/數據庫/中間件等軟件的應用及運維管理,熟悉TCP/IP及常用應用層協議;
3、精通一門以上腳本語言(shell/perl/python等),具備自動化運維、CI/CD、DevOps項目實踐等相關經驗,熟悉Kubernetes、Docker等容器相關技術;
4、熟悉大型分布式系統(計算/存儲)的架構設計及運維管理,具備QEMU/KVM、libvirt、openstack等虛擬化技術的開發/運維經驗者優先;
5. 具備較強Trouble-shooting能力,能夠快速排查系統各種異常、瓶頸等,并推動平臺和產品的優化改進;
6、具備較強的客戶服務意識,能夠快速響應客戶咨詢、技術支持等問題,提供相關解決方案,協助客戶進行應用系統架構設計、快速上云和遷移等相關工作;
7、積極主動,善于溝通與持續學習,擁有較強的責任心與團隊協作意識,敢于接受挑戰并能承受較強工作壓力。
大數據運維工程師崗位的主要職責 篇14
1.對公司MES系統進行日常維護,確保系統正常運行;
2.對MES系統有一定了解,有相關系統實施或運維經驗佳;
3.針對業務部門提出的MES系統問題,進行trouble shooting,并找出解決方案;
4.熟悉數據庫基本操作,如MySQL、SQL、Server等;
5.對C≠、Delphi開發語言有一定了解、有相關開發經驗;
6.善于溝通,能同相關業務部門緊密合作,快速理解業務部門提出的需求或問題,并通過開發得以實現;
7.編寫系統操作手冊等文檔;
8.完成領導布置的其他工作。
大數據運維工程師崗位的主要職責 篇15
職責:
1.基于現在有開源產品和解決方案的能力,為團隊提供IT架構規劃和咨詢的服務;
2.提供云上DevOPS體系建設方案的咨詢和實施服務,優化業務交付效率,加速團隊的數字化轉型;
3.在開發、測試和生產各階段配合業務架構師完成環境的搭建與演示,組織內部資源,幫助完成云產品與技術方案的測試、咨詢與實施。
任職要求:
1. 計算機或通信相關專業專科以上學歷,5年以上大規模業務系統研發、運維、項目交付經驗;
2. 針對大型分布式系統架構設計、容災高可用/業務多活/兩地三中心架構有深入理解和豐富的項目落地經驗;
3. 精通Linux/windows系統,對于常用的運維工具,開源軟件(Nginx、Tomcat、Hadoop、Hbase、zookeeper、MQ、Redis等)的部署及配置優化實踐經驗;
4. 精通MySQL、SQL Server、Oracle、PostgreSQL、Redis、Memcache等兩種以上主流數據庫和緩存技術,有豐富的數據庫的優化/維護經驗;
5. 熟悉微服務、容器化架構,以及相關技術,對Istio、Docker、Kubernates,mesos等容器編排技術有豐富的實踐和落地經驗;
6. 熟悉主流公有云產品,有維護本地機房經驗;
7. 有大型綜合項目的交付和落地經驗,有較好的推動能力、風險識別意識和技術撐控判斷力;
8. 具備良好的客戶溝通能力及技巧,工作積極主動,認真負責,心理素質好,能承受較大工作壓力;
9. 具備英文閱讀、書寫和溝通能力。
大數據運維工程師崗位的主要職責 篇16
1、負責網絡以及服務器的網絡設置、維護和優化、網絡的安全監控、系統性能管理和優化、網絡性能管理和優化;
2、負責日常系統維護,及監控,提供IT軟硬件方面的服務和支持,保證系統的穩定;
3、負責相關故障、疑難問題排查處理,編制匯總故障、問題,定期提交匯總報告;
4、負責編寫各類技術文檔;
5、服務器Linux系統的安裝和基本配置,具有網絡方面的基本知識,對相關網絡設備及綜合布線有一定了解;
大數據運維工程師崗位的主要職責 篇17
職責:
1.對泛微OA系統、SAP系統開發與維護,熟悉數據庫查詢;
2.對數據中心機房服務器、網絡等設備進行安裝、硬件維護、故障處理等工作;
3.負責服務器系統、數據庫安裝與維護管理;
4.負責公司網絡平臺的運行監控與維護;
5.進行路由器等網絡設備的維護管理,并對網絡優化及辦公室病毒查殺進行合理規劃;
6.對公司電腦、及IT周邊設備故障維護;
7.負責VPN網絡、VOIP網絡建設和維護,技術檔案維護。
8.負責機房基礎設施及服務器、交換機的日常維護巡檢,保持機房運行環境的良好狀態;
任職資格:
1.計算機相關專業,大專以上學歷; 2.3年以上的網絡管理、服務器管理、機房管理維護工作經驗;
3.熟悉服務器系統、數據庫安裝,維護與使用;
4.熟悉企業級路由器、交換機、防火墻設備的設置與維護管理;
5.熟悉應用系統架構,對OA系統、ERP軟件有維護經驗 ;
6.注重服務意識,責任心強,性格開朗,工作積極主動,能接受勤奮工作氛圍,有一定的抗壓能力,敢于承擔。
大數據運維工程師崗位的主要職責 篇18
職責:
1、 負責參與IT信息系統硬件集成項目實施工作;
2、 負責處理計算機及辦公外設、監控、網絡、的安裝及調試工作,處理相關的故障問題及異常排除;
3、 綜合布線及相關的工作;
4、 協助進行客戶使用培訓工作;
5、 具有良好的技術文檔編制能力;
6、有IT售后服務經驗者優先考慮
崗位要求:
1、 大專及以上學歷,計算機類等相關專業;
2、 在學校有一定的弱電系統硬件集成系統實施經驗;
3、 了解項目管理和項目實施;
4、 良好的邏輯思維能力、人際溝通能力;
5、 積極主動,具備團隊意識,具有高度的責任心,能夠承受較強的工作壓力。
大數據運維工程師崗位的主要職責 篇19
職責:
1、負責數據平臺的運維管理工作(部署、監控、優化、故障處理);
2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構審核、容量規劃、成本優化;
3、負責大數據平臺的用戶管理、權限分配、資源分配;
4、參與數據挖掘、機器學習平臺的設計、并給出可執行的運維方案;
5、參與數據平臺的相關工具開發(包括自動化部署、監控、ETL等);
6、深入理解數據平臺架構,發現并解決故障隱患及性能瓶頸;
7、ETL工具、調度工具、關系型數據庫的運維。
任職資格:
1、本科以上學歷,計算機軟件相關專業;
2、1年以上大數據相關組件運維經驗(hadoop/yarn/hbase/hive/spark/kafka等),1年以上的CDH或HDP維護經驗,3年以上系統運維相關經驗;
3、深入理解Linux系統,能獨立部署開源軟件,熟練掌握一門以上腳本語言(shell/perl/python等),熟悉python開發語言優先;
4、邏輯思維能力強,做事有條理,責任心強,工作積極主動,執行力強,有良好的團隊協作意識。
大數據運維工程師崗位的主要職責 篇20
1. 負責持續集成/自動化運維平臺搭建;
2. 產品上線部署與發布;
3. 對系統、WEB、數據庫日志收集分析,發現潛在隱患;
4. 服務器日常監控及報警處理;
5. 突發情況應急預案、應急處理;
6. 阿里云相關產品應用;
7. Docker鏡像制作,K8S環境搭建;
8. Nginx、MQ等中間件的搭建、配置、管理、優化和維護;
9. Centos、GitLab、MYSQL的安裝、配置、管理和維護;
10. mysql安裝、配置、排錯、備份還原、性能優化及監控;
11. 其他監控軟件搭建及應用;
大數據運維工程師崗位的主要職責 篇21
職責:
1、負責運維平臺的架構、設計、開發,提升運維質量及效率,達成運維自動化平臺、日志平臺、緩存平臺持續迭代建設;
2、負責監控告警系統的設計和開發,做到監控可視化、故障自動化,7x24小時響應故障處理,對平臺的運維質量負責;
3、評估系統性能和運行狀態,建立量化指標,用數據指導優化,技術文檔的整理和編寫;
4、業務服務支持,不限于桌面支持、技術支持、系統支持,實現信息系統的自動化及業務管理系統自動化
5、信息化系統的規劃和建設,不限于OA、客服、FMS、WMS、TMS、OMS、ERP等;
6、安全規劃和管理,不限于網絡、系統、數據、操作等安全,組織定期或者不定期進行安全演練
7、網絡和硬件規劃和管理:辦公、開發、測試、生產、門店、分公司網絡建設,機房、服務器、打印機、電腦、電話等基礎
8、負責運維和IT團隊的建設,負責業務上線,維護等日常運維工作,負責業務調優及配合開發人員解決問題;
崗位要求:
1、本科及以上學歷,計算機相關專業,5年以上運維工作經驗,2年以上互聯網運維工作經驗;
2、精通Linux操作系統,熟悉shell或python等語言,熟悉自動化運維,擅長ansible/puppet/SaltStack其中至少一項工具;
3、精通tomcat、nginx、lvs、 jenkins、sonar、dubbo、redis、memched、couchbase 、fdfs等軟件,熟練掌握自動化集成部署方案;
4、精通大型監控架構及原理,熟悉系統、應用,數據庫等組件的監控配置經驗,熟悉后臺分布式系統的架構及容災設計;熟悉軟件發布,運維,優化,對軟件全生命周期管理有一定認識;
5、熟悉Mysql,能熟練掌握Mysql的基本操作,能對Mysql進行性能優化,監控Mysql日常運行情況,熟悉主備、主從、安全機制;
6、熟悉hadoop、Spark、Zookeeper等組件的原理及運維方式,有docker、kubernetes生產實踐經驗者優先;
7、具備快速故障排錯的能力,具備一定的大型應用系統的架構優化能力,優秀的全局觀,對虛擬化、服務器硬件、操作系統、網絡、存儲、應用中間件的工作原理等方面的技術有深入的理解和經驗;
8、熟悉相關IT管理方法論,至少對ITIL\Devops\ITOM中的兩種有較為深刻的認識。
