大數據運維工程師的職責(通用22篇)
大數據運維工程師的職責 篇1
職責:
1. 負責公司核心集群的運維工作, 任務調度、監控預警,持續完善大數據平臺,保證穩定性、安全性;
2. 負責集群容量規劃、擴容及集群性能優化;
3. 基于大數據應用需求,持續優化Hadoop框架及組件的配置,提升性能;
任職資格:
1.大專以上計算機,通信和網絡相關專業;
2.3年以上中等規模集群環境下的Hadoop/Impala/Hive/Spark集群相關運維經驗;
3.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關參數調優, 性能優化等有實際經驗;
4.有實際踩坑經歷, 對于相關組件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗;
5.實際處理過各種集群在線版本升級, 數據遷移, 集群擴容, 穩定性監控等工作;
6.熟悉Kerberos安全認證系統,實施過集群權限管理, 資源隔離方面的方案規劃或二次開發工作;
7.能維護Hadoop源碼,有Hadoop 源代碼BUG修復或者源代碼優化經驗者優先;
8.有Cloudera的CM使用經驗尤佳。
大數據運維工程師的職責 篇2
職責:
1、負責大數據平臺Hawq數據庫運維;
2、負責大數據平臺Tbase數據庫運維;
3、負責傳統數據(Oracle、MySQL等數據庫)數據遷移、數據同步;
4、負責日常數據庫的監控及問題分析排查;
5、負責OGG、Kafafa等組件數據傳輸同步日常運維;
6、負責數據庫的優化、SQL語句的優化調優;
7、負責數據同步的檢驗與異常處理,確保數據的一致性、完整性、及時性;
8、負責制定數據同步方案及實施。
任職要求:
1、大專或以上學歷,計算機或統計類相關專業
2、有3年以上技術類或數據類的開發經驗;
3、熟練linux 系統操作及linux 運維監控、軟件安裝配置;
4、熟悉大數據技術,如Hadoop、Spark、storm、zookeeper等;
5、熟悉主流數據庫mysql/sql serverl/oracle/postgreSQL等,精通SQL語句,對復雜SQL能進行優化,能熟練編寫存儲過程;
6、熟練Linux SHELL,可以進行運維SHELL開發;
7、學習能力強,責任心強,具有優秀的溝通表達、理解能力與團隊合作能力;
8、有CentOS 7、Red Hat 7等Linux操作系統,有Shell腳本編寫經驗的優先。
9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)數據倉庫的實際運維經驗或3年以上 HIVE、SPARK 實際項目運維經驗
10、在實際項目中,有異構數據庫遷移經驗,從傳統ORACLE,MYSQL遷移至MPP數據倉庫的實戰經驗.
大數據運維工程師的職責 篇3
職責:
1、負責銀行各類應用系統的運維標準制定和運維管理等工作;
2、負責銀行各類應用系統的運行情況及相關技術的整理、分析和總結等工作;
3、負責銀行各類應用系統的應用監控、應用運維體系工具的建設和維護工作;
4、負責銀行各類應用系統的自動化腳本編寫和測試工作。
招聘要求:
1、全日制一本以及以上學歷,理工類專業;
2、具備2年及以上應用系統運維或應用系統開發經驗,有銀行應用系統運維或開發經驗者優先;
3、具備較強的文檔編寫、英語文檔閱讀能力;
4、具備良好的溝通表達能力和團隊合作精神,具有較強的工作責任心和主動性;
5、至少具備以下二項技能:
(1)熟悉銀行應用系統體系架構、應用運維標準化流程;
(2)熟悉AIX、LInux操作系統相關運維工作,具備熟練的SHELL腳本編程能力;
(3)熟悉應用軟件持續集成和持續發布交付項目的整體流程,熟悉Jenkins、Nexus等相關Devops工具;
(4)熟練使用容器平臺相關技術,有容器平臺管理工作、應用容器打包的相關經驗;
(5)熟練使用Golang或者Python編程。
大數據運維工程師的職責 篇4
職責:
- 負責局點大數據平臺的部署、管理、優化、監控報警,保障平臺服務7*24穩定可靠高效運行;
- 深入理解公司大數據平臺架構,發現并解決性能瓶頸,支撐業務和數據量的快速增長;
- 開發大數據自動化運維、監控報警、故障處理相關腳本和工具;
- 負責Hadoop/spark/Kafka等集群服務、業務監控、持續交付、應急響應、容量規劃等。
要求:
- 4年以上運維相關工作經驗,有大數據平臺運維相關工作經驗優先;
- 具備一定的故障排查能力,有良好的技術敏感度和風險識別能力,精通一門以上腳本語言(shell/python等),熟悉Http/Https、TCP/IP、SMTP等協議;
- 熟悉Linux(redhat/centos)軟硬件環境、系統管理和優化,熟練部署、優化各種常用服務。熟練使用Linux 命令和常用的ssh、ftp、git、maven等開發工具;
- 熟悉Hadoop大數據生態圈,包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;
- 熟悉Hadoop各組件的原理和實現,有實際部署維護、管理( 包括元數據管理)及優化經驗。并擁有持續調優能力,運維管理過大規模數據平臺;
- 熟悉掌握常用的安全協議和組件服務,對hadoop各組件的權限、安全、kerberos進行配置管理。熟悉SSL、ACL、kerberos等在大數據環境場景的使用;
- 熟悉常用運維監控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相關插件的開發。比如郵件、短信、微信報警插件等;
- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優化;
- 具備良好的服務意識,善于主動思考,自我驅動力強。有良好的溝通、協調能力,富有團隊精神,有較強的文檔編寫能力;
- 有大數據開發經驗和閱讀源碼能力者優先
大數據運維工程師的職責 篇5
職責:
1負責政務云平臺、政務應用系統中數據庫業務的日常運維,保障平臺及應用系統服務7*24穩定可靠高效運行
2負責數據庫性能調優,了解鎖與隔離機制,協助客戶解決數據庫性能瓶頸
3制定數據庫使用規范,制定數據庫備份、升級、遷移規劃并部署實施
4參與數據庫設計工作,提高數據庫維護自動化水平
5熟悉Linux操作系統,熟練使用Python,Go,Shell等至少一種語言
崗位要求:
1) 5年以上 Oracle/MySQL DBA 從業經驗;
2) 熟練掌握 Oracle/MySQL 數據庫的基礎理論知識、運行機制、體系架構、高可用方案、備份機制、容災機制等;
3) 熟練掌握數據庫性能優化,了解主流的分布式數據庫 Spanner/Cassandra;
4) 熟悉 Linux/Unix 操作系統,對服務器硬件有一定了解;
5) 熟練掌握 golang、Python、Java 等語言中的一種;
6) 熟悉阿里云產品線,具備ACP認證者優先考慮;
大數據運維工程師的職責 篇6
1、 負責系統運行團隊的日常運維工作;
2、 做好相關系統運行情況的值班記錄和數據匯總工作;
3、 負責團隊運維系統的安裝、調試、維護、監控和故障處理等日常工作,對團隊運維系統提供技術支撐,保證系統穩定運行;
4、 負責日常運維問題記錄、反饋和跟蹤。
5、 撰寫相關的運行維護手冊和后續完善修訂,定期編寫系統運行維護報告。
6、 完成領導安排的其他事項。
大數據運維工程師的職責 篇7
1.負責系統(Windows,Linux)的安全穩定運行和維護保障;
2.負責服務器,操作系統的日常維護及運行質量檢查,并對相關性能指標進行監控和評估;
3.負責應用系統日常操作、應用維護,巡檢、升級、應急響應、故障處理;
4.負責應用系統的上線部署、版本管理和技術支持;
5.匯報和總結每月發生的問題
大數據運維工程師的職責 篇8
職責:
1. 負責公司交換機、路由器、打印機、投影儀的維護保養、故障排除,保障網絡運行安全、穩定;
2. 公司門禁系統、監控系統的日常維護與管理工作;
3. 公司辦公軟件的采購、安裝、升級維護(office、企業郵箱、安全軟件);
4. 負責信息化辦公系統(HR系統、OA系統、ERP系統)的實施、上線培訓及維護,提供技術支援;
5. 負責公司網絡、數據安全管理,離職員工電腦資料文件的備份;
6. 領導交辦的其他臨時任務。
任職要求:
1.計算機或網絡工程相關專業專科及以上學歷;
2.有豐富的計算機軟、硬件知識,網絡安全知識,系統維護知識;
3.熟練使用windows操作系統,熟練掌握網絡知識及相關操作系統;
4.熟悉h3c交換機、路由器、防火墻等網絡設備,有豐富的網絡安全意識;
5.熟悉各種主流操作系統、網絡安全軟、硬件及相關方案及相關軟件,較強的錯誤分析和應變能力,能獨立進行安裝、調試及故障排除;
6.學習能力強,有較好的溝通和協作能力,具備良好的服務意識。
大數據運維工程師的職責 篇9
職責:
1、負責公司服務器日常的維護,包括巡檢、故障排除、數據備份等業務,保證服務器高質量、高效率運行狀態;
2、負責公司大數據產品的現場實施,制定可靠的實施方案;
3、負責公司大數據環境(hadoop生態)集群環境安裝、維護、部署、優化;
【任職資格】
1、至少2年服務器、大數據集群運維經驗;
2、精通linux運維命令,熟悉Linux的維護和管理,熟悉Shell腳本開發,能看懂Python/Scala優先;
3、熟悉大數據項目實施:包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數據生態的平臺搭建,監控,運維,調優、生產環境;
4、熟悉docker技術優先;
5、熟練使用git版本控制,jenkins持續集成工具優先;
6、具備強烈的進取心、自我學習能力,良好的溝通能力和團隊合作意識。
大數據運維工程師的職責 篇10
職責:
1、企業內網建設和管理;進行網絡架構的規劃、設計、調整、性能優化;
2、網絡環境的管理,配置,排錯,維護;
3、網絡設備的安裝、配置、管理,提供網絡設備維護方案;
4、網絡安全,網絡質量及網絡設備的監控,生成網絡質量報表;
5、建立完整的網絡系統文檔;
6、負責信息化系統運維,包含使用數量、權限管理、使用空間、系統資源等。
任職要求:
1、大專學歷,計算機網絡、通信相關專業;
2、具備2年以上網絡工程實施經驗,能夠獨立調試路由器、交換機、防火墻等國內外主流廠商產品;
3、具有良好的服務意識,思路清晰,溝通表達能力強;
4、具有華三、華為等主流廠商初級或以上專業認證優先;
5、有集成和運維項目經驗者者優先。
6、有H3C或者華為的網絡/無線/安全認證的優先;
大數據運維工程師的職責 篇11
項目現場系統、公司軟件產品、數據庫的部署安裝與運維;
根據現場環境和項目需求對數據庫和軟件進行配置調試;
參與數據調研與ETL相關事宜;
負責與客戶溝通項目需求,并整理需求反饋回公司;
撰寫項目相關文檔和技術文檔;
負責對客戶進行相關技術的培訓與講解;
大數據運維工程師的職責 篇12
職責:
1、負責設計運維平臺、開發,提升運維質量及效率,實現系統的自動化管理;
2、負責監控告警系統的設計和開發,做到監控可視化、故障自動化;
3、評估系統性能和運行狀態,建立量化指標,用數據指導優化;
4、技術文檔的整理和編寫。
任職要求:
1、計算機相關專業;
2、精通Linux操作系統,熟悉shell或python等語言;
3、精通tomcat,nginx,lvs, jenkins、sonar等軟件,能規劃一套應用自動化集成部署方案;
4、精通監控架構及原理,熟悉系統、應用,數據庫等組件的監控配置經驗;
5、熟悉Mysql,sql Server,能熟練掌握Mysql的基本操作,能對Mysql進行性能優化,監控Mysql日常運行情況,熟悉主備、主從、安全機制;
6、熟悉hadoop、Spark、Zookeeper等組件的原理及運維方式;
7、具備快速故障排錯的能力,具備一定的大型應用系統的架構優化能力;
8、認真負責,工作嚴謹,重視流程規范,良好的溝通能力和團隊協作能力,善于不斷學習。
大數據運維工程師的職責 篇13
職責:
1、負責日常公司已交付項目的管理維護,保障系統的穩定運行;
2、負責相關故障、疑難問題排查處理,編制匯總故障、問題,定期提交匯總報告;
3、依照項目實際情況進行簡單的編程實現特殊業務需要 ;
4、對工作認真負責,并能承受一定的工作壓力 。
任職資格:
1、具有2年以上相關工作經驗,能熟練使用C#進行代碼編寫和調試;
2、具備優秀的計算機軟、硬件知識,能夠快速判斷軟、硬件故障并且提出解決方案;
3、熟悉常用的操作系統、數據庫的安裝、操作、配置、故障處理及部署的相關知識及解決問題的能力;
4、有使用主流大型數據庫的實際開發、維護經驗;
5、吃苦耐勞,踏實好學、有較強的責任心、團隊協作能力及溝通能力;
6、適應頻繁出差;
大數據運維工程師的職責 篇14
職責:
1、負責應用系統的日常管理與運行維護;
2、負責日常計算機及網絡維護,提供IT軟硬件軟件方面的服務與支持;
3、負責服務器系統、數據庫、常用服務支撐軟件的安裝、維護、遷移、故障處理;
4、負責不同開發環境持續集成搭建、優化及維護;
任職要求:
1、3年以上相關經驗,大專以上學歷,二年以上大中型在線系統運維的工經驗,會python優先
2、至少掌握一門腳本語言,如shell、perl、python等等;
3、熟悉Mysql數據庫的管理,熟悉Mysql備份和恢復、Mysql MMM復制以及Mysql的性能調優;
4、有一定的Mysql數據庫的運維經驗,了解Redis/ActiveMQ/Kafka/Tomcat/Nginx等開源軟件;
5、熟悉SVN/git等源代碼管理工具,至少熟悉一種主流的持續集成工具(Jenkins、TeamCity、Crusecontrol等);
6、熟悉運維監控工具,如Zabbix等;
7、有較好的團隊管理和組織協調能力,具有良好的職業道德和團隊協作精神,具備積極主
大數據運維工程師的職責 篇15
職責:
1、負責公司現有線上產品的日常運維工作
2、負責線上產品所涉及服務器及網絡的維護及故障排除
3、負責公司現有線上產品功能擴展及維護
4、負責產品功能、產品實施方面的培訓及驗收工作
職位要求:
1、1年以上項目運維經驗
2、熟悉Linux 服務器維護,熟悉Weblogic、Tomcat 項目部署
3、熟悉Oracle、MySQL數據基礎操作
4、熟練掌握Git,SVN等代碼管理工具,對構建,代碼檢查,發布有相應經驗。
5、有JAVA開發基礎的優先考慮
5、對技術有激情、有追求;富于技術創新精神,勇于解決技術難題;
6、責任心強,具備良好的團隊合作精神和承受壓力的能力。
7、能夠適應出差,駐場運維
大數據運維工程師的職責 篇16
職責:
1. 負責日常網絡及各子系統管理維護;
2. 負責設計并部署相關應用平臺,并提出平臺的實施、運行報告;
3. 負責配合開發搭建測試平臺,協助開發設計、推行、實施和持續改進;
4. 負責相關故障、疑難問題排查處理,編制匯總故障、問題,定期提交匯總報告;
5. 負責網絡監控和應急反應,以確保網絡系統有7*24小時的持續運作能力;
6. 負責日常系統維護及監控,提供IT軟硬件方面的服務和支持,保證系統的穩定。
素質要求及任職資格:
1.學歷: 專科以上。
2.專業: 計算機相關專業。
3.經驗: 一年以上相關工作經歷優先。
4.核心能力及業務技術要求:
A.熟悉Unix/linux和Windows系統,有IT系統維護經驗; 對操作系統、網絡、計算機安全有一定的深刻理解;
B.熟悉主流的交換機、路由器、防火墻等網絡設備及其技術應用;
C.熟悉主流web配置,包括IIS、apache、tomcat、nginx等;
D.熟悉負載均衡技術,lvs+keepalive+Heartbeat等集群技術;
E.精通或掌握SQLServer/Oracle/mysql等大型數據庫管理系統(之一)的安裝/配置和管理;
F.熟練掌握Linux監控軟件,如nagios等,監控系統安全控制及技術防范;
G.具備良好的分析和解決問題的能力,對于攻關疑難問題具有強烈的興趣;
H.性格開朗外向、善于學習,具備較強的服務意識、溝通協調能力、團隊協作能力;
I.良好的文檔編寫能力,較強的客戶服務意識,積極主動,吃苦耐勞, 高度的責任心及應急能力;
5.其它:身體狀態良好。
大數據運維工程師的職責 篇17
職責:
1. 配合完成班組7*24小時值班巡檢工作的安排和執行;
2. 配合班長協調安排客戶服務請求的配合工作;
3. 負責事件及常見故障的處理與協調;
4. 巡檢時善于發現設備隱患及缺陷,確保所轄設備始終處于良好的運行狀態;
5. 認真作好值班記錄和巡查記錄并錄入,認真執行交接班制度。積極配合班組長工作;
6. 按計劃及時完成設備設施維護保養工作;及時做好維保記錄;
7. 組織班組安全學習,負責班組安全工作的開展實施;
8. 完成臨時安排的其他工作。
任職資格:
1. 具備弱電專業設備值班、巡檢、操作、維護、應急的能力;
2. 能夠熟練使用弱電專業工具,并獨立或配合完成弱電專業相關工作;
3. 能夠按照弱電專業工作計劃安排,根據工作標準完成日常工作;
4. 具有妥善處理日常各種事務及突發事件的能力;
5. 取得國家專業機構頒發的行業許可證;
6. 2年以上弱電專業經驗,1年以上數據中心行業經驗有大型IDC數據中心運維管理經驗優先;
7. 工作責任心強,能承受一定的工作壓力,能接受7*24小時排班工作制,并有應急處理能力;
8.從事過大中型數據中心維護工作者優先。
大數據運維工程師的職責 篇18
1. 負責主流Linux操作系統的安裝和日常維護,包括但不限于用戶及權限管理,監控,備份及驗證,健康檢查,故障處理,變更實施等;
2. 負責對主流Linux操作系統的進行安全檢查和加固;
3. 負責對主流Linux操作系統進行按需的腳本編寫和維護;
4. 負責對基于Linux系統的常見應用的部署和維護,包括但不限于LDAP, Web Server,DNS,Email等;
5. 負責Linux系統維護手冊和文檔的編寫;
大數據運維工程師的職責 篇19
職責:
1、管理、維護服務器及應用系統;
2、優化平臺系統架構、提升系統服務性能。
3、負責服務器日常檢查,故障排除;
4、負責服務器的實施部署與搭建;
5、負責服務器的資源調配、系統安全和數據備份;
6、負責服務器各項數據的監控,如流量、負載等;
任職要求:
1. 22-32歲,全日制大專及以上學歷,計算機、信息工程或IT相關專業,精通計算機維護,網絡管理等相關知識;
2. 對網絡安全體系有深入理解,有網絡安全事件的緊急處置經驗和能力,具有豐富的網絡故障排查和解決經驗,突出的分析和解決問題能力;
3、熟練使用Linux/unix操作系統,2年以上linux平臺使用經驗。
4、熟悉主流linux安裝、配置、管理及優化,有實際服務器管理經驗和集群經驗。
5、熟練掌握perl、shell、python之一的腳本編程;
6、熟練使用Mysql、Oracle,有實際數據庫操作經驗,熟悉常用sql語句。有數據庫集群實際使用經驗。
7、熟悉常見Web系統架構,并具有很強的故障排查和解決問題的能力。
8、有redis集群,mysql讀寫分離,ELK日志分析搭建的經驗優先
大數據運維工程師的職責 篇20
職責:
1、負責電商網站Linux服務器的正常運行和應急響應;
2、負責阿里云服務器的正常運行和應急響應;
3、開發平臺監控工具、自動化運維工具;
4、研究系統服務架構,實現性能優化,提高系統的健康度;
5、制定和改進應急預案和流程,提高服務運行質量;
6、負責為數據分析與決策人員提供數據支持;
7、搭建和維護開發服務器,測試服務器,數據分析服務器。
任職條件:
1、計算機相關專業、軟件工程、計算機科學與技術、網絡工程等相關專業,本科以上學歷;兩年以上Linux服務器運維經驗;
2、熟悉TCP/IP和SNMP等網絡協議和路由、交換機、防火墻等網絡設備管理,熟悉綜合布線,具有全面的網絡安全知識;對系統漏洞、入侵檢測、病毒防護、防火墻等有實踐經驗;
3、深入了解Linux系統及其遠程維護,具備Linux下編程經驗,熟練使用grep、awk、sed、vi等系統工具,擅長shell,python 等腳本語言當中的一種;
4、熟悉阿里云的后臺,有過阿里云部署和運維經驗;
5、熟悉mysql數據庫和mysqlHA架構,有Mysqlmaster/slave相關調優經驗;
6、熟悉Squid,Memcached,Redis, MongoDB 安裝及調優;
7、熟悉Apache,Lighttpd,Ngix服務器安裝及調優;
8、熟悉XenServer安裝使用,熟悉虛擬化,熟悉云架構;
9、了解運維高容量、大并發Web系統的業務知識;
10、有大、中型網站維護實戰經驗者優先考慮;
11、對技術文檔編寫規范有一定了解,能閱讀英文技術文檔;
12、良好的溝通和語言表達能力,邏輯清晰,愛學習,有自我激勵能力,樂于承擔工作壓力,責任心強。
大數據運維工程師的職責 篇21
職責:
1.負責研發部IT監控平臺的規劃和建設;
2.負責研發部運維自動化平臺規劃建設;
3.負責研發部IT系統的網絡規劃、建設、運維,保證各業務系統正常運行;
4.負責研發部現有IT系統部署架構以及性能優化;
崗位要求:
1.精通Linux系統的操作命令,有RHCE、RHCSA證書更佳;
2.熟悉Oracle、Mysql、SQLServer等關系型數據中的至少1-2種,且至少有3年以上使
用運維經驗;
3.能獨立完成各種中間件集群在Linux平臺的部署、調優,包括且不限于Zookeeper、Kafka、
Storm、Redis等等;
4.熟悉如下至少一種編程語言shell、perl、python、ruby且獨立輸出過實戰案例;
5.熟悉主流的IT系統監控軟件如zabbix、nagios等并有實際操作經驗;
6.了解hadoop/spark等大數據平臺,能使用大數據平臺進行相關的數據處理;
7.熟悉AWS、阿里云、騰訊云等公有云平臺的相關操作;
8.具有良好的學習和解決問題的能力,具有團隊合作精神;
9.吃苦耐勞,能承受一定的工作壓力。
大數據運維工程師的職責 篇22
1、對現場異常的處理及系統維護;
2、用戶權限的新增、刪除、關閉;
3、系統各個基礎數據的配置;
4、對系統的功能模塊編寫操作說明;
5、對日常運維,編寫運維說明;
6、對新增的功能模塊進行培訓;
7、對新增的功能模塊進行實施;
8、積極參與團隊周會,總結每周工作進度,工作表現。
