大數(shù)據(jù)運維工程師的職責精選
大數(shù)據(jù)運維工程師負責大數(shù)據(jù)平臺的穩(wěn)定性和性能優(yōu)化。下面是第一范文網(wǎng)小編為您精心整理的大數(shù)據(jù)運維工程師的職責精選。
大數(shù)據(jù)運維工程師的職責精選1
職責：
1、負責大數(shù)據(jù)平臺Hawq數(shù)據(jù)庫運維;
2、負責大數(shù)據(jù)平臺Tbase數(shù)據(jù)庫運維;
3、負責傳統(tǒng)數(shù)據(jù)(Oracle、MySQL等數(shù)據(jù)庫)數(shù)據(jù)遷移、數(shù)據(jù)同步;
4、負責日常數(shù)據(jù)庫的監(jiān)控及問題分析排查;
5、負責OGG、Kafafa等組件數(shù)據(jù)傳輸同步日常運維;
6、負責數(shù)據(jù)庫的優(yōu)化、SQL語句的優(yōu)化調(diào)優(yōu);
7、負責數(shù)據(jù)同步的檢驗與異常處理，確保數(shù)據(jù)的一致性、完整性、及時性;
8、負責制定數(shù)據(jù)同步方案及實施。
任職要求：
1、大專或以上學(xué)歷，計算機或統(tǒng)計類相關(guān)專業(yè)
2、有3年以上技術(shù)類或數(shù)據(jù)類的開發(fā)經(jīng)驗;
3、熟練linux 系統(tǒng)操作及l(fā)inux 運維監(jiān)控、軟件安裝配置;
4、熟悉大數(shù)據(jù)技術(shù)，如Hadoop、Spark、storm、zookeeper等;
5、熟悉主流數(shù)據(jù)庫mysql/sql serverl/oracle/postgreSQL等，精通SQL語句，對復(fù)雜SQL能進行優(yōu)化，能熟練編寫存儲過程;
6、熟練Linux SHELL，可以進行運維SHELL開發(fā);
7、學(xué)習(xí)能力強，責任心強，具有優(yōu)秀的溝通表達、理解能力與團隊合作能力;
8、有CentOS 7、Red Hat 7等Linux操作系統(tǒng)，有Shell腳本編寫經(jīng)驗的優(yōu)先。
9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)數(shù)據(jù)倉庫的實際運維經(jīng)驗或3年以上 HIVE、SPARK 實際項目運維經(jīng)驗
10、在實際項目中，有異構(gòu)數(shù)據(jù)庫遷移經(jīng)驗，從傳統(tǒng)ORACLE,MYSQL遷移至MPP數(shù)據(jù)倉庫的實戰(zhàn)經(jīng)驗.
大數(shù)據(jù)運維工程師的職責精選2
職責:
1. 負責公司核心集群的運維工作, 任務(wù)調(diào)度、監(jiān)控預(yù)警，持續(xù)完善大數(shù)據(jù)平臺，保證穩(wěn)定性、安全性;
2. 負責集群容量規(guī)劃、擴容及集群性能優(yōu)化;
3. 基于大數(shù)據(jù)應(yīng)用需求，持續(xù)優(yōu)化Hadoop框架及組件的配置，提升性能;
任職資格：
1.大專以上計算機，通信和網(wǎng)絡(luò)相關(guān)專業(yè);
2.3年以上中等規(guī)模集群環(huán)境下的Hadoop/Impala/Hive/Spark集群相關(guān)運維經(jīng)驗;
3.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關(guān)參數(shù)調(diào)優(yōu), 性能優(yōu)化等有實際經(jīng)驗;
4.有實際踩坑經(jīng)歷, 對于相關(guān)組件的版本跟進, 補丁跟蹤, bug追蹤等有相關(guān)經(jīng)驗;
5.實際處理過各種集群在線版本升級, 數(shù)據(jù)遷移, 集群擴容, 穩(wěn)定性監(jiān)控等工作;
6.熟悉Kerberos安全認證系統(tǒng)，實施過集群權(quán)限管理, 資源隔離方面的方案規(guī)劃或二次開發(fā)工作;
7.能維護Hadoop源碼，有Hadoop 源代碼BUG修復(fù)或者源代碼優(yōu)化經(jīng)驗者優(yōu)先;
8.有Cloudera的CM使用經(jīng)驗尤佳。
大數(shù)據(jù)運維工程師的職責精選3
職責：
1負責政務(wù)云平臺、政務(wù)應(yīng)用系統(tǒng)中數(shù)據(jù)庫業(yè)務(wù)的日常運維，保障平臺及應(yīng)用系統(tǒng)服務(wù)7*24穩(wěn)定可靠高效運行
2負責數(shù)據(jù)庫性能調(diào)優(yōu)，了解鎖與隔離機制，協(xié)助客戶解決數(shù)據(jù)庫性能瓶頸
3制定數(shù)據(jù)庫使用規(guī)范，制定數(shù)據(jù)庫備份、升級、遷移規(guī)劃并部署實施
4參與數(shù)據(jù)庫設(shè)計工作，提高數(shù)據(jù)庫維護自動化水平
5熟悉Linux操作系統(tǒng)，熟練使用Python，Go，Shell等至少一種語言
崗位要求：
1) 5年以上 Oracle/MySQL DBA 從業(yè)經(jīng)驗;
2) 熟練掌握 Oracle/MySQL 數(shù)據(jù)庫的基礎(chǔ)理論知識、運行機制、體系架構(gòu)、高可用方案、備份機制、容災(zāi)機制等;
3) 熟練掌握數(shù)據(jù)庫性能優(yōu)化，了解主流的分布式數(shù)據(jù)庫 Spanner/Cassandra;
4) 熟悉 Linux/Unix 操作系統(tǒng)，對服務(wù)器硬件有一定了解;
5) 熟練掌握 golang、Python、Java 等語言中的一種;
6) 熟悉阿里云產(chǎn)品線，具備ACP認證者優(yōu)先考慮;
大數(shù)據(jù)運維工程師的職責精選4
職責：
- 負責局點大數(shù)據(jù)平臺的部署、管理、優(yōu)化、監(jiān)控報警，保障平臺服務(wù)7*24穩(wěn)定可靠高效運行;
- 深入理解公司大數(shù)據(jù)平臺架構(gòu)，發(fā)現(xiàn)并解決性能瓶頸，支撐業(yè)務(wù)和數(shù)據(jù)量的快速增長;
- 開發(fā)大數(shù)據(jù)自動化運維、監(jiān)控報警、故障處理相關(guān)腳本和工具;
- 負責Hadoop/spark/Kafka等集群服務(wù)、業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等。
要求：
- 4年以上運維相關(guān)工作經(jīng)驗，有大數(shù)據(jù)平臺運維相關(guān)工作經(jīng)驗優(yōu)先;
- 具備一定的故障排查能力，有良好的技術(shù)敏感度和風(fēng)險識別能力，精通一門以上腳本語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協(xié)議;
- 熟悉Linux(redhat/centos)軟硬件環(huán)境、系統(tǒng)管理和優(yōu)化，熟練部署、優(yōu)化各種常用服務(wù)。熟練使用Linux 命令和常用的ssh、ftp、git、maven等開發(fā)工具;
- 熟悉Hadoop大數(shù)據(jù)生態(tài)圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;
- 熟悉Hadoop各組件的原理和實現(xiàn)，有實際部署維護、管理( 包括元數(shù)據(jù)管理)及優(yōu)化經(jīng)驗。并擁有持續(xù)調(diào)優(yōu)能力，運維管理過大規(guī)模數(shù)據(jù)平臺;
- 熟悉掌握常用的安全協(xié)議和組件服務(wù)，對hadoop各組件的權(quán)限、安全、kerberos進行配置管理。熟悉SSL、ACL、kerberos等在大數(shù)據(jù)環(huán)境場景的使用;
- 熟悉常用運維監(jiān)控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相關(guān)插件的開發(fā)。比如郵件、短信、微信報警插件等;
- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優(yōu)化;
- 具備良好的服務(wù)意識，善于主動思考，自我驅(qū)動力強。有良好的溝通、協(xié)調(diào)能力，富有團隊精神，有較強的文檔編寫能力;
- 有大數(shù)據(jù)開發(fā)經(jīng)驗和閱讀源碼能力者優(yōu)先
大數(shù)據(jù)運維工程師的職責精選5
職責：
1、負責銀行各類應(yīng)用系統(tǒng)的運維標準制定和運維管理等工作;
2、負責銀行各類應(yīng)用系統(tǒng)的運行情況及相關(guān)技術(shù)的整理、分析和總結(jié)等工作;
3、負責銀行各類應(yīng)用系統(tǒng)的應(yīng)用監(jiān)控、應(yīng)用運維體系工具的建設(shè)和維護工作;
4、負責銀行各類應(yīng)用系統(tǒng)的自動化腳本編寫和測試工作。
招聘要求：
1、全日制一本以及以上學(xué)歷，理工類專業(yè);
2、具備2年及以上應(yīng)用系統(tǒng)運維或應(yīng)用系統(tǒng)開發(fā)經(jīng)驗，有銀行應(yīng)用系統(tǒng)運維或開發(fā)經(jīng)驗者優(yōu)先;
3、具備較強的文檔編寫、英語文檔閱讀能力;
4、具備良好的溝通表達能力和團隊合作精神，具有較強的工作責任心和主動性;
5、至少具備以下二項技能：
(1)熟悉銀行應(yīng)用系統(tǒng)體系架構(gòu)、應(yīng)用運維標準化流程;
(2)熟悉AIX、LInux操作系統(tǒng)相關(guān)運維工作，具備熟練的SHELL腳本編程能力;
(3)熟悉應(yīng)用軟件持續(xù)集成和持續(xù)發(fā)布交付項目的整體流程，熟悉Jenkins、Nexus等相關(guān)Devops工具;
(4)熟練使用容器平臺相關(guān)技術(shù)，有容器平臺管理工作、應(yīng)用容器打包的相關(guān)經(jīng)驗;
(5)熟練使用Golang或者Python編程。