- 目錄
崗位職責(zé)是什么
hadoop崗位是一個專注于大數(shù)據(jù)處理和分析的關(guān)鍵角色,主要負(fù)責(zé)管理和優(yōu)化企業(yè)的大數(shù)據(jù)基礎(chǔ)設(shè)施,確保數(shù)據(jù)的有效存儲、處理和檢索,以支持業(yè)務(wù)決策和創(chuàng)新。
崗位職責(zé)要求
1. 精通hadoop生態(tài)系統(tǒng),包括hdfs、mapreduce、yarn、hbase等組件。
2. 具備java編程能力,能夠編寫和優(yōu)化mapreduce作業(yè)。
3. 熟悉大數(shù)據(jù)處理工具,如pig、hive、spark等。
4. 理解數(shù)據(jù)倉庫和etl流程,能設(shè)計高效的數(shù)據(jù)處理方案。
5. 掌握linux操作系統(tǒng)和shell腳本,以便進(jìn)行系統(tǒng)管理和自動化任務(wù)。
6. 良好的問題解決能力和團(tuán)隊協(xié)作精神,能夠在壓力下工作。
7. 持續(xù)關(guān)注大數(shù)據(jù)技術(shù)動態(tài),不斷提升技術(shù)水平和行業(yè)洞察。
崗位職責(zé)描述
作為hadoop專家,你將承擔(dān)起構(gòu)建和維護(hù)大規(guī)模分布式數(shù)據(jù)處理平臺的責(zé)任。你的日常工作可能包括配置和調(diào)整hadoop集群,監(jiān)控性能,解決系統(tǒng)瓶頸,以及開發(fā)和優(yōu)化數(shù)據(jù)處理流程。此外,你也需要與業(yè)務(wù)團(tuán)隊緊密合作,理解他們的需求,提供數(shù)據(jù)解決方案,并確保數(shù)據(jù)安全和合規(guī)性。
有哪些內(nèi)容
1. 集群管理:搭建、配置和維護(hù)hadoop集群,確保高可用性和穩(wěn)定性。
2. 性能調(diào)優(yōu):通過監(jiān)控和分析,識別并解決性能問題,提升數(shù)據(jù)處理效率。
3. 數(shù)據(jù)處理:設(shè)計和實現(xiàn)基于hadoop的數(shù)據(jù)處理流程,滿足業(yè)務(wù)需求。
4. 安全保障:實施數(shù)據(jù)安全策略,保護(hù)敏感信息,遵守數(shù)據(jù)隱私法規(guī)。
5. 技術(shù)咨詢:為業(yè)務(wù)團(tuán)隊提供大數(shù)據(jù)相關(guān)的技術(shù)支持和咨詢服務(wù)。
6. 項目協(xié)作:參與跨部門項目,與其他it專業(yè)人員共同完成復(fù)雜的數(shù)據(jù)集成任務(wù)。
7. 培訓(xùn)指導(dǎo):培訓(xùn)新員工,提升團(tuán)隊對hadoop技術(shù)的理解和應(yīng)用能力。
8. 創(chuàng)新探索:研究新的大數(shù)據(jù)技術(shù)和工具,推動技術(shù)升級和業(yè)務(wù)創(chuàng)新。
hadoop崗位是企業(yè)數(shù)據(jù)戰(zhàn)略的核心,需要具備深厚的技術(shù)功底和業(yè)務(wù)理解,以驅(qū)動數(shù)據(jù)驅(qū)動的決策和業(yè)務(wù)增長。
hadoop崗位職責(zé)范文
第1篇 senior consultant, hadoop engineer職位描述與崗位職責(zé)任職要求
職位描述:
incorporated in 2017, kpmg technology r&d centre combines four functions: r&d, in-house services, outsourced services and operational services.it is kpmg’s first r&d centre and second delivery centre in china.
as kpmg’s first r&d centre in china, our business activities currently include:
1.development, design, production of computer software and computer system integration;
2.ai, r&d and delivery of technologies
3.big data-related services and technical support, including data development, data processing, data mining etc.
driven by increasing market demand, we will e_pand the r&d centre’s scope of business on an ongoing basis to enable technologies to provide quality services for our clients.
responsibilities
work as part of a team supporting the following business platforms:
- enterprise data warehouse
- provide guidance on designing big data platform architecture
- conduct research on latest big data platform products
- take responsibility for designing the core components of big data platform such as: hdfs、mapreduce、hiva、hbase
skills and e_perience
- familiar with linu_ java development environment and java ee specifications
- familiar with basic data structures and common algorithm
- familiar with shell and/or java and / or scala
- familiar with basic linu_ operations
- ability to multi-task, strong sense of responsibility, and very strong communication skills
- deep knowledge of hadoop, spark, hive, nosql, hbase, map reduce is a plus
第2篇 hadoop架構(gòu)師崗位職責(zé)hadoop架構(gòu)師職責(zé)任職要求
hadoop架構(gòu)師崗位職責(zé)
工作職責(zé):
1、負(fù)責(zé)全行大數(shù)據(jù)在各類業(yè)務(wù)場景中的應(yīng)用規(guī)劃及設(shè)計方案的制定;
2、負(fù)責(zé)對全行大數(shù)據(jù)的標(biāo)準(zhǔn)化進(jìn)行梳理并制定相應(yīng)方案;
3、負(fù)責(zé)制定全行的元數(shù)據(jù)集,并對元數(shù)據(jù)管理的流程、技術(shù)方案進(jìn)行設(shè)計;
4、面向數(shù)據(jù)價值服務(wù)為數(shù)據(jù)應(yīng)用場景進(jìn)行方案設(shè)計并指導(dǎo)落實實施;
5、負(fù)責(zé)對大數(shù)據(jù)相關(guān)領(lǐng)域的創(chuàng)新性研究和知識產(chǎn)權(quán)保護(hù)工作;
6、領(lǐng)導(dǎo)交辦的其他工作內(nèi)容。
任職要求:
1、 全日制本科及以上學(xué)歷,計算機(jī)、通信工程、數(shù)學(xué)等相關(guān)專業(yè);
2、 具備3年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗,2年以上大數(shù)據(jù)系統(tǒng)相關(guān)設(shè)計經(jīng)驗;
3、 熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數(shù)據(jù)相關(guān)技術(shù),并具備相關(guān)開發(fā)經(jīng)驗;
4、 在金融行業(yè)或互聯(lián)網(wǎng)金融領(lǐng)域有過相關(guān)工作經(jīng)驗者優(yōu)先考慮;
5、 具備良好的溝通能力、團(tuán)隊合作精神,能接受高強(qiáng)度工作。 大數(shù)據(jù)架構(gòu)師:
工作職責(zé):
1、負(fù)責(zé)全行大數(shù)據(jù)在各類業(yè)務(wù)場景中的應(yīng)用規(guī)劃及設(shè)計方案的制定;
2、負(fù)責(zé)對全行大數(shù)據(jù)的標(biāo)準(zhǔn)化進(jìn)行梳理并制定相應(yīng)方案;
3、負(fù)責(zé)制定全行的元數(shù)據(jù)集,并對元數(shù)據(jù)管理的流程、技術(shù)方案進(jìn)行設(shè)計;
4、面向數(shù)據(jù)價值服務(wù)為數(shù)據(jù)應(yīng)用場景進(jìn)行方案設(shè)計并指導(dǎo)落實實施;
5、負(fù)責(zé)對大數(shù)據(jù)相關(guān)領(lǐng)域的創(chuàng)新性研究和知識產(chǎn)權(quán)保護(hù)工作;
6、領(lǐng)導(dǎo)交辦的其他工作內(nèi)容。
任職要求:
1、 全日制本科及以上學(xué)歷,計算機(jī)、通信工程、數(shù)學(xué)等相關(guān)專業(yè);
2、 具備3年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗,2年以上大數(shù)據(jù)系統(tǒng)相關(guān)設(shè)計經(jīng)驗;
3、 熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式計算等大數(shù)據(jù)相關(guān)技術(shù),并具備相關(guān)開發(fā)經(jīng)驗;
4、 在金融行業(yè)或互聯(lián)網(wǎng)金融領(lǐng)域有過相關(guān)工作經(jīng)驗者優(yōu)先考慮;
5、 具備良好的溝通能力、團(tuán)隊合作精神,能接受高強(qiáng)度工作。
第3篇 架構(gòu)師(java&hadoop)職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
職責(zé)描述:
1. 負(fù)責(zé)設(shè)計和搭建軟件系統(tǒng)架構(gòu)(平臺、數(shù)據(jù)庫、接口和應(yīng)用架構(gòu)等),解決開發(fā)中各種系統(tǒng)架構(gòu)問題。
2. 優(yōu)化現(xiàn)有系統(tǒng)的性能,解決軟件系統(tǒng)平臺關(guān)鍵技術(shù)問題攻關(guān)、核心功能模塊設(shè)計。
3. 在項目需求不斷細(xì)化的工程中校正整體的架構(gòu)設(shè)計,以及詳細(xì)模塊拆分設(shè)計。
4. 營造技術(shù)學(xué)習(xí)氛圍,帶領(lǐng)團(tuán)隊不斷完善開發(fā)方法及流程,提升開發(fā)效率與質(zhì)量,加強(qiáng)技術(shù)標(biāo)準(zhǔn)及規(guī)范。
5. 帶領(lǐng)團(tuán)隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術(shù)難關(guān)。
6. 參與討論公司產(chǎn)品發(fā)展方向,完整的規(guī)劃和把握產(chǎn)品研發(fā)架構(gòu)。
任職要求:
五年以上java開發(fā)經(jīng)驗,有獨立完成項目經(jīng)驗和能力;
1.精通springmvc+mybatis或ssh等框架的搭建和開發(fā);
2. 精通tomcat,apache,ngin_ 等web服務(wù)器的管理和調(diào)優(yōu);
3. 精通mysql/mariadb 或 postgres數(shù)據(jù)庫的開發(fā),管理和調(diào)優(yōu);
4. 熟練使用redis, rabbitmq, mongodb等相關(guān)或類似技術(shù);
5. 懂得node.js, jquery, h5,websocket,長鏈接,nio等技術(shù);
6. 熟練使用linu_(centos/ubuntu)操作和管理;
7. 擅長系統(tǒng)性能調(diào)優(yōu)和疑難問題調(diào)試;
8. 熟悉oracle、hbase、hive等數(shù)據(jù)庫的開發(fā)優(yōu)化;
9.熟悉hadoop、spark等大數(shù)據(jù)平臺;
10.懂得構(gòu)建高性能高并發(fā)分布式服務(wù)架構(gòu)體系優(yōu)先;
11. 懂的數(shù)據(jù)安全、應(yīng)用安全和系統(tǒng)安全可以加分;
12. 具有團(tuán)隊合作精神、能帶隊和懂項目管理可以加分。
第4篇 hadoop sre工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、參與打造業(yè)界領(lǐng)先的存儲、計算、消息隊列等分布式系統(tǒng)
2、為海量數(shù)據(jù)及其上的大規(guī)模數(shù)據(jù)挖掘、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)業(yè)務(wù)系統(tǒng)提供可靠、高效的支持
3、深入了解業(yè)務(wù)需求,利用存儲技術(shù)支持關(guān)鍵業(yè)務(wù)場景
任職要求:
1、掌握分布式系統(tǒng)原理,對存儲、計算、消息隊列的一項或多項有深入的理解和認(rèn)識
2、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務(wù)場景,從具體問題中抽象出通用的解決方案
3、有較好的溝通能力;有良好的團(tuán)隊合作精神
第5篇 hadoop工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1.負(fù)責(zé)公司大數(shù)據(jù)平臺的hadoop技術(shù)棧研究,形成技術(shù)解決方案和整體的大數(shù)據(jù)架構(gòu)。
2.負(fù)責(zé)hadoop平臺(分布式存儲、分布式資源管理和調(diào)度、分布式計算等)的架構(gòu)研究、測試、優(yōu)化搭建工作;
3.負(fù)責(zé)探索,?研究新的?hadoop?生態(tài)中技術(shù)引擎,不斷擴(kuò)充平臺能力。
4.制定hadoop整體集群使用規(guī)范,規(guī)范的hadoop日常維護(hù)、異常處理等工作,保障集群穩(wěn)定、運行規(guī)范解決方案
5.負(fù)責(zé)公司定制項目的大數(shù)據(jù)架構(gòu)的整體解決方案
6.負(fù)責(zé)各種行業(yè)大數(shù)據(jù)在不同應(yīng)用場景的最佳開發(fā)實踐,提供流計算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術(shù)解決方案
任職資格:
1.三年以上hadoop集群架構(gòu)開發(fā)或架構(gòu)經(jīng)驗。
2.精通hadoop架構(gòu)的設(shè)計以及生態(tài),hadoop的集群的搭建、部署、開發(fā)和運維
3.精通hadoop各個模塊的能力定位和配置,對hdfs、hbase、mr、spark等基本組件熟知
4.熟悉linu_系統(tǒng)及調(diào)錯經(jīng)驗,熟悉?jvm?運行機(jī)制,有?shell、python開發(fā)經(jīng)驗。
5.有鉆研新技術(shù)的熱情和能力,善于交流和表達(dá),富有團(tuán)隊精神
6.有企業(yè)級大數(shù)據(jù)系統(tǒng)設(shè)計經(jīng)驗者優(yōu)先。
7.有一定的代碼經(jīng)驗,python/java/c++/ruby 均可。
第6篇 hadoop開發(fā)工程師b02職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1. 參與人工智能開源開放平臺核心系統(tǒng)的構(gòu)建;
2. 人工智能開源開放平臺相關(guān)前沿技術(shù)、運用調(diào)研及落地;
3. 負(fù)責(zé)人工智能開源開放平臺性能的優(yōu)化。
任職要求:
1. 國內(nèi)學(xué)歷:統(tǒng)招全日制 985/211 碩士及以上學(xué)歷,取得學(xué)位證和畢業(yè)證;
2. 國外學(xué)歷:海外全日制碩士及以上學(xué)歷;qs 世界大學(xué)排名前 300 高等院校;海外留學(xué)時長不少于 1.5 年;
3. 有大型互聯(lián)網(wǎng)公司大數(shù)據(jù)平臺及數(shù)據(jù)開發(fā)經(jīng)驗者優(yōu)先;
4. 扎實的java、python基礎(chǔ),掌握常用數(shù)據(jù)結(jié)構(gòu)(鏈表、哈希、樹)等;
5. 精通linu_/uni_環(huán)境,熟悉linu_性能調(diào)優(yōu),熟練掌握shell,有良好的計算機(jī)網(wǎng)絡(luò)基礎(chǔ);
6. 有較強(qiáng)的產(chǎn)品理解,能從技術(shù)角度推動產(chǎn)品優(yōu)化;
7. 有如下技能者優(yōu)先,spark/spark streaming/hadoop/hdfs/kafka/elastic search;
8. 英語6級,能讀懂相關(guān)外文技術(shù)文獻(xiàn)。
第7篇 高級hadoop開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1, 基于hadoop進(jìn)行mapreduce、hive和hbase的應(yīng)用開發(fā);
2, 維護(hù)和管理大規(guī)模hadoop集群,解決不斷增長的海量數(shù)據(jù)帶來的存儲和計算挑戰(zhàn);
3, 大數(shù)據(jù)平臺數(shù)據(jù)清洗、轉(zhuǎn)換和建模的開發(fā)。
任職要求:
1, 熟悉hadoop/hbase/spark/hive生態(tài)環(huán)境體系的搭建和管理,掌握hadoop、hbase、mapreduce、hdfs、hive、kylin、zookeeper等開源項目的原理和使用方法,具有實際集群搭建和調(diào)優(yōu)經(jīng)驗;
2, 熟悉并有java開發(fā)經(jīng)驗,有大平臺架構(gòu)開發(fā)經(jīng)驗;
3, 掌握至少一種nosql數(shù)據(jù)庫,具有真正項目使用經(jīng)驗;
4, 掌握數(shù)據(jù)分析的基本流程,擅長數(shù)據(jù)采集、清洗、分析等環(huán)節(jié);
5, 熟悉后端服務(wù)(restful api 服務(wù)實現(xiàn))優(yōu)先;
6, 熟悉使用sqlserver、oracle、mysql一種;
7, 良好團(tuán)隊協(xié)作和溝通能力;
8, 大專及以上學(xué)歷,3-5年及以上工作經(jīng)驗。
第8篇 hadoop程序員崗位職責(zé)
職責(zé)
搭建和維護(hù)hadoop數(shù)據(jù)分析平臺
協(xié)助研究r與hadoop結(jié)合實施大數(shù)據(jù)挖掘
依據(jù)分析挖掘方案,建立模型、生成分析結(jié)果、統(tǒng)計表、圖和列表等的程序代碼。
協(xié)助項目團(tuán)隊負(fù)責(zé)人履行項目職責(zé)。
能力和技能
熟悉linu_操作系統(tǒng)、java、hadoop的運營及算法。
具備基本的統(tǒng)計編程知識,例如r、base sas、sas/stat、sas宏語言、sql。
具備一定的溝通能力。
具備有效處理多任務(wù)的能力。
具備一定的計算能力及發(fā)現(xiàn)細(xì)節(jié)的能力。
具備團(tuán)隊合作能力。
學(xué)歷和經(jīng)驗要求:
計算機(jī)、數(shù)學(xué)專業(yè)學(xué)士學(xué)歷及以上,或同等教育背景并具有統(tǒng)計編程經(jīng)驗;有hadoop運營經(jīng)驗、hadoop算法經(jīng)驗者優(yōu)先。
第9篇 hadoop運維崗位職責(zé)
hadoop運維工程師 杭州麥歌算法科技有限公司 杭州麥歌算法科技有限公司,麥歌算法,麥歌算法
任職要求:職位描述:
1. 根據(jù)業(yè)務(wù)需求和落地環(huán)境確定大數(shù)據(jù)平臺的方案和具體搭建
2. 負(fù)責(zé)大數(shù)據(jù)平臺及相關(guān)業(yè)務(wù)系統(tǒng)的(hadoop/spark/elasticsearch/zeppelin/jupyter等)的運維工作
3. 對大數(shù)據(jù)基礎(chǔ)平臺系統(tǒng)穩(wěn)定性負(fù)責(zé),負(fù)責(zé)故障應(yīng)急響應(yīng)及指揮,做好故障發(fā)現(xiàn)和預(yù)防,為其持續(xù)優(yōu)化提供建設(shè)性意見
4. 與數(shù)據(jù)組合作,幫助處理優(yōu)化項目中數(shù)據(jù)處理工作(數(shù)據(jù)采集、清洗、匯總、集成等),保證數(shù)據(jù)的準(zhǔn)確性和穩(wěn)定性
崗位要求:
1. 精通scala或python至少一門編程語言,兩種都熟悉優(yōu)先
2. 精通shell腳本編程
3. 熟悉hadoop/hive/hbase/spark等分布式計算環(huán)境進(jìn)行海量數(shù)據(jù)分析與計算;
4. 做過數(shù)據(jù)倉庫,對數(shù)據(jù)治理、數(shù)據(jù)標(biāo)準(zhǔn)及元數(shù)據(jù)有很好理念及實施經(jīng)驗的優(yōu)先;
5. 熟悉devops等自動化運維工具;
6. 有過10臺以上集群運維的經(jīng)驗
7. 良好的溝通能力和團(tuán)隊精神,具備創(chuàng)新意識;
8. 以結(jié)果為導(dǎo)向,具有強(qiáng)烈的責(zé)任心、鉆研精神和良好的團(tuán)隊溝通能力。
關(guān)鍵詞 :hadoop spark
第10篇 大數(shù)據(jù)基礎(chǔ)架構(gòu)工程師(hadoop)職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、打造業(yè)界領(lǐng)先的大數(shù)據(jù)基礎(chǔ)設(shè)施,包括數(shù)據(jù)接入,同步,存儲、計算,查詢等環(huán)節(jié)的分布式系統(tǒng),為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施;
2、與開源社區(qū)保持交流,發(fā)現(xiàn)對業(yè)務(wù)場景有幫助的特性并引入生產(chǎn)環(huán)境,或?qū)⒔?jīng)內(nèi)部驗證的特性貢獻(xiàn)到社區(qū);
3、承擔(dān)千臺規(guī)模集群的管理工作,與業(yè)務(wù)一起解決性能優(yōu)化、容量規(guī)劃、預(yù)算審計等問題,保障集群高效穩(wěn)定經(jīng)濟(jì)運行;
任職資格:
1、計算機(jī)基礎(chǔ)扎實,熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法,具備較強(qiáng)的邏輯思維能力和編碼能力;
2、掌握分布式系統(tǒng)原理,對存儲、計算、消息隊列、資源管理,數(shù)據(jù)同步等中的一項或多項有深入的理解和認(rèn)識;
3、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務(wù)場景,從具體問題中抽象出通用的解決方案;
4,熟悉hadoop, hbase, zookeeper,flume,k8s等基礎(chǔ)服務(wù)中的一項或多項;
5、有kafka或者同類型技術(shù)設(shè)計開發(fā)及集群管理經(jīng)驗者優(yōu)先。
第11篇 高級系統(tǒng)架構(gòu)師(hadoop/spark)職位描述與崗位職責(zé)任職要求
職位描述:
1.計算機(jī)及計算機(jī)相關(guān)專業(yè)本科或本科以上學(xué)歷;
2.十年以上開發(fā)工作經(jīng)驗;
3.精通java編程,熟練掌握spring cloud、spring boot、spring framework、spring security、spring mvc、spring data、mybatis、hibernate、zookeeper等主流的開發(fā)框架,有良好的編程習(xí)慣。
4.精通大數(shù)據(jù)hadoop、spark、hbase、hive、kafka等產(chǎn)品技術(shù)及應(yīng)用開發(fā)。
5.精通多線程編程、分布式事務(wù)、存儲系統(tǒng)(如oracle、mongodb、redis等)的性能調(diào)優(yōu)和應(yīng)用開發(fā);
6.具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于解決問題和分析問題;
7.有強(qiáng)烈的上進(jìn)心和求知欲,善于學(xué)習(xí)新事物,良好的團(tuán)隊合作精神,較強(qiáng)的溝通能力和學(xué)習(xí)能力。
第12篇 hadoop高級開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1、負(fù)責(zé)hadoop平臺上的數(shù)據(jù)存儲,數(shù)據(jù)維護(hù)和優(yōu)化;
2、編寫一些pig,hive等分析腳本;
3、負(fù)責(zé)把一些分析結(jié)果導(dǎo)入到數(shù)據(jù)庫中,為bi提供基礎(chǔ)數(shù)據(jù)分析;
4、hadoop集群問題排查,并提出解決方案;
5、job報錯問題排查;
6、根據(jù)集群的問題,開發(fā)一些監(jiān)控程序,解決隱患;
7、平臺工具開發(fā)或者提供第三方開源工具。
任職要求:
1、深入了解hadoop運行機(jī)制,包括hdfs/mapreduce/zookeeper/yarn等工作原理。
2、了解分布式系統(tǒng)的原理。
3、負(fù)責(zé)hadoop平臺上的數(shù)據(jù)存儲,數(shù)據(jù)維護(hù)和優(yōu)化;
4、hadoop集群問題排查,并提出解決方案;
5、開發(fā)監(jiān)控程序,解決存在的隱患;
6、有hadoop平臺運維經(jīng)驗優(yōu)先。
7、有大數(shù)據(jù)平臺工具開發(fā)經(jīng)驗。
第13篇 hadoop研發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1.負(fù)責(zé)公司大數(shù)據(jù)平臺的hadoop技術(shù)棧研究,形成技術(shù)解決方案和整體的大數(shù)據(jù)架構(gòu)。
2.負(fù)責(zé)hadoop平臺(分布式存儲、分布式資源管理和調(diào)度、分布式計算等)的架構(gòu)研究、測試、優(yōu)化搭建工作;
3.負(fù)責(zé)探索,?研究新的?hadoop?生態(tài)中技術(shù)引擎,不斷擴(kuò)充平臺能力。
4.制定hadoop整體集群使用規(guī)范,規(guī)范的hadoop日常維護(hù)、異常處理等工作,保障集群穩(wěn)定、運行規(guī)范解決方案
5.負(fù)責(zé)公司定制項目的大數(shù)據(jù)架構(gòu)的整體解決方案
6.負(fù)責(zé)各種行業(yè)大數(shù)據(jù)在不同應(yīng)用場景的最佳開發(fā)實踐,提供流計算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術(shù)解決方案
任職資格:
1.三年以上hadoop集群架構(gòu)開發(fā)或架構(gòu)經(jīng)驗。
2.精通hadoop架構(gòu)的設(shè)計以及生態(tài),hadoop的集群的搭建、部署、開發(fā)和運維
3.精通hadoop各個模塊的能力定位和配置,對hdfs、hbase、mr、spark等基本組件熟知
4.熟悉linu_系統(tǒng)及調(diào)錯經(jīng)驗,熟悉?jvm?運行機(jī)制,有?shell、python開發(fā)經(jīng)驗。
5.有鉆研新技術(shù)的熱情和能力,善于交流和表達(dá),富有團(tuán)隊精神
6.有企業(yè)級大數(shù)據(jù)系統(tǒng)設(shè)計經(jīng)驗者優(yōu)先。
7.有一定的代碼經(jīng)驗,python/java/c++/ruby 均可。
第14篇 hadoop架構(gòu)師崗位職責(zé)
hadoop架構(gòu)師 泰康在線財產(chǎn)保險股份有限公司 泰康在線財產(chǎn)保險股份有限公司,泰康在線,泰康 工作職責(zé):
1.負(fù)責(zé)搭建數(shù)據(jù)平臺、數(shù)據(jù)倉庫平臺、物聯(lián)網(wǎng)數(shù)據(jù)平臺、ai數(shù)據(jù)平臺,負(fù)責(zé)數(shù)據(jù)平臺架構(gòu)的整合、優(yōu)化、開發(fā)、部署實施、運維相關(guān)工作,確保數(shù)據(jù)平臺穩(wěn)定運行
2.主導(dǎo)搭建數(shù)據(jù)平臺(dw / ai / hadoop平臺等),提供數(shù)據(jù)接口對接、存儲、提取、處理、清洗、邏輯解析、規(guī)范化、iot設(shè)備互聯(lián)互通能力
3.具備java, sql 開發(fā)經(jīng)驗,性能調(diào)測,開源代碼商業(yè)化,底層基礎(chǔ)架構(gòu)搭建
4.參與公司數(shù)據(jù)處理方向的技術(shù)拓展,保障公司業(yè)務(wù)的數(shù)據(jù)需求
5.負(fù)責(zé)數(shù)據(jù)平臺實時計算/分布式并行計算的架構(gòu)設(shè)計代碼編寫,及開源技術(shù)組件的二次開發(fā)
6.運用hadoop/sparksql 與 spark streaming 或者其它數(shù)據(jù)分析技術(shù),進(jìn)行包括需求分析,平臺選擇,技術(shù)構(gòu)架涉及等技術(shù)支持工作,確保能夠保障公司業(yè)務(wù)的數(shù)據(jù)需求
任職要求:
1.熟悉傳統(tǒng)數(shù)據(jù)倉庫,至少三年以上數(shù)據(jù)倉庫開發(fā)、構(gòu)建、運維經(jīng)驗
2.熟悉hadoop技術(shù)體系, 有hadoop/spark 架構(gòu)經(jīng)驗,有hadoop計算集群在實際項目上的開發(fā)和維護(hù)經(jīng)驗
3.兩年以上基于hadoop/spark/hbase/hive等分布式數(shù)據(jù)計算應(yīng)用開發(fā)經(jīng)驗
4.熟悉數(shù)據(jù)平臺數(shù)據(jù)同步技術(shù),如:ogg,cdc,sqoop等,并有實際經(jīng)驗
5.熟悉大數(shù)據(jù)大數(shù)據(jù)性能優(yōu)化,并有實際項目經(jīng)驗
6.熟悉apache mahout/spark mlib的各種算法
7.精通java,熟練掌握mapreduce原理以及數(shù)據(jù)分析相關(guān)的二次開發(fā)
8.熟悉linu_/uni_, 熟悉perl/python/shell 等腳本開發(fā)語言
9.了解敏捷開發(fā)流程, 有敏捷開發(fā)經(jīng)驗者優(yōu)先
10.良好的數(shù)據(jù)結(jié)構(gòu)和算法基礎(chǔ),有較強(qiáng)的算法設(shè)計和實現(xiàn)能力
11.本科以上學(xué)歷,計算機(jī)及相關(guān)專業(yè)
第15篇 hadoop高級工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
職位描述:
1、hadoop產(chǎn)品功能設(shè)計、開發(fā)與測試、性能優(yōu)化,根據(jù)項目具體要求,承擔(dān)開發(fā)任務(wù),按計劃完成任務(wù)目標(biāo)
2、負(fù)責(zé)編制與項目相關(guān)的技術(shù)文檔。
任職要求:
1、計算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,2年以上hadoop開發(fā)工作經(jīng)驗;
2、熟練使用linu_系統(tǒng),熟悉內(nèi)核和shell腳本編寫,能夠在linu_環(huán)境下進(jìn)行開發(fā)工作;
3、熟練使用java語言進(jìn)行開發(fā);
4、熟悉分布式文件系的設(shè)計和使用,調(diào)試優(yōu)化過hdfs文件系統(tǒng)者優(yōu)先;
5、良好的代碼開發(fā)風(fēng)格及開發(fā)習(xí)慣,學(xué)習(xí)能力、溝通能力,英文資料閱讀和理解能力;
6、參與過hadoop社區(qū)貢獻(xiàn)者優(yōu)先;
以下要求至少滿足其中1項:
7、熟悉hadoop的架構(gòu)和原理,以及參數(shù)調(diào)優(yōu)和性能優(yōu)化,了解partition,shuffle,sort等機(jī)制。
8、有設(shè)計,調(diào)試或者優(yōu)化類似hdfs文件系統(tǒng)經(jīng)驗;
工作地點:南京
第16篇 hadoop運維工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1.kafka集群、spark、hive、hbase、hadoop平臺運維;
2.獨立完成運維過程中問題定位、問題解決、并進(jìn)行總結(jié)文檔編寫;
3.參與大數(shù)據(jù)平臺etl處理,合理規(guī)劃大數(shù)據(jù)資源,提高大數(shù)據(jù)平臺資源利用率,負(fù)責(zé)基于大數(shù)據(jù)平臺的開發(fā)和基礎(chǔ)建設(shè);
4.負(fù)責(zé)大數(shù)據(jù)平臺相關(guān)系統(tǒng)的運維工作;
5.跟蹤大數(shù)據(jù)論壇社區(qū)新技術(shù)發(fā)展,持續(xù)更新技術(shù)資源,挖掘更多應(yīng)用場景。
任職要求:
1.統(tǒng)招本科以上學(xué)歷,3年以上大數(shù)據(jù)開發(fā)經(jīng)驗;
2.熟悉hadoop、spark、kafka等技術(shù),對底層架構(gòu)有深入了解,有基于底層架構(gòu)進(jìn)行開發(fā)者優(yōu)先考慮,精通linu_腳本,熟悉linu_腳本開發(fā);
3.掌握flink/kylin/presto/elasticsearch/redis等一種或多種技術(shù)優(yōu)先;精通hive、hbase數(shù)據(jù)庫開發(fā),對其底層架構(gòu)有深入研究者優(yōu)先考慮;
4.熟悉數(shù)據(jù)架構(gòu),對數(shù)據(jù)處理有深入理解。熟悉掌握java/python/scala開發(fā)語言;
5.性格樂觀,積極主動,能夠主動承擔(dān)責(zé)任和解決實際問題。
第17篇 hadoop運維崗位職責(zé)hadoop運維職責(zé)任職要求
hadoop運維崗位職責(zé)
崗位職責(zé)
1、hadoop平臺及各服務(wù)組件的運維、變更、故障和異常問題迅速定位; 2、hadoop平臺以及相關(guān)組件的規(guī)劃、部署、擴(kuò)容及搭建安裝; 3、定期系統(tǒng)分析、性能調(diào)優(yōu),優(yōu)化集群性能和資源利用率,提升集群性能,保證hadoop平臺各核心服務(wù)運行的穩(wěn)定、高效; 4、編寫運維相關(guān)的shell腳本或者python腳本,hadoop平臺運維相關(guān)文檔撰寫; 5、負(fù)責(zé)指導(dǎo)中低級工程師,為集群用戶和開發(fā)人員提供支持; 6、維持服務(wù)高效穩(wěn)定,支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴(kuò)張;
人員要求
1、1年半及以上hadoop生態(tài)系統(tǒng)運維經(jīng)驗。 2、熟練掌握linu_操作系統(tǒng),熟悉linu_文件系統(tǒng),內(nèi)核、網(wǎng)絡(luò)等性能優(yōu)化; 3、熟練掌握hdfs、yarn、hive、hbase、spark、storm等hadoop生態(tài)組件的功能和原理; 4、熟練掌握hadoop的安裝部署及性能調(diào)優(yōu); 5、熟悉一門以上腳本語言(shell、python、perl),熟悉java; 6、具有良好責(zé)任心,團(tuán)隊合作意識,具有良好的溝通能力和客戶服務(wù)意識; 7、對于優(yōu)秀人才,學(xué)歷要求可適當(dāng)放寬
第18篇 hadoop開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位為公司自研大數(shù)據(jù)平臺產(chǎn)品線,非定制外包。
崗位職責(zé):
1.負(fù)責(zé)公司大數(shù)據(jù)平臺的hadoop技術(shù)棧研究,形成技術(shù)解決方案和整體的大數(shù)據(jù)架構(gòu)。
2.負(fù)責(zé)hadoop平臺(分布式存儲、分布式資源管理和調(diào)度、分布式計算等)的架構(gòu)研究、測試、優(yōu)化搭建工作;
3.負(fù)責(zé)探索, 研究新的 hadoop 生態(tài)中技術(shù)引擎,不斷擴(kuò)充平臺能力。
4.制定hadoop整體集群使用規(guī)范,規(guī)范的hadoop日常維護(hù)、異常處理等工作,保障集群穩(wěn)定、運行規(guī)范解決方案
5.負(fù)責(zé)公司定制項目的大數(shù)據(jù)架構(gòu)的整體解決方案
6.負(fù)責(zé)各種行業(yè)大數(shù)據(jù)在不同應(yīng)用場景的最佳開發(fā)實踐,提供流計算、批處理分析、數(shù)據(jù)挖掘、bi分析等技術(shù)解決方案
任職資格:
1.三年以上hadoop集群架構(gòu)開發(fā)或架構(gòu)經(jīng)驗。
2.精通hadoop架構(gòu)的設(shè)計以及生態(tài),hadoop的集群的搭建、部署、開發(fā)和運維
3.精通hadoop各個模塊的能力定位和配置,對hdfs、hbase、mr、spark等基本組件熟知
4.熟悉linu_系統(tǒng)及調(diào)錯經(jīng)驗,熟悉 jvm 運行機(jī)制,有 shell、python開發(fā)經(jīng)驗。
5.有鉆研新技術(shù)的熱情和能力,善于交流和表達(dá),富有團(tuán)隊精神
6.有企業(yè)級大數(shù)據(jù)系統(tǒng)設(shè)計經(jīng)驗者優(yōu)先。
7.有一定的代碼經(jīng)驗,python/java/c++/ruby 均可。