- 目錄
-
第1篇 大數(shù)據(jù)平臺高級開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)開源組件的調(diào)研
2、負(fù)責(zé)大數(shù)據(jù)平臺自研平臺系統(tǒng)及功能模塊設(shè)計(jì)與開發(fā)
3、配合架構(gòu)師及測試按時(shí)完成開發(fā),保證產(chǎn)品正常發(fā)布與迭代
任職要求:
1、本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)
2、2年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗(yàn)
3、精通java,熟悉linu_系統(tǒng),深入理解并使用主流技術(shù)框架,如springboot、mybatis、mq、redis、zk、spring cloud等技術(shù)棧,具備豐富的分布式系統(tǒng)的研發(fā)經(jīng)驗(yàn)
4、熟悉hadoop生態(tài)圈其他系統(tǒng),包括hive,pig,hbase,spark,kafka,oozie,sqoop,flume,zookeeper, strom,flink,并了解其原理
5、熟練掌握各類數(shù)據(jù)結(jié)構(gòu)與算法,具有較強(qiáng)的編碼能力
6、具有良好的團(tuán)隊(duì)合作精神和表達(dá)溝通能力
7、有數(shù)據(jù)中臺,數(shù)據(jù)服務(wù)平臺開發(fā)經(jīng)驗(yàn),熟悉hadoop生態(tài)圈組件者優(yōu)先
第2篇 大數(shù)據(jù)平臺工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、參與公司數(shù)據(jù)平臺架構(gòu)設(shè)計(jì),負(fù)責(zé)大數(shù)據(jù)平臺和數(shù)據(jù)倉庫相關(guān)建設(shè);2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線,負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺的研發(fā)及數(shù)據(jù)倉庫建設(shè),提供可靠的數(shù)據(jù)存儲和訪問能力;3、負(fù)責(zé)公司大數(shù)據(jù)平臺和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu),保證集群高效穩(wěn)定運(yùn)行;4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺系統(tǒng),處理海量數(shù)據(jù),優(yōu)化存儲和計(jì)算架構(gòu)的性能;5、負(fù)責(zé)數(shù)據(jù)平臺技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評估,參與開發(fā)流程的討論與優(yōu)化;6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施;7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作;
8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu),指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化;
任職要求:
1、本科以上學(xué)歷,5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn),帶領(lǐng)過10人以上的大數(shù)據(jù)團(tuán)隊(duì); 2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn),負(fù)責(zé)過海量數(shù)據(jù)平臺上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì);3、熟悉大數(shù)據(jù)開發(fā)框架,熟悉hadoop,hbase,spark等及業(yè)界主流流處理平臺如,如storm,flunk,sparkstreaming等之一;4、熟悉greenplum等數(shù)據(jù)倉庫技術(shù),并有廣泛的實(shí)踐經(jīng)驗(yàn),具備維護(hù)和解決生產(chǎn)問題的能力;5、熟悉掌握分布式存儲和nosql數(shù)據(jù)庫技術(shù)(如monogodb、redis等),有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn);6、熟練掌握java,python,scalar中的至少一種編程語言,掌握常見的數(shù)據(jù)結(jié)構(gòu),算法,了解軟件工程、敏捷開發(fā)等知識,熟悉常用設(shè)計(jì)模式; 7、理解soa,微服務(wù),中間件等paas相關(guān)的關(guān)鍵理念與技術(shù),并對其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn),樂于。8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。
第3篇 大數(shù)據(jù)開發(fā)工程師/專家(p6-p8)3職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)對外接口后臺和服務(wù)框架的開發(fā)和運(yùn)營;
2.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)數(shù)據(jù)中、后臺的建設(shè)以及數(shù)據(jù)和服務(wù)安全方面的建設(shè);
任職要求:
1.重點(diǎn)大學(xué)本科以上學(xué)歷,計(jì)算機(jī)及相關(guān)專業(yè);
2.3年以上相關(guān)工作經(jīng)驗(yàn),精通算法與數(shù)據(jù)結(jié)構(gòu),精通c/c++編程語言;
3.精通linu_、uni_編程環(huán)境,熟悉數(shù)據(jù)庫;
4.精通網(wǎng)絡(luò)編程,有分布式系統(tǒng)開發(fā)經(jīng)驗(yàn),有大平臺開發(fā)經(jīng)驗(yàn)優(yōu)先;
5.熟悉gis和時(shí)空大數(shù)據(jù)處理和管理,有相關(guān)工作經(jīng)驗(yàn)者優(yōu)先,
6.具備優(yōu)秀的獨(dú)立解決問題能力, 善于團(tuán)隊(duì)合作,溝通良好,有一定的抗壓能力;
第4篇 大數(shù)據(jù)主任工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1. 負(fù)責(zé)客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;
2. 負(fù)責(zé) kyligence enterprise 大數(shù)據(jù)平臺整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計(jì);
3. 負(fù)責(zé)技術(shù)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)規(guī)范編制,指導(dǎo)開發(fā)團(tuán)隊(duì)進(jìn)行項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)現(xiàn)及技術(shù)匯報(bào);
4. 負(fù)責(zé)項(xiàng)目重難點(diǎn)模塊的功能設(shè)計(jì)和難點(diǎn)攻堅(jiān);
5. 參與 kyligence enterprise/apache kylin 的應(yīng)用設(shè)計(jì)、開發(fā)、測試及優(yōu)化工作。
任職要求:
1. 計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷;
2. 有 3 年以上工作經(jīng)驗(yàn),其中包括2年以上大數(shù)據(jù)平臺架構(gòu)和系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);
3. 精通 hadoop、hive、hbase原理,熟悉大數(shù)據(jù)生態(tài)技術(shù),如storm、spark、flink、kafka、zookeeper等,有大規(guī)模集群架構(gòu)、開發(fā)及運(yùn)維經(jīng)驗(yàn),能根據(jù)業(yè)務(wù)場景設(shè)計(jì)合適的技術(shù)棧完成業(yè)務(wù)需求
4. 熟練sql 語言,掌握 oracle、db2、mysql 等一種或多種數(shù)據(jù)庫系統(tǒng)的使用,有一定的 sql 性能調(diào)優(yōu)經(jīng)驗(yàn);
5. 至少熟悉 java,scala,python,shell等編程語言中的2種;
6. 優(yōu)秀的分析和解決問題的能力,對挑戰(zhàn)性問題充滿激情;
7. 具備良好的團(tuán)隊(duì)合作精神,較強(qiáng)的溝通能力,具備良好的技術(shù)領(lǐng)導(dǎo)能力;
8. 有數(shù)據(jù)倉庫背景或者 apache kylin 的開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;
第5篇 系統(tǒng)運(yùn)維工程師(大數(shù)據(jù)方向)職位描述與崗位職責(zé)任職要求
職位描述:
1、負(fù)責(zé)公園業(yè)務(wù)系統(tǒng)的部署和日常更新,日常監(jiān)控和維護(hù);
2、熟悉各辦公系統(tǒng)(如oa、勞動力系統(tǒng))維護(hù)等常規(guī)工作;
3、負(fù)責(zé)oa系統(tǒng)表單及相關(guān)流程的建立及維護(hù),有泛微系統(tǒng)的應(yīng)用開發(fā)、維護(hù)優(yōu)先考慮接;
4、負(fù)責(zé)軟件系統(tǒng)升級、維護(hù)和優(yōu)化,及時(shí)發(fā)現(xiàn)潛在問題,保障系統(tǒng)正常運(yùn)行;
5、協(xié)助制定和改進(jìn)部署、維護(hù)流程,提高服務(wù)運(yùn)行質(zhì)量;;
6、制定數(shù)據(jù)庫操作規(guī)范和數(shù)據(jù)保密制度,并對數(shù)據(jù)庫操作進(jìn)行嚴(yán)格記錄。
任職資格:
1.計(jì)算機(jī)相關(guān)專業(yè)本科或以上學(xué)歷,2年以上工作經(jīng)驗(yàn);
2.在大型企業(yè)有1年以上中型數(shù)據(jù)庫管理和維護(hù)工作經(jīng)驗(yàn),熟悉泛微或勞動力產(chǎn)品的優(yōu)先;
3.擁有大型主題樂園工作經(jīng)驗(yàn)者優(yōu)先,熟悉票務(wù)系統(tǒng)、商餐系統(tǒng)、停車場、酒店等系統(tǒng)優(yōu)先考慮;;
4.熟悉mysql、oracle數(shù)據(jù)庫,掌握sql語句,了解oracle的安裝與維護(hù);
5.掌握tomcat、dubbo、redis、ngin_、mq等中間件及相關(guān)配置;
6.具有優(yōu)秀的團(tuán)隊(duì)合作和溝通協(xié)作能力、有責(zé)任心;
第6篇 高級java開發(fā)工程師(大數(shù)據(jù)方向)職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1、負(fù)責(zé)智能推薦系統(tǒng)后端開發(fā);
2、負(fù)責(zé)詳細(xì)設(shè)計(jì)、編碼工作,確保項(xiàng)目進(jìn)度、質(zhì)量;
3、參與產(chǎn)品需求的溝通、討論;
4、應(yīng)對高并發(fā)、高可靠性等帶來的各種技術(shù)挑戰(zhàn);
崗位要求:
1、5年服務(wù)端開發(fā)經(jīng)驗(yàn),本科及以上學(xué)歷;
2、扎實(shí)的java基礎(chǔ),熟悉jvm、java io,掌握并發(fā)編程、網(wǎng)絡(luò)編程及常用數(shù)據(jù)結(jié)構(gòu);
3、深入了解spring、hibernate、tomcat等開源架構(gòu),并對其運(yùn)行原理有較好的理解;
4、熟悉面向?qū)ο箝_發(fā),具備領(lǐng)域模型抽象能力,熟悉常用設(shè)計(jì)模式;
5、熟悉分布式、緩存、消息等機(jī)制;有高并發(fā),高性能系統(tǒng)經(jīng)驗(yàn),熟悉微服務(wù)架構(gòu)設(shè)計(jì);
6、熟練掌握mysql等關(guān)系型數(shù)據(jù)庫,掌握mongodb、hbase等nosql數(shù)據(jù)庫,并有性能調(diào)優(yōu)經(jīng)驗(yàn);
7、熟悉hadoop、hive、hbase、storm、kafka等大數(shù)據(jù)處理技術(shù);
8、有強(qiáng)烈技術(shù)熱情和鉆研精神,注重代碼質(zhì)量,有良好的軟件工程知識和編碼規(guī)范意識;
9、具備較強(qiáng)的責(zé)任心,具備良好的溝通能力、團(tuán)隊(duì)協(xié)作和抗壓能力,做事精益求精;
第7篇 增長大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
負(fù)責(zé)用戶增長方向的離線和實(shí)時(shí)數(shù)據(jù)倉庫體系建設(shè)工作,提升數(shù)據(jù)分析工作的效率;
結(jié)合內(nèi)外部數(shù)據(jù),構(gòu)建完整的用戶生命周期行為數(shù)據(jù)體系;
構(gòu)建的支持用戶增長的數(shù)據(jù)分析產(chǎn)品,支持快速的深度分析海量ab測試實(shí)驗(yàn)結(jié)果;
深度分析用戶行為、行業(yè)情況和ab測試數(shù)據(jù),利用數(shù)據(jù)挖掘算法對多維數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析。
任職要求:
本科及以上學(xué)歷,計(jì)算機(jī)、統(tǒng)計(jì)、數(shù)學(xué)、通信等理工類相關(guān)專業(yè);
熟悉數(shù)據(jù)倉庫理論和技術(shù)體系,熟練掌握sql/hive/mapreduce/spark/flink等大規(guī)模數(shù)據(jù)處理技術(shù);
至少精通(python/java/scala/c++/r)一門編程語言,熟練運(yùn)用各種常用算法和數(shù)據(jù)結(jié)構(gòu) ;
有分布式計(jì)算、分布式存儲、數(shù)據(jù)挖掘經(jīng)驗(yàn)者優(yōu)先,有開發(fā)設(shè)計(jì)用戶畫像方面經(jīng)驗(yàn)者優(yōu)先;
熟悉實(shí)時(shí)計(jì)算框架和相關(guān)處理技術(shù)者優(yōu)先;
熟悉growth hacking,或?qū)Υ朔较蛴信d趣者優(yōu)先。
第8篇 大數(shù)據(jù)可視化工程師崗位職責(zé)
大數(shù)據(jù)可視化工程師 萬得 萬得信息技術(shù)股份有限公司,wind資訊,萬得,萬得資訊,上海萬得,萬得 工作職責(zé):
1、和大數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家共同工作,探索可視化在金融業(yè)務(wù)場景的技術(shù)方案和產(chǎn)品應(yīng)用;
2、開發(fā)展示為主的數(shù)據(jù)大屏和業(yè)務(wù)分析為主的數(shù)據(jù)產(chǎn)品以及在移動端數(shù)據(jù)可視化項(xiàng)目;
3、負(fù)責(zé)數(shù)據(jù)產(chǎn)品/可視化大屏的前端架構(gòu)和應(yīng)用后臺及通用組件的開發(fā)
任職要求:
1、本科及以上學(xué)歷,功底扎實(shí),視野開闊,對新技術(shù)具有敏感和熱情;
2、工程能力強(qiáng),熟悉a_ure rp等設(shè)計(jì)工具,有較復(fù)雜的 webapp 類型產(chǎn)品前端開發(fā)經(jīng)驗(yàn);
3、熟悉數(shù)據(jù)可視化開源方案,有數(shù)據(jù)分析場景/數(shù)據(jù)可視化經(jīng)驗(yàn)者(echarts/highcharts/d3)優(yōu)先;
4、技術(shù)跟隨前沿,熟悉servlet,html5,javascript,json,了解node/angularjs/react;
5、熟悉web后臺性能優(yōu)化和前端展示技術(shù);
5、熟悉1-2種分析型數(shù)據(jù)庫(如db/hive/neo4j)者優(yōu)先;
6、性格要求:性格開朗,勇于挑戰(zhàn);良好的人際關(guān)系,對技術(shù)追求工匠精神。
第9篇 大數(shù)據(jù)建模工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1. 運(yùn)用python、r、sql等工具,根據(jù)監(jiān)管部門與金融機(jī)構(gòu)需求進(jìn)行大數(shù)據(jù)模型設(shè)計(jì)與開發(fā);
2. 基于模型部署、測試、實(shí)施及模型應(yīng)用效果監(jiān)控工作,進(jìn)行模型調(diào)優(yōu)與維護(hù);
3. 撰寫大數(shù)據(jù)建模項(xiàng)目可行性方案、建模分析報(bào)告;
4. 根據(jù)實(shí)際的建模業(yè)務(wù),負(fù)責(zé)提出并反饋流程、策略、人員等問題。
任職要求:
1、應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、計(jì)算機(jī)及相關(guān)專業(yè),國內(nèi)外知名院校碩士以上學(xué)歷需3-5年工作經(jīng)驗(yàn),博士及以上學(xué)歷需1年工作經(jīng)驗(yàn);
2、具有數(shù)學(xué)建模或大數(shù)據(jù)建模實(shí)際項(xiàng)目經(jīng)驗(yàn),熟悉數(shù)學(xué)建模與優(yōu)化算法設(shè)計(jì),掌握邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法;
3、熟練運(yùn)用python、r、matlab等常用數(shù)學(xué)建模與分析工具;
4、熟悉數(shù)據(jù)庫結(jié)構(gòu),熟練運(yùn)用sql等數(shù)據(jù)庫語言,熟悉數(shù)據(jù)清洗、預(yù)處理與特征工程,熟悉
hadoop生態(tài)、spark結(jié)構(gòu),c#語言;
5、具有扎實(shí)的統(tǒng)計(jì)分析功底,快速精準(zhǔn)的分析能力,能夠處理大量數(shù)據(jù)進(jìn)行建模;
6、具有良好的業(yè)務(wù)問題分析,模型抽象能力和創(chuàng)新能力;
7、敬業(yè)、誠信,良好的職業(yè)素養(yǎng)。
第10篇 大數(shù)據(jù)架構(gòu)高級工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、打造業(yè)界領(lǐng)先的存儲、計(jì)算、調(diào)度、監(jiān)控等基礎(chǔ)設(shè)施;
2、參與存儲、計(jì)算、devinfra、監(jiān)控當(dāng)中的一個或多個方向。
任職要求:
1、掌握分布式系統(tǒng)原理,對存儲、計(jì)算、調(diào)度、監(jiān)控、消息隊(duì)列、集群管理中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識;
2、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務(wù)場景,從具體問題中抽象出通用的解決方案;
3、存儲方向:對 hdfs, rocksdb, ceph, hbase, kafka 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
4、計(jì)算方向:對 yarn, spark, flink, hive 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
5、devinfra方向:對 docker, mesos, kubernetes 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先;
6、監(jiān)控方向:對 opentsdb, influ_db, prometheus, falcon 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先。
第11篇 大數(shù)據(jù)開發(fā)工程師 [數(shù)倉方向]職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、使用etl工具(如sqoop、kettle)進(jìn)行數(shù)據(jù)加工、清洗等流程;
2、根據(jù)業(yè)務(wù)需求,進(jìn)行數(shù)倉日常數(shù)據(jù)分析、數(shù)據(jù)報(bào)表開發(fā);
3、使用hive進(jìn)行數(shù)據(jù)處理,及數(shù)據(jù)模型構(gòu)建;
4、具備良好的分析問題和解決問題的能力;
5、具備較強(qiáng)的溝通能力和邏輯表達(dá)能力,具備良好的團(tuán)隊(duì)合作精神和主動溝通意識;
任職要求:
1、計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷;
2、熟練使用sql(mysql / oracle);
3、熟練數(shù)據(jù)庫/數(shù)據(jù)倉庫分層設(shè)計(jì)、寬表設(shè)計(jì)、星型模型設(shè)計(jì)等;
4、熟練etl工具、sqoop、kettle、spark等;
5、熟悉hadoop、hive、hdfs等常用大數(shù)據(jù)組件;
6、有互聯(lián)網(wǎng)業(yè)務(wù)分布式數(shù)據(jù)倉庫、cube、大數(shù)據(jù)數(shù)據(jù)分析等相關(guān)經(jīng)驗(yàn)者加分;
第12篇 大數(shù)據(jù)基礎(chǔ)架構(gòu)工程師(hadoop)職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、打造業(yè)界領(lǐng)先的大數(shù)據(jù)基礎(chǔ)設(shè)施,包括數(shù)據(jù)接入,同步,存儲、計(jì)算,查詢等環(huán)節(jié)的分布式系統(tǒng),為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施;
2、與開源社區(qū)保持交流,發(fā)現(xiàn)對業(yè)務(wù)場景有幫助的特性并引入生產(chǎn)環(huán)境,或?qū)⒔?jīng)內(nèi)部驗(yàn)證的特性貢獻(xiàn)到社區(qū);
3、承擔(dān)千臺規(guī)模集群的管理工作,與業(yè)務(wù)一起解決性能優(yōu)化、容量規(guī)劃、預(yù)算審計(jì)等問題,保障集群高效穩(wěn)定經(jīng)濟(jì)運(yùn)行;
任職資格:
1、計(jì)算機(jī)基礎(chǔ)扎實(shí),熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法,具備較強(qiáng)的邏輯思維能力和編碼能力;
2、掌握分布式系統(tǒng)原理,對存儲、計(jì)算、消息隊(duì)列、資源管理,數(shù)據(jù)同步等中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識;
3、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務(wù)場景,從具體問題中抽象出通用的解決方案;
4,熟悉hadoop, hbase, zookeeper,flume,k8s等基礎(chǔ)服務(wù)中的一項(xiàng)或多項(xiàng);
5、有kafka或者同類型技術(shù)設(shè)計(jì)開發(fā)及集群管理經(jīng)驗(yàn)者優(yōu)先。
第13篇 大數(shù)據(jù)工程師-流式計(jì)算職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1.負(fù)責(zé)對核心業(yè)務(wù)數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)的自動化/半自動化抽取、清洗、轉(zhuǎn)化、標(biāo)注等工作;
2.負(fù)責(zé)根據(jù)需求建立數(shù)據(jù)模型、進(jìn)行全網(wǎng)數(shù)據(jù)在線抽取分析;
3.負(fù)責(zé)算法的工程化、產(chǎn)品化工作;關(guān)注機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、人工智能等方向前沿研究,并能將具體場景建模后與之結(jié)合快速工程化并落地;
4.完成各種面向業(yè)務(wù)目標(biāo)的數(shù)據(jù)模型的定義和應(yīng)用開發(fā)規(guī)范的制定,并保證數(shù)據(jù)質(zhì)量;
5.負(fù)責(zé)大數(shù)據(jù)計(jì)算平臺的研發(fā)工作。
任職要求:
1.計(jì)算機(jī)、信息系統(tǒng)、數(shù)學(xué)或相近專業(yè)本科以上學(xué)歷,4年以上軟件研發(fā)經(jīng)驗(yàn);
2.精通spark/hadoop/hive/hbase/并有實(shí)戰(zhàn)經(jīng)驗(yàn);
3.有scala, java, python等開發(fā)經(jīng)驗(yàn),精通sql;
4.有海量在線、離線數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn);
5.精通主流數(shù)據(jù)挖掘算法及其原理,能根據(jù)業(yè)務(wù)場景,建立挖掘模型,選擇最合適和高效的算法并實(shí)現(xiàn);
6.需要有責(zé)任心, 工作積極主動, 思路清晰,擅長溝通、有團(tuán)隊(duì)合作精神。
第14篇 大數(shù)據(jù)etl工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
負(fù)責(zé)etl設(shè)計(jì)、模型設(shè)計(jì)、開發(fā)、技術(shù)支持等工作,并保證數(shù)據(jù)安全、及時(shí)、穩(wěn)定、可恢復(fù)
任職要求:
1、3年及以上數(shù)據(jù)處理(etl)開發(fā)經(jīng)驗(yàn),能獨(dú)立完成數(shù)據(jù)處理開發(fā)工作
2、熟悉mysql/oracle等標(biāo)準(zhǔn)數(shù)據(jù)庫,熟練上述數(shù)據(jù)庫的開發(fā)
3、有hadoop和hivesql的使用經(jīng)驗(yàn)
4、熟悉etl設(shè)計(jì),熟悉數(shù)據(jù)倉庫的架構(gòu)、開發(fā)規(guī)范和流程
5、熟悉至少一種etl開發(fā)工具,如datastage,informatica, kettle等
6、具備數(shù)據(jù)倉庫實(shí)施經(jīng)驗(yàn)者優(yōu)先
福利待遇:
試用期全額工資、六險(xiǎn)一金、體檢、年假、節(jié)假日禮品等
第15篇 大數(shù)據(jù)云計(jì)算工程師崗位職責(zé)
高級java開發(fā)工程師(云計(jì)算大數(shù)據(jù)方向) 中軟國際科技 中軟國際科技服務(wù)有限公司,中軟國際,中軟國際科技,中軟國際科技服務(wù),中軟 職責(zé)描述:
1、負(fù)責(zé)/參與應(yīng)用系統(tǒng)平臺設(shè)計(jì)、重構(gòu)、優(yōu)化,主導(dǎo)/參與技術(shù)難題攻關(guān);
2、負(fù)責(zé)并參與系統(tǒng)需求分析、功能模塊詳細(xì)設(shè)計(jì),完成系統(tǒng)業(yè)務(wù)功能實(shí)現(xiàn)、測試及維護(hù)工作;
3、負(fù)責(zé)編寫相應(yīng)的需求、設(shè)計(jì)與技術(shù)文檔,向系統(tǒng)使用者提供技術(shù)支持服務(wù);
4、參與線上系統(tǒng)環(huán)境的升級、運(yùn)維監(jiān)控、性能調(diào)優(yōu);
5、推動跟進(jìn)業(yè)務(wù)線需求,為改善系統(tǒng)的功能積極提出建議。
任職要求:
1、3以上java語言開發(fā)經(jīng)驗(yàn),基礎(chǔ)扎實(shí), 熟練使用springmvc框架進(jìn)行開發(fā);
2、對多線程編程,線程安全等有較深理解. 能夠熟練使用線程池等常用功能;
3、熟練使用jpa,hibernate,mybatis中的一種或多種持久層框架;
4、熟練使用sql的crud命令;
5、具有庫表結(jié)構(gòu)設(shè)計(jì)能力, 并且有一定的sql開發(fā)及優(yōu)化能力。
第16篇 資深大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
【崗位職責(zé)】:
1、參與公司數(shù)據(jù)平臺架構(gòu)設(shè)計(jì),負(fù)責(zé)大數(shù)據(jù)平臺和數(shù)據(jù)倉庫相關(guān)建設(shè);
2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線,負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺的研發(fā)及數(shù)據(jù)倉庫建設(shè),提供可靠的數(shù)據(jù)存儲和訪問能力;
3、負(fù)責(zé)公司大數(shù)據(jù)平臺和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu),保證集群高效穩(wěn)定運(yùn)行;
4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺系統(tǒng),處理海量數(shù)據(jù),優(yōu)化存儲和計(jì)算架構(gòu)的性能;
5、負(fù)責(zé)數(shù)據(jù)平臺技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評估,參與開發(fā)流程的討論與優(yōu)化;
6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施;
7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作;
8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu),指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化;
【任職資格】:
1、本科以上學(xué)歷,5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn),帶領(lǐng)過10人以上的大數(shù)據(jù)團(tuán)隊(duì);
2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn),負(fù)責(zé)過海量數(shù)據(jù)平臺上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì);
3、熟悉大數(shù)據(jù)開發(fā)框架,熟悉hadoop,hbase,spark等及業(yè)界主流流處理平臺如,如storm,flunk,sparkstreaming等之一;
4、熟悉greenplum等數(shù)據(jù)倉庫技術(shù),并有廣泛的實(shí)踐經(jīng)驗(yàn),具備維護(hù)和解決生產(chǎn)問題的能力;
5、熟悉掌握分布式存儲和nosql數(shù)據(jù)庫技術(shù)(如monogodb、redis等),有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn);
6、熟練掌握java,python,scalar中的至少一種編程語言,掌握常見的數(shù)據(jù)結(jié)構(gòu),算法,了解軟件工程、敏捷開發(fā)等知識,熟悉常用設(shè)計(jì)模式
7、理解soa,微服務(wù),中間件等paas相關(guān)的關(guān)鍵理念與技術(shù),并對其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn),樂于。
8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。