職位描述
主要職責(zé):
1、負(fù)責(zé)設(shè)計(jì)、開(kāi)發(fā)和維護(hù)公司的大數(shù)據(jù)架構(gòu),包括數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)處理平臺(tái)(如Hadoop、Flink、Kafka、Kettle、DataX等)的部署與優(yōu)化。
2、使用SQL、Hive等工具對(duì)海量數(shù)據(jù)進(jìn)行ETL處理,確保數(shù)據(jù)質(zhì)量及準(zhǔn)確性,參與數(shù)據(jù)分析模型的構(gòu)建與優(yōu)化,支持業(yè)務(wù)團(tuán)隊(duì)的數(shù)據(jù)需求。
3、利用FineBI、ECharts等工具開(kāi)發(fā)數(shù)據(jù)可視化產(chǎn)品,為用戶(hù)提供直觀的數(shù)據(jù)洞察和決策支持。
4、大數(shù)據(jù)處理流程進(jìn)行性能調(diào)優(yōu),解決系統(tǒng)瓶頸;監(jiān)控大數(shù)據(jù)平臺(tái)的運(yùn)行狀態(tài),及時(shí)排查并解決故障,確保系統(tǒng)穩(wěn)定運(yùn)行。
5、關(guān)注大數(shù)據(jù)領(lǐng)域的新技術(shù)、新工具,如流處理框架、機(jī)器學(xué)習(xí)平臺(tái)等,評(píng)估并推動(dòng)其在公司內(nèi)部的應(yīng)用落地。
6、負(fù)責(zé)開(kāi)發(fā)、運(yùn)維工作過(guò)程中相關(guān)文檔的編寫(xiě)工作;
任職要求:
1、本科及以上學(xué)歷;
2、3年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn);
3、掌握常見(jiàn)分布式解決方案及原理,具有扎實(shí)的編程基礎(chǔ),熟練掌握J(rèn)ava、Python、Scala至少一門(mén)開(kāi)發(fā)語(yǔ)言編程;熟悉常用的數(shù)據(jù)結(jié)構(gòu)與算法;
4、掌握基于Hadoop生態(tài)圈開(kāi)源組件(Hadoop/Hive/Zookeeper/Flink/Kafka等)獨(dú)立完成實(shí)時(shí)及離線任務(wù)開(kāi)發(fā),對(duì)各組件的底層原理有一定理解,掌握大數(shù)據(jù)組件的開(kāi)發(fā),構(gòu)建,維護(hù)和性能的優(yōu)化,具備快速定位、解決疑難問(wèn)題的能力;
5、掌握常用的關(guān)系型數(shù)據(jù)庫(kù)、開(kāi)源數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)(Clickhouse,presto、impala)和數(shù)倉(cāng)模型設(shè)計(jì),掌握SQL開(kāi)發(fā)及SQL性能調(diào)優(yōu);
6、對(duì)數(shù)據(jù)業(yè)務(wù)場(chǎng)景非常敏感,掌握數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)中臺(tái)領(lǐng)域知識(shí)和管理技能,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、性能調(diào)優(yōu)等;
7、掌握Linux命令行操作、shell腳本編寫(xiě);
8、熟練掌握使用GIT、Gitlab等代碼管理工具;
9、具備良好的團(tuán)隊(duì)合作精神和溝通能力,能夠清晰表達(dá)技術(shù)觀點(diǎn)和方案。
公司簡(jiǎn)介
廣西交科集團(tuán)有限公司(廣西交通科學(xué)研究院)是一家在廣西乃至全國(guó)交通運(yùn)輸系統(tǒng)中具有重要影響力的高新技術(shù)企業(yè),作為交通基礎(chǔ)設(shè)施領(lǐng)域綜合解決方案供應(yīng)商,始終致力于“為建設(shè)交通強(qiáng)國(guó)貢獻(xiàn)智慧解決方案”,被認(rèn)定為“國(guó)家企業(yè)技術(shù)中心”,獲評(píng)“廣西高新技術(shù)百?gòu)?qiáng)企業(yè)”第二名、“廣西創(chuàng)新活力十強(qiáng)企業(yè)”榜首、“廣西創(chuàng)新能力十強(qiáng)企業(yè)”排名第二、“2020年度全區(qū)數(shù)字廣西建設(shè)突出貢獻(xiàn)獎(jiǎng)先進(jìn)集體”等稱(chēng)號(hào)。目前現(xiàn)有員工1600余人,其中博士40余人、碩士800余人,教授級(jí)高級(jí)工程師30余人、高級(jí)職稱(chēng)300余人,享受政府特殊津貼專(zhuān)家2人、自治區(qū)優(yōu)秀專(zhuān)家2人、第一批廣西高層次人才1人,交通運(yùn)輸部與廣西“新世紀(jì)十百千人才工程”第二層次人選2人,是廣西交通建設(shè)行業(yè)人才小高地。
上班地點(diǎn)
工作地址:
南寧市西鄉(xiāng)塘區(qū)廣西交科集團(tuán)有限公司 查看上班路線
-
可能感興趣的職位
-
暫無(wú)推薦崗位
南寧相關(guān)熱門(mén)崗位
大數(shù)據(jù)數(shù)據(jù)庫(kù)大數(shù)據(jù)工程師大數(shù)據(jù)應(yīng)用工程師大數(shù)據(jù)專(zhuān)家sqlbi大數(shù)據(jù)建模高級(jí)大數(shù)據(jù)工程師大數(shù)據(jù)講師大數(shù)據(jù)高級(jí)工程師高級(jí)數(shù)據(jù)應(yīng)用工程師數(shù)據(jù)庫(kù)工程師(dba)大數(shù)據(jù)高級(jí)開(kāi)發(fā)大數(shù)據(jù)技術(shù)工程師數(shù)據(jù)庫(kù)實(shí)習(xí)生sql開(kāi)發(fā)中級(jí)數(shù)據(jù)庫(kù)工程師
行業(yè)招聘
- 廣西交科集團(tuán)有限公司
- 所在行業(yè) 交通/運(yùn)輸
- 成立時(shí)間 25年(2000年4月7日)
- 企業(yè)性質(zhì) 國(guó)有企業(yè)
- 公司規(guī)模 1000-9999人