近年來，隨著大數(shù)據(jù)時代的到來，各行各業(yè)正迎來一波上云熱潮。為了讓更多的開發(fā)者在對數(shù)據(jù)處理的極限探索過程中，體驗云上開發(fā)的優(yōu)勢。日前由阿里云和英特爾公司聯(lián)合主辦，阿里云EMR團隊和阿里云天池承辦的E-MapReduce極客挑戰(zhàn)賽正式開啟。目前，大賽已面向全社會開放報名，個人、高等院校、科研單位、企業(yè)、創(chuàng)客團隊等人員均可報名參賽。

　　在不久前舉行的中國互聯(lián)網(wǎng)大會上發(fā)布的《中國互聯(lián)網(wǎng)發(fā)展報告(2021)》顯示，2020年，我國云計算整體市場規(guī)模達到1781。8億元，增速為33。6%。在此背景下，如何利用新技術(shù)高效存儲、處理數(shù)據(jù)，在降低成本的同時提高資源配置效率，成為了當下企業(yè)數(shù)字化轉(zhuǎn)型的重要議題。

　　為此，阿里云針對性開發(fā)的E-MapReduce云原生開源大數(shù)據(jù)平臺，以其易用性高，性能強，彈性大的特點，成為了廣大用戶的。其可以在為客戶提供簡單易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等開源大數(shù)據(jù)計算和存儲引擎的同時，部署在阿里云公有云的ECS和ACK、專有云平臺。相對的，英特爾®； 傲騰&trade； 持久內(nèi)存打造的兼具出色的內(nèi)存與存儲性能的解決方案，可以將高性價比的大容量內(nèi)存與對數(shù)據(jù)持久性的支持巧妙地結(jié)合在一起。

　　為了讓更多的開發(fā)者們，體驗云上開發(fā)的優(yōu)勢，阿里云計算平臺EMR團隊和英特爾公司聯(lián)合開啟了本屆E-MapReduce極客挑戰(zhàn)賽，廣邀創(chuàng)新極客，結(jié)合阿里云 EMR和英特爾®； 傲騰&trade； 數(shù)據(jù)中心級持久內(nèi)存，優(yōu)化軟件系統(tǒng)和利用硬件的特征，追求TPC-DS測試集的性能。

　　目前大賽已公布的初賽題目，是由阿里云EMR 團隊提供用于比賽的Spark 3。1。2代碼分支，交給選手進行 Spark 代碼優(yōu)化和參數(shù)調(diào)優(yōu)以提升SparkSQL執(zhí)行效率，同時組委會提供性能測評工具供選手自行測試(單機環(huán)境或EMR集群環(huán)境)。在比賽階段，選手將最終優(yōu)化后的Spark代碼和調(diào)優(yōu)參數(shù)打包，通過天池平臺提交，天池平臺會使用相同的性能測評工具，進行評測和排名。在初賽的基礎(chǔ)上，復賽需要處理的數(shù)據(jù)量更大，同時升級了 EMR 集群配置，并為每個 Worker 節(jié)點配置了 PMEM 持久內(nèi)存，選手可以通過 App Direct 模式使用持久內(nèi)存。

　　據(jù)悉，大賽現(xiàn)已開放報名，并將分為初賽、復賽及決賽三個賽段，評委嘉賓包括阿里云開源大數(shù)據(jù)平臺數(shù)據(jù)湖構(gòu)建與分析負責人吳謂、數(shù)據(jù)湖存儲負責人鄭鍇，英特爾傲騰產(chǎn)品事業(yè)部中國技術(shù)創(chuàng)新中心軟件開發(fā)經(jīng)理吳國安、英特爾加速計算系統(tǒng)和圖形事業(yè)部工程經(jīng)理徐鋮等。

　　阿里云計算平臺事業(yè)部負責人賈揚清表示！希望通過這次大賽，讓開發(fā)者們在體驗云原生的開發(fā)環(huán)境的同時，可以嘗試一次技術(shù)的挑戰(zhàn)。不僅在比賽中收獲好的成績，更重要的是尋找到代碼的樂趣和技術(shù)的收獲。Intel 數(shù)據(jù)分析軟件部門總監(jiān)Heidi Pan也表示！ 希望大家通過這次比賽能夠有所收獲，能夠?qū)?shù)據(jù)分析引擎的性能優(yōu)化有更深刻的體會與理解洞察。

　　同時，阿里云研究員、開源大數(shù)據(jù)平臺負責人王峰也強調(diào)！我們歡迎來自高校、企業(yè)及各行業(yè)的開發(fā)者們加入我們的比賽，希望各位開發(fā)者能在這次競賽中充分展示自己的技術(shù)能力。 阿里云開源大數(shù)據(jù)平臺產(chǎn)品負責人陳守元表示！我們希望為廣大的大數(shù)據(jù)愛好者及科研企業(yè)提供一個創(chuàng)新挑戰(zhàn)的平臺，一起來探索性能極限。

　　據(jù)介紹，本次大賽最終將有1支隊伍、2支亞軍隊伍和3支季軍隊伍分獲10萬、5萬、2萬人民幣獎金及獲獎證書。值得一提的是，本次大賽還特別推出了EMR開發(fā)者激勵計劃，為邀請好友參賽的達人，以及參與比賽的選手分別制定了特別激勵規(guī)則與獎品，相信將為本次E-MapReduce 極客挑戰(zhàn)賽吸引更多行業(yè)內(nèi)外的關(guān)注。