（原標題：StarRocks開源——攜手未來，星辰大海?。?/p>

　　 各位大數(shù)據(jù)從業(yè)者：

　　 這是一個充滿挑戰(zhàn)的時代。數(shù)據(jù)驅(qū)動正在深刻地改變整個世界。我們的業(yè)務數(shù)據(jù)、數(shù)據(jù)報表、數(shù)據(jù)指標越來越多，但我們分析數(shù)據(jù)的速度卻越來越慢，報表構(gòu)建的復雜度越來越高。如何有效地分析這些海量的數(shù)據(jù)，真正有效地利用數(shù)據(jù)為業(yè)務創(chuàng)造價值？這是我們都在思考的重要問題?？赡苣阍?jīng)為此搭建過很多系統(tǒng)，做過很多嘗試，但實際效果不佳。仔細想一想，你的數(shù)據(jù)分析架構(gòu)是否也在面臨以下的難題？

　　 （復雜的企業(yè)數(shù)據(jù)分析架構(gòu)）

　　 第一，數(shù)據(jù)分析性能不達標。

　　 隨著數(shù)據(jù)驅(qū)動的深入，業(yè)務提出了更多的分析需求，比如多維分析，實時分析，高并發(fā)查詢和Adhoc查詢。在很多分析需求場景下，當前系統(tǒng)性能表現(xiàn)不佳，無法提供極速分析體驗。

　　 第二，數(shù)據(jù)分析的靈活性不足。

　　 很多時候，為了能夠提供極速分析體驗，你需要針對各類場景構(gòu)建大寬表，或者做復雜的預處理，而這損失了分析靈活性。特別是在自助化BI這樣靈活的場景下，星型模型和雪花模型的價值不可替代。現(xiàn)有的系統(tǒng)難以同時高性能支持這些建模手段。

　　 第三，數(shù)據(jù)架構(gòu)復雜度太高。

　　 為了滿足業(yè)務的多種分析需求，你必須搭建多套系統(tǒng)來組合使用。這讓分析層架構(gòu)變得非常復雜，導致開發(fā)維護成本以及業(yè)務使用成本都很高。另外，隨著各類實時分析場景的興起，你需要同時構(gòu)建離線數(shù)據(jù)鏈路和實時數(shù)據(jù)鏈路。但數(shù)據(jù)同步、數(shù)據(jù)一致性、計算邏輯同步、異常數(shù)據(jù)處理、多系統(tǒng)運維等問題馬上就接踵而至。你只能疲于應付。

　　 第四，數(shù)據(jù)分析能力彈性不足。

　　 你的數(shù)據(jù)規(guī)模越來越大，對應的數(shù)據(jù)分析系統(tǒng)需要不斷地擴容；不同的業(yè)務線有不同的數(shù)據(jù)分析訪問量，需要保證每個業(yè)務線的SLA；有的業(yè)務還有大促，周年慶等流量高峰，如何保證既能支持好業(yè)務，又能節(jié)省成本？相信這些問題沒少讓你頭疼。

　　 產(chǎn)生這些問題的根本原因，是舊的大數(shù)據(jù)技術(shù)架構(gòu)已經(jīng)不能滿足當前業(yè)務高速發(fā)展的需求。在舊的底層架構(gòu)上進行修修補補只能解決部分問題。要想從根本上破局，就需要一套全新的“極速統(tǒng)一”的數(shù)據(jù)架構(gòu)。“極速”，意味著全面提升數(shù)據(jù)處理和分析的性能；“統(tǒng)一”意味著將復雜分散的數(shù)據(jù)架構(gòu)融合為簡單統(tǒng)一的架構(gòu)。

　　 為此我們決定把我們的核心產(chǎn)品DorisDB升級為StarRocks，并全面開源（Github搜索“StarRocks”），和全球大數(shù)據(jù)從業(yè)者一起構(gòu)建新一代極速統(tǒng)一的數(shù)據(jù)分析架構(gòu)！

　　 StarRocks開創(chuàng)全新的極速統(tǒng)一分析

　　 2020年初，當時還沒有人相信一個企業(yè)的數(shù)據(jù)分析架構(gòu)可以統(tǒng)一，但我們相信“極速統(tǒng)一分析”一定可以實現(xiàn)。經(jīng)過團隊近20個月夜以繼日的努力，我們攻克了諸多“不可能”的技術(shù)難題，通過自主研發(fā)新一代的技術(shù)，我們將StarRocks打造成了具有劃時代意義的產(chǎn)品：“新一代極速全場景MPP數(shù)據(jù)庫”

　　 ·全新設計的全面向量化MPP查詢引擎，同時支持極速的單表和多表查詢性能。

　　 StarRocks自主打造的新一代全面向量化的MPP引擎使查詢性能大幅提高，是非原生向量化系統(tǒng)（Kylin/Druid/Elasticsearch/Impala-Kudu/Presto/Greenplum）的3～5倍以上。ClickHouse向量化引擎并不支持全面的MPP，多表查詢能力差，StarRocks的多表查詢性能是其3～5倍以上。

　　 ·全新設計的實時列式存儲引擎，具備極致的實時更新和查詢性能。

　　 在實時更新下，StarRocks查詢性能是其他產(chǎn)品的3～5倍以上。

　　 ·全新設計的數(shù)據(jù)分布模式，具備高并發(fā)查詢能力。

　　 其他系統(tǒng)都無法較好支持高并發(fā)查詢，StarRocks可以支持每秒上萬次的并發(fā)查詢能力。

　　 ·全新設計的CBO優(yōu)化器，支持極速的秒級AdHoc查詢。

　　 StarRocks性能可以做到主流AdHoc查詢系統(tǒng)Presto的5倍以上，可以做到秒級延遲。

　　 ·全新設計的現(xiàn)代化物化視圖，具備靈活透明的預計算加速能力。

　　 其他產(chǎn)品無法做到非常好的透明化加速，具有較高的開發(fā)和管理成本，StarRocks在可以靈活透明加速的現(xiàn)代化物化視圖方面進行了大量創(chuàng)新。

　　 通過這些獨特的技術(shù)能力，StarRocks真正實現(xiàn)了極速統(tǒng)一分析：

　　 ·StarRocks可以同時高效支持OLAP多維分析、實時數(shù)據(jù)分析、高并發(fā)查詢、AdHoc查詢等多場景，并且比上一代同類型產(chǎn)品的分析能力快3～5倍以上。

　　 ·全新的OLAP多維分析體驗，打破“只能做大寬表”的局限性，讓多種數(shù)據(jù)建模模式：預計算、大寬表、星型模型和雪花模型等都具備極速分析體驗。

　　 ·全新的實時數(shù)據(jù)分析體驗，真正支持實時更新和刪除，并能保證極速查詢性能。

　　 ·全新的高并發(fā)查詢體驗，突破傳統(tǒng)OLAP無法高并發(fā)的限制，支持數(shù)千人同時訪問。

　　 ·全新極簡統(tǒng)一的OLAP架構(gòu)，大大降低了使用和運維管理復雜度，提升了開發(fā)和使用效率。

　　 產(chǎn)品發(fā)布半年以來，StarRocks快速被50多家市值（或估值）在10億美金以上的大型用戶用于生產(chǎn)環(huán)境，有力地支撐了這些用戶的數(shù)據(jù)分析業(yè)務，創(chuàng)造了全新的分析體驗，并且有不少行業(yè)頭部公司已經(jīng)開始用StarRocks實現(xiàn)了統(tǒng)一的OLAP平臺，“不可能”的極速統(tǒng)一分析正在快速變成“現(xiàn)實”！這也是為什么，阿里云、騰訊云、小米、京東、滴滴、貝殼、攜程、小紅書、順豐科技、58同城等行業(yè)頭部公司在第一時間加入社區(qū)，一起攜手為“極速統(tǒng)一”的新時代夢想而努力。

　　 “極速統(tǒng)一分析”并不是終局，而是新的起點

　　 在當前極速統(tǒng)一的數(shù)據(jù)分析架構(gòu)的基礎上，我們的下一個目標是要打造“新一代流批融合的極速湖倉（Lakehouse）”。眾所周知，在當前主流的數(shù)據(jù)處理鏈路中，實時數(shù)據(jù)處理和離線數(shù)據(jù)處理是割裂的。企業(yè)要管理好這兩種數(shù)據(jù)處理場景，往往系統(tǒng)架構(gòu)復雜、難于維護。而我們要在StarRocks里實現(xiàn)這兩種數(shù)據(jù)處理方式的融合。

　　 ·我們將設計全新實時和離線融合的云原生架構(gòu)，可以同時高效管理實時數(shù)據(jù)和離線數(shù)據(jù)。

　　 雖然云原生標桿Snowflake在離線數(shù)據(jù)場景下打造了先進的存儲計算分離架構(gòu)，但是這個架構(gòu)在實時數(shù)據(jù)分析支持上存在很大不足。我們將設計新一代云原生架構(gòu)，同時高性能支持實時數(shù)據(jù)和離線數(shù)據(jù)的寫入和讀取。

　　 ·我們還將設計全新流批融合的向量化計算引擎，可以同時進行極速的批處理和流處理。

　　 通過打造全新的向量化批處理引擎，可以實現(xiàn)比Apache Spark快5～10倍以上的批處理速度。同時完美融合流式語義，利用向量化技術(shù)提升流處理性能。用戶無需再忍受使用Spark和Flink分散進行批處理和流處理帶來的復雜性！

　　 “堅持大膽嘗試，實現(xiàn)不可能”是我們一直踐行的價值觀。在未來一年半左右的時間內(nèi)，我們將和社區(qū)一起打造全新的StarRocks。讓企業(yè)的離線數(shù)據(jù)和實時數(shù)據(jù)可以采用同一套架構(gòu)、同一種語義、同一個引擎來處理，讓數(shù)據(jù)架構(gòu)實現(xiàn)全面的“極速統(tǒng)一”，“讓原本簡單的事情回歸簡單”！

　　 一個人走得快，一群人走得遠

　　 為了實現(xiàn)這些偉大夢想，我們將在全球范圍內(nèi)構(gòu)建StarRocks開源生態(tài)，吸引優(yōu)秀的有志之士一起來參與社區(qū)建設。我們將不遺余力地推動更多的全球用戶加入社區(qū)，了解和評測StarRocks，使用和改進StarRocks。我們還將推動全球的數(shù)據(jù)工程師/數(shù)據(jù)分析師與社區(qū)一起，基于StarRocks構(gòu)建各類數(shù)據(jù)分析場景的新一代解決方案。

　　 如果你也和我們一樣，心懷夢想，請現(xiàn)在就關(guān)注我們，參與社區(qū)建設，在Github上給StarRocks加一個星吧。讓我們一起來創(chuàng)造“極速統(tǒng)一”的大數(shù)據(jù)新時代，向不可能說不！

　　 StarRocks——攜手未來，星辰大海！