各位大數(shù)據(jù)從業(yè)者：

這是一個充滿挑戰(zhàn)的時代。數(shù)據(jù)驅動正在深刻地改變整個世界。我們的業(yè)務數(shù)據(jù)、數(shù)據(jù)報表、數(shù)據(jù)指標越來越多，但我們分析數(shù)據(jù)的速度卻越來越慢，報表構建的復雜度越來越高。如何有效地分析這些海量的數(shù)據(jù)，真正有效地利用數(shù)據(jù)為業(yè)務創(chuàng)造價值?這是我們都在思考的重要問題。可能你曾經(jīng)為此搭建過很多系統(tǒng)，做過很多嘗試，但實際效果不佳。仔細想一想，你的數(shù)據(jù)分析架構是否也在面臨以下的難題?

(復雜的企業(yè)數(shù)據(jù)分析架構)

第一，數(shù)據(jù)分析性能不達標。

隨著數(shù)據(jù)驅動的深入，業(yè)務提出了更多的分析需求，比如多維分析，實時分析，高并發(fā)查詢和Adhoc查詢。在很多分析需求場景下，當前系統(tǒng)性能表現(xiàn)不佳，無法提供極速分析體驗。

第二，數(shù)據(jù)分析的靈活性不足。

很多時候，為了能夠提供極速分析體驗，你需要針對各類場景構建大寬表，或者做復雜的預處理，而這損失了分析靈活性。特別是在自助化BI這樣靈活的場景下，星型模型和雪花模型的價值不可替代。現(xiàn)有的系統(tǒng)難以同時高性能支持這些建模手段。

第三，數(shù)據(jù)架構復雜度太高。

為了滿足業(yè)務的多種分析需求，你必須搭建多套系統(tǒng)來組合使用。這讓分析層架構變得非常復雜，導致開發(fā)維護成本以及業(yè)務使用成本都很高。另外，隨著各類實時分析場景的興起，你需要同時構建離線數(shù)據(jù)鏈路和實時數(shù)據(jù)鏈路。但數(shù)據(jù)同步、數(shù)據(jù)一致性、計算邏輯同步、異常數(shù)據(jù)處理、多系統(tǒng)運維等問題馬上就接踵而至。你只能疲于應付。

第四，數(shù)據(jù)分析能力彈性不足。

你的數(shù)據(jù)規(guī)模越來越大，對應的數(shù)據(jù)分析系統(tǒng)需要不斷地擴容;不同的業(yè)務線有不同的數(shù)據(jù)分析訪問量，需要保證每個業(yè)務線的SLA;有的業(yè)務還有大促，周年慶等流量高峰，如何保證既能支持好業(yè)務，又能節(jié)省成本?相信這些問題沒少讓你頭疼。

產生這些問題的根本原因，是舊的大數(shù)據(jù)技術架構已經(jīng)不能滿足當前業(yè)務高速發(fā)展的需求。在舊的底層架構上進行修修補補只能解決部分問題。要想從根本上破局，就需要一套全新的“極速統(tǒng)一”的數(shù)據(jù)架構。“極速”，意味著全面提升數(shù)據(jù)處理和分析的性能;“統(tǒng)一”意味著將復雜分散的數(shù)據(jù)架構融合為簡單統(tǒng)一的架構。

為此我們決定把我們的核心產品DorisDB升級為StarRocks，并全面開源(Github搜索“StarRocks”)，和全球大數(shù)據(jù)從業(yè)者一起構建新一代極速統(tǒng)一的數(shù)據(jù)分析架構!

StarRocks開創(chuàng)全新的極速統(tǒng)一分析

2020年初，當時還沒有人相信一個企業(yè)的數(shù)據(jù)分析架構可以統(tǒng)一，但我們相信“極速統(tǒng)一分析”一定可以實現(xiàn)。經(jīng)過團隊近20個月夜以繼日的努力，我們攻克了諸多“不可能”的技術難題，通過自主研發(fā)新一代的技術，我們將StarRocks打造成了具有劃時代意義的產品：“新一代極速全場景MPP數(shù)據(jù)庫”

·全新設計的全面向量化MPP查詢引擎，同時支持極速的單表和多表查詢性能。

StarRocks自主打造的新一代全面向量化的MPP引擎使查詢性能大幅提高，是非原生向量化系統(tǒng)(Kylin/Druid/Elasticsearch/Impala-Kudu/Presto/Greenplum)的3～5倍以上。ClickHouse向量化引擎并不支持全面的MPP，多表查詢能力差，StarRocks的多表查詢性能是其3～5倍以上。

·全新設計的實時列式存儲引擎，具備極致的實時更新和查詢性能。

在實時更新下，StarRocks查詢性能是其他產品的3～5倍以上。

·全新設計的數(shù)據(jù)分布模式，具備高并發(fā)查詢能力。

其他系統(tǒng)都無法較好支持高并發(fā)查詢，StarRocks可以支持每秒上萬次的并發(fā)查詢能力。

·全新設計的CBO優(yōu)化器，支持極速的秒級AdHoc查詢。

StarRocks性能可以做到主流AdHoc查詢系統(tǒng)Presto的5倍以上，可以做到秒級延遲。

·全新設計的現(xiàn)代化物化視圖，具備靈活透明的預計算加速能力。

其他產品無法做到非常好的透明化加速，具有較高的開發(fā)和管理成本，StarRocks在可以靈活透明加速的現(xiàn)代化物化視圖方面進行了大量創(chuàng)新。

通過這些獨特的技術能力，StarRocks真正實現(xiàn)了極速統(tǒng)一分析：

·StarRocks可以同時高效支持OLAP多維分析、實時數(shù)據(jù)分析、高并發(fā)查詢、AdHoc查詢等多場景，并且比上一代同類型產品的分析能力快3～5倍以上。

·全新的OLAP多維分析體驗，打破“只能做大寬表”的局限性，讓多種數(shù)據(jù)建模模式：預計算、大寬表、星型模型和雪花模型等都具備極速分析體驗。

·全新的實時數(shù)據(jù)分析體驗，真正支持實時更新和刪除，并能保證極速查詢性能。

·全新的高并發(fā)查詢體驗，突破傳統(tǒng)OLAP無法高并發(fā)的限制，支持數(shù)千人同時訪問。

·全新極簡統(tǒng)一的OLAP架構，大大降低了使用和運維管理復雜度，提升了開發(fā)和使用效率。

產品發(fā)布半年以來，StarRocks快速被50多家市值(或估值)在10億美金以上的大型用戶用于生產環(huán)境，有力地支撐了這些用戶的數(shù)據(jù)分析業(yè)務，創(chuàng)造了全新的分析體驗，并且有不少行業(yè)頭部公司已經(jīng)開始用StarRocks實現(xiàn)了統(tǒng)一的OLAP平臺，“不可能”的極速統(tǒng)一分析正在快速變成“現(xiàn)實”!這也是為什么，阿里云、騰訊云、小米、京東、滴滴、貝殼、攜程、小紅書、順豐科技、58同城等行業(yè)頭部公司在第一時間加入社區(qū)，一起攜手為“極速統(tǒng)一”的新時代夢想而努力。

“極速統(tǒng)一分析”并不是終局，而是新的起點

在當前極速統(tǒng)一的數(shù)據(jù)分析架構的基礎上，我們的下一個目標是要打造“新一代流批融合的極速湖倉(Lakehouse)”。眾所周知，在當前主流的數(shù)據(jù)處理鏈路中，實時數(shù)據(jù)處理和離線數(shù)據(jù)處理是割裂的。企業(yè)要管理好這兩種數(shù)據(jù)處理場景，往往系統(tǒng)架構復雜、難于維護。而我們要在StarRocks里實現(xiàn)這兩種數(shù)據(jù)處理方式的融合。

·我們將設計全新實時和離線融合的云原生架構，可以同時高效管理實時數(shù)據(jù)和離線數(shù)據(jù)。

雖然云原生標桿Snowflake在離線數(shù)據(jù)場景下打造了先進的存儲計算分離架構，但是這個架構在實時數(shù)據(jù)分析支持上存在很大不足。我們將設計新一代云原生架構，同時高性能支持實時數(shù)據(jù)和離線數(shù)據(jù)的寫入和讀取。

·我們還將設計全新流批融合的向量化計算引擎，可以同時進行極速的批處理和流處理。

通過打造全新的向量化批處理引擎，可以實現(xiàn)比Apache Spark快5～10倍以上的批處理速度。同時完美融合流式語義，利用向量化技術提升流處理性能。用戶無需再忍受使用Spark和Flink分散進行批處理和流處理帶來的復雜性!

“堅持大膽嘗試，實現(xiàn)不可能”是我們一直踐行的價值觀。在未來一年半左右的時間內，我們將和社區(qū)一起打造全新的StarRocks。讓企業(yè)的離線數(shù)據(jù)和實時數(shù)據(jù)可以采用同一套架構、同一種語義、同一個引擎來處理，讓數(shù)據(jù)架構實現(xiàn)全面的“極速統(tǒng)一”，“讓原本簡單的事情回歸簡單”!

一個人走得快，一群人走得遠

為了實現(xiàn)這些偉大夢想，我們將在全球范圍內構建StarRocks開源生態(tài)，吸引優(yōu)秀的有志之士一起來參與社區(qū)建設。我們將不遺余力地推動更多的全球用戶加入社區(qū)，了解和評測StarRocks，使用和改進StarRocks。我們還將推動全球的數(shù)據(jù)工程師/數(shù)據(jù)分析師與社區(qū)一起，基于StarRocks構建各類數(shù)據(jù)分析場景的新一代解決方案。

如果你也和我們一樣，心懷夢想，請現(xiàn)在就關注我們，參與社區(qū)建設，在Github上給StarRocks加一個星吧。讓我們一起來創(chuàng)造“極速統(tǒng)一”的大數(shù)據(jù)新時代，向不可能說不!

StarRocks——攜手未來，星辰大海!