近日在2023云棲大會(huì)上，阿里云開(kāi)源大數(shù)據(jù)產(chǎn)品進(jìn)行了年度發(fā)布：E-MapReduce、Elasticsearch 等開(kāi)源大數(shù)據(jù)產(chǎn)品全面 Serverless 化；創(chuàng)新性推出 Flink 與 Paimon 搭檔的新一代流式湖倉(cāng)；擁抱 AI，推出 Milvus 全托管服務(wù)，升級(jí)智能運(yùn)維工具 EMR Doctor 以及 Flink Advisor。

核心組件全面 Serverless 化

在大會(huì)上，阿里云開(kāi)源大數(shù)據(jù)平臺(tái)負(fù)責(zé)人王峰，回顧了阿里云開(kāi)源大數(shù)據(jù)技術(shù)演進(jìn)路線：自2009年起，經(jīng)歷了以大數(shù)據(jù)上云為代表的1.0時(shí)代，以數(shù)據(jù)湖和實(shí)時(shí)化為代表的2.0時(shí)代，如今阿里云開(kāi)源大數(shù)據(jù)平臺(tái)邁向了3.0時(shí)代，隨著云原生架構(gòu)的深入落地，已將開(kāi)源大數(shù)據(jù)平臺(tái)的核心計(jì)算組件 Flink、EMR Spark、StarRocks 和存儲(chǔ)組件 OSS-HDFS 等全部實(shí)現(xiàn) Serverless 化。

產(chǎn)品性價(jià)比飆升2倍

阿里云開(kāi)源大數(shù)據(jù)產(chǎn)品總監(jiān)陳守元表示， 阿里云開(kāi)源大數(shù)據(jù)產(chǎn)品通過(guò)底層技術(shù)優(yōu)化，包括集成倚天710芯片和自研引擎功能增強(qiáng)等，用戶使用成本大幅降低50%，引擎性能相比于開(kāi)源版本提升1～3倍，綜合性價(jià)比提升超2倍。

• 阿里云 E-MapReduce 全新上線 Serverless StarRocks 和 Serverless Spark，為用戶提供全托管、免運(yùn)維等服務(wù)。湖存儲(chǔ) OSS-HDFS 和一站式湖管理平臺(tái) DLF 全新升級(jí)，為企業(yè)構(gòu)建現(xiàn)代開(kāi)源開(kāi)放的數(shù)據(jù)湖倉(cāng)提供一站式服務(wù)。
• 阿里云實(shí)時(shí)計(jì)算 Flink 版推出企業(yè)級(jí)數(shù)據(jù)集成方案，配合 Flink 優(yōu)秀的管道能力和豐富的上下游生態(tài)，可高效實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)集成。
• 阿里云檢索分析服務(wù) Elasticsearch 版推出兼容開(kāi)源、按需使用的 Serverless 版本，平臺(tái)會(huì)根據(jù)業(yè)務(wù)流量波動(dòng)，自動(dòng)調(diào)度決定資源的增加或縮減，秒級(jí)彈性擴(kuò)縮，實(shí)現(xiàn)負(fù)載與資源動(dòng)態(tài)匹配的按量付費(fèi)。

黃金搭檔 Flink + Paimon：新一代的流式湖倉(cāng)

數(shù)據(jù)分析正從傳統(tǒng)Hive模式向湖倉(cāng)架構(gòu)升級(jí) ，阿里云從大量實(shí)踐中推斷，實(shí)時(shí)化是湖倉(cāng)分析下一步的演進(jìn)方向。在這種技術(shù)趨勢(shì)下，阿里云基于黃金搭檔Flink+Paimon，打造出新一代的流式湖倉(cāng)新方案，為用戶提供一站式數(shù)據(jù)入湖、實(shí)時(shí)加工和探查分析能力，拓展數(shù)據(jù)湖場(chǎng)景的實(shí)時(shí)計(jì)算能力，F(xiàn)link批計(jì)算已在云上實(shí)現(xiàn)生產(chǎn)可用，支持湖上批量數(shù)據(jù)處理和作業(yè)調(diào)度。在5億條數(shù)據(jù)入湖場(chǎng)景中，與開(kāi)源Hudi方案相比，阿里云流式湖倉(cāng)方案Upsert性能提升超過(guò)4倍，Scan性能提升超過(guò)10倍。 

更智能的開(kāi)源大數(shù)據(jù)

當(dāng)前AI全面爆發(fā)，阿里云開(kāi)源大數(shù)據(jù)平臺(tái)也將AI技術(shù)引入大數(shù)據(jù)平臺(tái)體系中，升級(jí)了智能化運(yùn)維工具 EMR Doctor、Flink Advisor，并已廣泛應(yīng)用于客戶和阿里云內(nèi)部平臺(tái)運(yùn)維，平均集群?jiǎn)栴}識(shí)別時(shí)間減少30% ，集群資源有效利用率提升75%，幫助阿里云開(kāi)源大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)智能化運(yùn)維和數(shù)據(jù)管理。同時(shí)，阿里云推出了Milvus全托管服務(wù)，為多模態(tài)數(shù)據(jù)提供向量檢索能力，加速客戶AI應(yīng)用。