本文根據(jù)2023云棲大會演講實錄整理而成，演講信息如下：
演講人：黃博遠 | 阿里云計算平臺事業(yè)部資深產(chǎn)品專家、阿里云人工智能平臺PAI產(chǎn)品負責(zé)人
演講主題：阿里云人工智能平臺PAI年度發(fā)布
01.AIGC是我們這個時代的新機遇
今年云棲大會，阿里云機器學(xué)習(xí)平臺PAI正式發(fā)布升級為人工智能平臺PAI。在過去的12個月，AI生態(tài)發(fā)生了巨大的變化，AIGC已經(jīng)成為繼互聯(lián)網(wǎng)時代的下一個產(chǎn)業(yè)時代風(fēng)口，帶來了很多新的機遇和挑戰(zhàn)。
在整個市場當中，AIGC領(lǐng)域可以分為三類：預(yù)訓(xùn)練大模型、開源生態(tài)和下游應(yīng)用。
02.AI研發(fā)新范式和新挑戰(zhàn)
在新局勢下，整個AI研發(fā)進入到新范式：
· 從預(yù)訓(xùn)練模型開始，快速定制、快速落地
· AI開發(fā)門檻大大降低，AI推廣加速，行業(yè)應(yīng)用增長
研發(fā)新范式升級跟以往從搞數(shù)據(jù)到0-1搭模型是非常不一樣的，主要會有三類客戶：
· 上游：通用模型生產(chǎn)者與平臺方（如阿里）；
· 中游：利用垂直行業(yè)知識對模型進行優(yōu)化（生態(tài)伙伴）；
· 下游：最終AI應(yīng)用的使用者（最廣大的用戶群體）。
AI生態(tài)鏈的整合和角色分化是行業(yè)發(fā)展的方向，符合社會整體效率提高的要求，必將推動AI普惠化的進程。
03.阿里云人工智能平臺PAI全面升級
人工智能平臺PAI在4.0版本里，下層是強大的基礎(chǔ)設(shè)施，中間層“PAI靈駿智算集群”，是專門面向超大規(guī)模分布式，重點解決預(yù)訓(xùn)練、Finetune、推理等工作。最上層“Model as a Service”概念，能夠讓不懂算法，但需要應(yīng)用AI的人進行全鏈路的AI創(chuàng)新。
PAI助力企業(yè)AI創(chuàng)新
人工智能平臺PAI將圍繞以下三個效率助力企業(yè)和開發(fā)者進行AI的創(chuàng)新，分別是開發(fā)效率、計算效率和業(yè)務(wù)效率。
提升開發(fā)效率：人，最寶貴的資源
AI工程化的工程師人才稀缺且昂貴，工程師從數(shù)據(jù)進來到整個開發(fā)環(huán)節(jié)再到模型生產(chǎn)上線，大約需要12種工具把整個AI流程走完。
阿里云PAI 全生命周期優(yōu)化的AI平臺
阿里云人工智能平臺PAI作為全生命周期優(yōu)化的AI平臺，包含iTAG智能標注、DSW交互式建模、DLC AI訓(xùn)練服務(wù)、EAS在線預(yù)測服務(wù)、AI工作空間、AI資產(chǎn)、OpenAPI等服務(wù)，打造一體化全鏈路的AI工程平臺，全面提升行業(yè)、產(chǎn)業(yè)落地效率。
PAI-DSW 交互式建模
PAI平臺的Notebook服務(wù)全面升級，DSW可以一站式AI開發(fā)，開箱即用，異構(gòu)資源無縫對接，兼顧個人開發(fā)者及企業(yè)級協(xié)作需求，讓整個開發(fā)過程變得更加高效。
同時我們也看到數(shù)據(jù)對于AI的重要性，PAI把整個阿里云上的存儲都做了無縫對接（OSS、NAS、CPFS），可以很容易的在云上獲得做大模型開發(fā)的工作的環(huán)境。
PAI-DLC 分布式訓(xùn)練
在分布式訓(xùn)練里，大模型變得至關(guān)重要，怎么同時用512卡、上千卡做訓(xùn)練，可能很難做分布式這些細節(jié)的管理，如果涉及底層復(fù)雜軟硬件能力可能更不清楚。今天通過DLC分布式訓(xùn)練可以實現(xiàn)單機多卡、多機多卡分布式訓(xùn)練，云原生靈活環(huán)境配置，企業(yè)級資源管理，快速把相應(yīng)的模型訓(xùn)練出來。
PAI 模型服務(wù)與AI推理
未來，我們認為在模型服務(wù)領(lǐng)域，模型的推理一定會成為整個產(chǎn)業(yè)的熱潮。因為在我們平臺上已經(jīng)看到有幾十家做大模型的企業(yè)訓(xùn)練出來50B~100B以上的大模型，這些模型日后一定會產(chǎn)業(yè)落地。
PAI EAS模型在線服務(wù)+Blade推理加速，幫助客戶一站式解決AI部署和推理的全部環(huán)節(jié)。
提升計算效率：機器，如何高效的利用
對于大模型無法逃避的一個問題就是解決機器效率，如何讓機器被整個產(chǎn)品和平臺瘋狂使用，對所有人來說都是巨大的挑戰(zhàn)。
PAI靈駿智算服務(wù) - 讓大模型訓(xùn)練推理簡單、高效
今年我們發(fā)布了PAI靈駿計算服務(wù)Serverless產(chǎn)品。使得AI的訓(xùn)練推理更快、更易用、更穩(wěn)定，全面提升AI計算效率。
可以想象一下，當有1024張卡甚至有數(shù)千張卡做訓(xùn)練的時候，很難保證系統(tǒng)不出錯誤，所以我們推出了AI Master自動容錯彈性訓(xùn)練。讓系統(tǒng)幫你去解決各種各樣的問題。對于整個大模型訓(xùn)練過程有巨大的效率提升的作用。
推出EasyCkpt秒級異步訓(xùn)練的快照，可以清楚知道每一個數(shù)據(jù)在整個顯存、內(nèi)存、緩存中存了多少，硬件或系統(tǒng)出現(xiàn)問題或者時我們不再需要做全局的checkpoint，可以通過EasyCkpt實現(xiàn)秒級訓(xùn)練精度無損的checkpoint，高效幫企業(yè)自動把這個問題恢復(fù)可執(zhí)行狀態(tài)。
TorchAcc和PAI-Blade則是在大規(guī)模分布式訓(xùn)練和推理上做的軟硬結(jié)合優(yōu)化。
1.極致性能：高性能計算、網(wǎng)絡(luò)、存儲支撐的高性能AI集群
專為密集型深度學(xué)習(xí)業(yè)務(wù)及LLM/AIGC大模型訓(xùn)練場景打造的高性能集群架構(gòu)
2.極致穩(wěn)定：軟硬結(jié)合、協(xié)同保障超大規(guī)模集群超高穩(wěn)定性
集大規(guī)模集群管理、彈性AI調(diào)度、進度無損的模型保存與恢復(fù)、自動分布式性能測試于一體的穩(wěn)定保障體系
3.基于PAI-DLC構(gòu)建的LLM大模型強化學(xué)習(xí)訓(xùn)練框架RLHF
支持人工反饋的強化學(xué)習(xí) RLHF訓(xùn)練框架，快速開發(fā)定制LLM
提升業(yè)務(wù)效率：自帶最佳實踐，業(yè)務(wù)落地提速
阿里云是一個自帶最佳實踐的云，如何基于PAI平臺讓不懂AI的人快速上手，讓沒有接觸過大模型、沒有做過AIGC應(yīng)用的人快速跟上節(jié)奏呢？是我們一直致力于解決的問題。
PAI平臺提供了非常豐富的場景化最佳實踐方案，把最佳實踐產(chǎn)品化方式面向客戶，企業(yè)開發(fā)者們可以通過接入PAI平臺一步步體驗?zāi)Ｐ蜆?gòu)建的整個過程。
MaaS全鏈路提效
PAI平臺一站式覆蓋了AI工程化的全流程，無縫對接ModelScope/Huggingface等開源社區(qū)，讓算法開發(fā)者、應(yīng)用開發(fā)者和業(yè)務(wù)架構(gòu)師可以專注、高效的完成創(chuàng)新。
大模型場景化最佳實踐
人工智能平臺PAI提供全面覆蓋大模型生產(chǎn)流程的端到端最佳實踐。
智碼實驗室-Notebook Galley
Notebook Galley上針對熱門場景、前沿模型，打造屬于開發(fā)者的內(nèi)容平臺，讓開發(fā)者快速學(xué)習(xí)上手。
Notebook Galley上面現(xiàn)在已經(jīng)有100多個熱門AI的案例，例如：通義系列、Llama2、Stable Diffusion等案例在這上面全都可以一站式云上拉起服務(wù)，端到端體驗。
為AI提供極致性能、全鏈路工程覆蓋、端到端最佳實踐的云上服務(wù)
PAI團隊持續(xù)迭代更新，面向AI、大模型、AGI領(lǐng)域做了三個核心工作：
1、軟硬一體協(xié)同優(yōu)化云上基礎(chǔ)設(shè)施，把高性能網(wǎng)絡(luò)、高性能存儲和高性能計算的能力和編譯優(yōu)化能力、容錯訓(xùn)練能力、快速異步checkpoint的能力相結(jié)合，提供極致且穩(wěn)定的環(huán)境，供大家可以高效訓(xùn)練大模型。
2、提供了端到端涵蓋整個AI工程鏈路的PaaS平臺。
3、提供豐富的場景化最佳實踐。
人工智能平臺PAI在今后會再這三個領(lǐng)域持續(xù)大力構(gòu)建云上Serverless產(chǎn)品，給開發(fā)者提供更加廉價、更加好用的產(chǎn)品力。也希望大家可以借助AIGC這波浪潮，助力業(yè)務(wù)更好發(fā)展！
