在居然裝飾與每平每屋·設計家“數(shù)字+”產品發(fā)布暨“尋找國民好設計”設計挑戰(zhàn)賽（華北區(qū)）啟動新聞發(fā)布會上，阿里巴巴每平每屋平臺業(yè)務負責人、每平每屋設計家CEO石梵正式發(fā)布了每平每屋與淘系技術合作自研的AI視頻建模技術及其應用產品Object Drawer。Object Drawer是業(yè)界首個基于神經渲染的3D建模產品，推理速度相較于nerf算法提升了1萬倍。
基于此項技術，消費者不需要依賴特定設備，只需要手機環(huán)繞目標商品進行視頻拍攝，就可以完成自動重建，所生成的三維建模效果達到高精模型還原度，還能夠把目標商品放到自己家的真實戶型中進行展示。
而這個家居黑科技從何而來？背后工具支撐有多強大？讓我們一探究竟。
VR/AR賽道崛起 家居家裝3D建模需求暴漲
元宇宙源于1992年尼爾·斯蒂芬森的《雪崩》，這本書描述了一個平行于現(xiàn)實世界的虛擬世界，Metaverse，隨著VR/AR應用的發(fā)展，在現(xiàn)實世界家裝家居領域，正在大量地運用VR、3D、虛擬現(xiàn)實等技術，云化的3D拍攝素材庫、場景庫已經成為商家的數(shù)字化基建的重要環(huán)節(jié)，經營者希望解脫了拍攝策劃、3D創(chuàng)作的困擾，云素材能夠信手拈來，隨時開拍。另一方面，市場上家居家裝商品3D建模需求持續(xù)增加，家居家裝商品建模需求可能達到現(xiàn)在的100倍以上。
目前市面上的商品3D建模主要依賴于手工建模，建模時長需要幾小時甚至幾天時間，費用動輒數(shù)百到數(shù)千元，不僅對建模環(huán)境、拍攝設備提出了諸多要求，為了提升目標商品的形狀、紋理、材質的展示細節(jié)，還需要大量人工作業(yè)進行高精度還原和細節(jié)修復。
關鍵核心技術突破 推理速度提升10000倍
近幾年，神經渲染技術正在飛速發(fā)展。Google初代的NeRF及其衍生技術利用神經隱式表達來存儲場景的物理幾何以及材質紋理信息，端到端的優(yōu)化渲染效果，但在實際應用中仍存在許多問題，主要包括:第一，推理速度、訓練速度慢，1幀高清圖推理時間超過50秒，一個物體的建模時間長達2天以上。第二，細致紋理無法還原。第三，部分視角渲染效果不理想。第四，無法直接導入圖形學工具，不支持顯式使用，例如CAD場景搭配設計；此外，由于只能還原拍攝場景的光照也使得NeRF模型無法支持環(huán)境光照變化的場景應用。
而每平每屋與淘系技術共研AI視頻建模技術及其承載產品Object Drawer通過優(yōu)化網絡結構，探索幾何先驗，預存部分信息，在保證渲染質量的前提下，其推理速度可以達到每秒200幀，在手機上可達到每秒30幀，從而實現(xiàn)了實時高清可交互的三維模型，且相比NeRF算法推理速度提升了10000倍。模型的訓練時間從2天壓縮到僅需要4小時，模型大小僅需要20M，同時，對于任意視角查看，商品3D模型都達到實拍照片的展示效果，實現(xiàn)了3D建模一直追求的自動高精度還原。Object Drawer不需要依賴特定設備，只需要手機環(huán)繞目標商品進行視頻拍攝，就可以完成AI人工智能的自動重建，所生成的3D建模效果達到高精模型還原度。目前，這項技術已經面向手淘、天貓部分家居家裝商家開放。
攻克復雜光照遷移、紋理細節(jié)還原等難題
為了反應物理渲染作用于3D粗模型的光照效果，如反射，陰影等，Object Drawer將物理渲染反應在物體上的逼真光照效果遷移到神經渲染生成的物體視角圖上，通過融合得到具有光照效果的神經渲染結果，進一步用得到的帶有光照效果的高清合成圖替代物理渲染結果中的粗模投影以實現(xiàn)逼真的場景渲染效果。在實驗數(shù)據(jù)的結果表明，Object Drawer能夠適應各種復雜光源條件以及細節(jié)的陰影效果的遷移，視覺效果遠超其他替代方案。
（Object Drawer建模時不同光照遷移效果）
在還原紋理細節(jié)方面，對于家居家裝商品的模型來說，紋理細節(jié)還原度非常重要，通常需要達到照片級的還原才能支持實際渲染相關產品。Object Drawer優(yōu)化了模型表達，在大幅度加速模型訓練時間的同時，第一次做到了高清精細紋理還原，如布料線條等細節(jié)都能清晰可見。
（模型與真實商品紋理細節(jié)對比圖）
每平每屋與淘系技術攜手推出基于AI視頻建模技術的應用產品Object Drawer對神經輻射場技術進行了全面的改進和升級，實現(xiàn)了家居家裝商品自動化高精度建模流程，未來，每平每屋作為阿里巴巴旗下家居家裝賽道的創(chuàng)新業(yè)務，會持續(xù)加大科研技術投入，從「商品模型-戶型-設計」及其他各個步驟，幫助商家、設計師、消費者降低3D場景創(chuàng)作的門檻，將科技注入家裝家居和居住全鏈路的每一個環(huán)，以科技優(yōu)化每個人對居住空間的體驗、體感與審美，構建數(shù)智化的全新居住模式。
