青青久在线视频免费观看-青青久在线-青青久久网-青青久久久-WWWXXXX兽交-wwwxxc

  • 航空人生
    新一代連飛客戶端下載
  • 空管人生
    中國(guó)航空運(yùn)動(dòng)協(xié)會(huì)推薦
  • WEFLY
    模擬飛行玩家聊天工具

CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成

2024-9-29 07:45| 發(fā)布者: B787Dream 811 1

摘要: 作者介紹劉芳甫,清華大學(xué)博士生內(nèi)容簡(jiǎn)介最近,通過(guò)利用2D和3D擴(kuò)散模型,從文本提示創(chuàng)建3D內(nèi)容取得了顯著進(jìn)展。雖然3D擴(kuò)散模型確保了良好的幾何一致性,但由于3D數(shù)據(jù)有限,其生成高質(zhì)量和多樣化3D內(nèi)容的能力受到限制 ...

作者介紹


劉芳甫,清華大學(xué)博士生

內(nèi)容簡(jiǎn)介

最近,通過(guò)利用2D和3D擴(kuò)散模型,從文本提示創(chuàng)建3D內(nèi)容取得了顯著進(jìn)展。雖然3D擴(kuò)散模型確保了良好的幾何一致性,但由于3D數(shù)據(jù)有限,其生成高質(zhì)量和多樣化3D內(nèi)容的能力受到限制。相比之下,2D擴(kuò)散模型通過(guò)一種提煉方法,在不使用任何3D數(shù)據(jù)的情況下實(shí)現(xiàn)了卓越的泛化能力和豐富的細(xì)節(jié)。然而,2D提升方法由于固有的視角不可知的模糊性,導(dǎo)致了嚴(yán)重的多面性問(wèn)題,即文本提示無(wú)法提供足夠的指導(dǎo)來(lái)學(xué)習(xí)一致的3D結(jié)果。我們沒(méi)有重新訓(xùn)練一個(gè)昂貴的視點(diǎn)感知模型,而是研究如何充分利用易于獲取的粗略3D先驗(yàn)知識(shí)來(lái)增強(qiáng)提示并引導(dǎo)2D提升優(yōu)化進(jìn)行細(xì)化。在本文中,我們提出了Sherpa3D,一個(gè)新的文本到3D框架,能夠同時(shí)實(shí)現(xiàn)高保真度、通用性和幾何一致性。具體而言,我們?cè)O(shè)計(jì)了一對(duì)指導(dǎo)策略,來(lái)自由3D擴(kuò)散模型生成的粗略3D先驗(yàn):幾何保真度的結(jié)構(gòu)指導(dǎo)和3D一致性的語(yǔ)義指導(dǎo)。通過(guò)采用這兩種指導(dǎo),2D擴(kuò)散模型豐富了3D內(nèi)容,產(chǎn)生了多樣化和高質(zhì)量的結(jié)果。大量實(shí)驗(yàn)證明了我們的Sherpa3D在質(zhì)量和3D一致性方面優(yōu)于最新的文本到3D方法。


論文地址:https://arxiv.org/pdf/2312.06655

代碼地址:https://liuff19.github.io/Sherpa3D/

項(xiàng)目地址:https://jamesyjl.github.io/DreamReward/



01

Gallery of Sherpa3D

Sherpa3D 是一個(gè)全新的文本到3D生成框架。該框架能夠在25分鐘內(nèi)生成高保真度、多樣化且符合幾何一致性的三維物體。相比于現(xiàn)有的方法,Sherpa3D在生成質(zhì)量和時(shí)間上均有顯著提升。


3D生成技術(shù)的發(fā)展歷程可以從ICLR 2023年的DreamFusion開(kāi)始,該方法在生成質(zhì)量和時(shí)間效率上存在一定局限。隨后在ICLR 2024年提出的SweetDreamer,雖然在生成質(zhì)量上有所提升,但需要大量的3D數(shù)據(jù)進(jìn)行訓(xùn)練。本文的研究表明,Sherpa3D的性能與SweetDreamer相當(dāng),但在時(shí)間效率上更具優(yōu)勢(shì)。


此外,ICLR 2024年的Dream Gaussian在生成速度上實(shí)現(xiàn)了突破,但其生成的紋理質(zhì)量仍有提升空間。相比之下,Sherpa3D有效解決了現(xiàn)有方法中的諸多問(wèn)題,并提出了一個(gè)全新的框架,顯著提升了3D生成的質(zhì)量和效率。




CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-6745



02

Background of 3D AIGC

3D AIGC的發(fā)展分為兩個(gè)主要范式。第一個(gè)范式以DreamFusion為代表,采用優(yōu)化的方式。該方法旨在將2D擴(kuò)散模型的能力提升到3D空間,通過(guò)SDS損失(Score Distillation Sampling loss)實(shí)現(xiàn)。具體來(lái)說(shuō),3D物體的每一個(gè)側(cè)面都在2D世界中見(jiàn)到過(guò),因此可以通過(guò)2D擴(kuò)散模型來(lái)監(jiān)督整個(gè)3D物體的生成。SDS的本質(zhì)是將2D擴(kuò)散模型的能力進(jìn)行蒸餾,通過(guò)對(duì)損失函數(shù)直接求梯度的方式,監(jiān)督3D物體的生成。


第二個(gè)范式是從合成數(shù)據(jù)進(jìn)行訓(xùn)練,稱(chēng)為合成數(shù)據(jù)原生推理的方法。主要代表方法包括早期的CP、PointE以及近期利用ObjectVerse訓(xùn)練多視圖數(shù)據(jù)的生成方法。



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-8320



03

Motivation

本文的研究動(dòng)機(jī)在于分析現(xiàn)有的2D和3D擴(kuò)散模型,即前面提到的兩種范式。2D擴(kuò)散模型的優(yōu)勢(shì)在于其訓(xùn)練數(shù)據(jù)集非常豐富,2D圖像數(shù)量龐大,具備很強(qiáng)的泛化能力,能夠生成細(xì)節(jié)豐富的圖像。然而,2D擴(kuò)散模型的局限在于其僅見(jiàn)過(guò)2D圖像,而且2D圖像數(shù)據(jù)集存在長(zhǎng)尾分布問(wèn)題,例如正面圖像遠(yuǎn)多于背面圖像,導(dǎo)致其缺乏3D先驗(yàn),容易出現(xiàn)多面(multi-face)問(wèn)題,例如DreamFusion生成的圖像可能正面和背面都有臉。


相比之下,3D擴(kuò)散模型因?yàn)橹苯邮褂?D數(shù)據(jù)進(jìn)行訓(xùn)練,具備很好的多視角一致性,不會(huì)出現(xiàn)多面的問(wèn)題。但其不足在于3D數(shù)據(jù)相對(duì)于2D數(shù)據(jù)量非常少,導(dǎo)致模型的質(zhì)量和泛化能力較差。


因此,該研究的目標(biāo)是同時(shí)解決上述問(wèn)題,提出一個(gè)質(zhì)量高、泛化性好,并且能夠保證幾何一致性的模型。



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-6971

04

Method Overview

作者提出了Sherpa3D框架。Sherpa意指喜馬拉雅山的向?qū)?,引?dǎo)登山者攀登高峰。類(lèi)似地,本文所提框架引導(dǎo)2D擴(kuò)散模型逐步優(yōu)化,最終生成高質(zhì)量且具備3D一致性的模型。


首先,需要解決以下三個(gè)挑戰(zhàn)。第一個(gè)挑戰(zhàn)是在2D轉(zhuǎn)3D的過(guò)程中,容易出現(xiàn)多個(gè)面部的情況。第二個(gè)挑戰(zhàn)是僅使用2D擴(kuò)散模型時(shí),可能生成的幾何結(jié)構(gòu)不穩(wěn)定。第三個(gè)挑戰(zhàn)是引入3D擴(kuò)散模型作為先驗(yàn)時(shí),需要平衡2D和3D擴(kuò)散模型在整個(gè)優(yōu)化過(guò)程中的作用權(quán)重。


為了解決這些挑戰(zhàn),本文方法如下。首先通過(guò)3D擴(kuò)散模型生成一個(gè)粗略的3D先驗(yàn),然后將3D先驗(yàn)投影成不同的側(cè)面圖像。接著,使用結(jié)構(gòu)引導(dǎo)和語(yǔ)義引導(dǎo)來(lái)輔助2D提升過(guò)程。結(jié)構(gòu)引導(dǎo)利用3D先驗(yàn)引導(dǎo)后續(xù)的2D提升過(guò)程,避免出現(xiàn)結(jié)構(gòu)不良的幾何現(xiàn)象;語(yǔ)義引導(dǎo)則通過(guò)3D先驗(yàn)提供正面、背面和側(cè)面的語(yǔ)義信息,從而緩解多面問(wèn)題。最后,作者提出了一個(gè)分步退火策略(Step Annealing Strategy),在整個(gè)優(yōu)化過(guò)程中平衡2D和3D擴(kuò)散模型的作用。



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-7161

Method in detail


在該方法中,作者首先討論了哪些知識(shí)可以作為優(yōu)化過(guò)程的引導(dǎo)。通過(guò)實(shí)驗(yàn),作者發(fā)現(xiàn)幾何不一致性是導(dǎo)致3D性能不佳的一個(gè)主要原因。因此,優(yōu)化過(guò)程主要集中在幾何優(yōu)化上的設(shè)計(jì)和改進(jìn)。


首先,在結(jié)構(gòu)引導(dǎo)方面,為了保留粗略3D先驗(yàn)的結(jié)構(gòu),本文采用了一個(gè)簡(jiǎn)單的邊緣提取算子來(lái)描述其輪廓。這使得在后續(xù)的優(yōu)化過(guò)程中,生成的3D形狀能夠與初始的3D形狀保持幾何大小的一致,避免幾何結(jié)構(gòu)出現(xiàn)問(wèn)題。


其次,在語(yǔ)義引導(dǎo)方面,作者通過(guò)約束語(yǔ)義一致性來(lái)避免多面問(wèn)題。這樣可以確保生成的3D物體在不同視角下具有一致的外觀。


第三,本文引入了一個(gè)分步退火策略(step annealing strategy)來(lái)平衡2D和3D優(yōu)化的作用。如果沒(méi)有分步退火,3D擴(kuò)散模型可能會(huì)過(guò)度發(fā)揮作用,從而導(dǎo)致生成的細(xì)節(jié)不足。因此,通過(guò)分步退火策略,就能夠在優(yōu)化過(guò)程中適當(dāng)調(diào)整2D和3D擴(kuò)散模型的作用權(quán)重,保證生成結(jié)果的細(xì)節(jié)和一致性。


最后,文中的優(yōu)化是在幾何空間進(jìn)行的,而不是在RGB空間。具體來(lái)說(shuō),通過(guò)對(duì)法線向量進(jìn)行SDS優(yōu)化。在早些時(shí)候的SCP 2023和Fantasia 3D研究中,已經(jīng)證明了這種方法的有效性。Stable diffusion使用的訓(xùn)練數(shù)據(jù)中包含了一部分法線數(shù)據(jù),因此可以很快地對(duì)SDS進(jìn)行收斂。



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-9450


05

Visualization

以下是生成的一個(gè)模型的可視化結(jié)果,這是使用Blender進(jìn)行渲染的。



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-2836


06

Experiment Results

以下是更多的實(shí)驗(yàn)結(jié)果??梢钥吹剑缙诘姆椒ㄈ鏑PE盡管在3D一致性上表現(xiàn)良好,但生成的質(zhì)量非常粗糙。DreamFusion、Magic3D、Fantasia3D和ProlificDreamer等方法在生成時(shí)間上都非常長(zhǎng),并且經(jīng)常出現(xiàn)多臉和多頭的問(wèn)題,質(zhì)量也較差。


相比之下,本文方法在解決多面問(wèn)題上表現(xiàn)出色。最左邊的結(jié)果是Sherpa3D生成的3D模型,顯示出Sherpa3D不僅有效解決了多面問(wèn)題,還在質(zhì)量和逼真度上達(dá)到了更高水平,生成的3D模型更加真實(shí)可信。



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-1516

More Experiment Results


進(jìn)一步的實(shí)驗(yàn)結(jié)果表明,在CLIP上的驗(yàn)證中,Sherpa3D表現(xiàn)出最高的性能。此外,用戶研究也顯示,Sherpa3D更受大眾歡迎。


值得一提的是,由于Sherpa3D僅在幾何空間進(jìn)行優(yōu)化,因此可以充分發(fā)揮Stable Diffusion的上色能力和泛化能力。在整個(gè)優(yōu)化過(guò)程中,不會(huì)改變Stable Diffusion的特性,這使得Sherpa3D在生成質(zhì)量上優(yōu)于直接使用3D數(shù)據(jù)訓(xùn)練的模型。例如,ObjectVerse和MV-Dream等方法可能會(huì)過(guò)擬合到特定的數(shù)據(jù)集顏色空間,而Sherpa3D則能夠避免這種情況。


此外,Sherpa3D在解決OOD(Out-of-Distribution)現(xiàn)象時(shí)表現(xiàn)出色。無(wú)論是生成多樣化和具有高度泛化能力的提示,還是進(jìn)行簡(jiǎn)單的編輯操作(如只改變紋理而不改變幾何結(jié)構(gòu)),Sherpa3D都能很好地完成任務(wù)。



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-1974



07

Zero-shot 3D Generation

下面展示了Sherpa3D在零樣本(zero-shot)3D生成任務(wù)中的結(jié)果??梢钥吹剑琒herpa3D在3D一致性和紋理質(zhì)量方面表現(xiàn)出色。生成的3D模型不僅具備高度的幾何一致性,還在紋理細(xì)節(jié)上保持了很高的質(zhì)量。



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-616



08

Future Work

Subject-Driven 3D Generation:Make-Your-3D


未來(lái)工作包括一個(gè)以主體為驅(qū)動(dòng)的3D生成(subject-driven 3D generation)。當(dāng)前的3D生成大多數(shù)是基于給定的文本或圖片生成一個(gè)3D物體,而這篇文章提出了一種新方法,即只需提供一張圖片并添加一些文本提示,就可以在保持主體特征不變的情況下,為其添加帽子、墨鏡等配件。例如,我們可以讓格魯特坐著或者穿上制服。這實(shí)際上是一種定制化的過(guò)程。


該方法只需五分鐘內(nèi)就可以生成,有些案例甚至可以在幾十秒內(nèi)完成。此外,還可以對(duì)人物風(fēng)格進(jìn)行修改,比如讓奧巴馬穿上不同的衣服,這都是定制化生成的表現(xiàn)。這是在后期進(jìn)行的主體驅(qū)動(dòng)的3D生成工作。具體工作參見(jiàn):https://liuff19.github.io/Make-Your-3D/



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-6747

Human Preference Alignment:DreamReward


另一個(gè)未來(lái)工作是解決當(dāng)前3D生成與人類(lèi)偏好不對(duì)齊的問(wèn)題。研究發(fā)現(xiàn),目前的3D生成模型在理解文本提示的語(yǔ)義方面存在局限。例如,當(dāng)我們希望給自行車(chē)添加花籃裝飾時(shí),使用MV-Dream等3D數(shù)據(jù)訓(xùn)練的模型可能無(wú)法很好地理解這一文本提示的語(yǔ)義。類(lèi)似地,對(duì)于“獅子在陽(yáng)光下”這樣的提示,模型可能無(wú)法捕捉到其中的語(yǔ)義信息。


為了解決這一問(wèn)題,本文采用了ILHF(Instruction Learning from Human Feedback)的方法,使人類(lèi)偏好與3D生成模型實(shí)現(xiàn)一定程度的對(duì)齊。右側(cè)展示的結(jié)果表明,所提方法在這一方面取得了顯著的進(jìn)展,生成的3D模型與文本提示產(chǎn)生了更好的對(duì)齊效果。具體工作參見(jiàn):https://jamesyjl.github.io/DreamReward/



CVPR2024:Sherpa3D:通過(guò)粗略的3D先驗(yàn)提升高保真文本到3D生成-6271


路過(guò)

雷人

握手

鮮花

雞蛋
666
2024-10-5 02:04

返回頂部
主站蜘蛛池模板: 视频一区在线免费观看 | 最新色导航 | 天天躁日日躁狠狠躁中文字幕老牛 | 亚洲AV香蕉一区区二区三区蜜桃 | 我的奶头被客人吸的又肿又红 | 北条麻妃のレズナンパ | 亚洲欧洲日产国产 最新 | 国产色精品久久人妻无码看片软件 | 耻辱诊察室1一4集动漫在线观看 | 小p孩玩成年女性啪啪资源 小777论坛 | 91av成年影院在线播放 | 午夜福利网国产A | 国产亚洲精品久久777777 | 国产亚洲免费观看 | 嗯啊插的好深啊使劲抽视频 | 视频一区视频二区ae86 | 人妻满熟妇AV无码区国产 | 国产免费看黄的私人影院 | 国产色精品久久人妻无码看片软件 | 美女叉腿掰阴大胆艺术照 | av av在线| 在线综合 亚洲 欧美 | 精品99久久久久成人网站 | 国产精品久久久久久亚洲毛片 | 亚洲国产成人精品无码区99 | 精品国产乱码久久久久久上海公司 | 小小水蜜桃视频高清在线观看免费 | 日本一本免费线观看视频 | 免费国产黄线在线播放 | 十八禁肉动漫无修在线播放 | 乳女教师欲乱动漫无修版动画 | 久久伊人电影 | 99久久99久久精品国产片果冻 | ewp系列虐杀在线视频 | 思思久99久女女精品 | 色中色最新地址登陆 | 嫩草影院久久国产精品 | 美女激清床上戏大全 | 鸡鸡插屁股 | 国产蜜臀AV在线一区视频 | 秋霞电影伦网理最新在线看片 |