arXiv (Cornell University)· 2022· Ön baskı
DreamFusion: 2D Difüzyon Kullanarak Metinden 3B'ye
DreamFusion: Text-to-3D using 2D Diffusion
- 468atıf
- 2022yıl
Kısa özet
DreamFusion, önceden eğitilmiş bir 2B metinden-görüntüye difüzyon modelini önsel olarak kullanarak, herhangi bir 3B eğitim verisi gerektirmeden bir Nöral Radyans Alanı (NeRF) optimize ederek metin komutlarından 3B modeller üretir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Yalnızca önceden eğitilmiş bir 2B difüzyon modeli kullanarak metin komutlarından 3B modeller üretir.
- Yeni bir damıtma kaybı kullanarak gradyan inişi yoluyla bir Nöral Radyans Alanı (NeRF) optimize eder.
- Herhangi bir 3B eğitim verisi veya mevcut 2B difüzyon modelinde değişiklik gerektirmez.
- Ortaya çıkan 3B modeller herhangi bir açıdan işlenebilir ve keyfi aydınlatma ile yeniden aydınlatılabilir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Recent breakthroughs in text-to-image synthesis have been driven by diffusion models trained on billions of image-text pairs. Adapting this approach to 3D synthesis would require large-scale datasets of labeled 3D data and efficient architectures for denoising 3D data, neither of which currently exist. In this work, we circumvent these limitations by using a pretrained 2D text-to-image diffusion model to perform text-to-3D synthesis. We introduce a loss based on probability density distillation that enables the use of a 2D diffusion model as a prior for optimization of a parametric image generator. Using this loss in a DeepDream-like procedure, we optimize a randomly-initialized 3D model (a Neural Radiance Field, or NeRF) via gradient descent such that its 2D renderings from random angles achieve a low loss. The resulting 3D model of the given text can be viewed from any angle, relit by arbitrary illumination, or composited into any 3D environment. Our approach requires no 3D training data and no modifications to the image diffusion model, demonstrating the effectiveness of pretrained image diffusion models as priors.
Yazarların özeti; kaynağından alınmıştır. arXiv (Cornell University), 2022 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Bilgisayar Grafikleri ve Bilgisayar Destekli Tasarım
Computer Graphics and Computer-Aided DesignComputer Science