Earth Science Informatics· 2026Q1
Öznitelik kombinasyonlarının metinsel açıklamalarından mineral görüntüleri oluşturmak için kararlı difüzyon modelini mindat verileriyle ince ayar yapma
Fine-tune the stable diffusion model using mindat data to generate mineral images from textual descriptions of attribute combinations
- 0atıf
- Q1SCImago
- 2026yıl
Kısa özet
Mindat mineral verileriyle eğitilmiş, ince ayarı yapılmış kararlı difüzyon modeli, metinsel öznitelik açıklamalarından gerçekçi mineral görüntüleri oluşturabilir ve temel modellerden daha iyi performans gösterir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- 6114 mineral türünü ve 10 öznitelik türünü kapsayan, Mindat.org'dan alınan eşleştirilmiş görüntü-metin verilerinden oluşan bir veri kümesi oluşturuldu.
- Minerallerin metinden görüntüye üretimi için kararlı difüzyon modelleri tam ince ayar ve LoRA kullanılarak ince ayardan geçirildi.
- Tam ince ayarı yapılmış model, LoRA ve temel modellere kıyasla daha iyi performans (FID, KID, CLIPScore) gösterdi.
- Kullanıcı tanımlı öznitelik kombinasyonlarından mineral görüntülerini etkileşimli olarak oluşturmak için bir araç geliştirildi.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Abstract Mindat (mindat.org) is a comprehensive mineral database that serves as a valuable resource for mineral data, encompassing a vast collection of textural descriptions and images from around the world. While the OpenMindat project accelerates knowledge discoveries in mineralogy, numerous relationships between images and text in Mindat remain underexplored. Exploring these connections could initiate a novel and intriguing discourse on transforming textual descriptions into mineralogical images, a field that possesses considerable potential value. This study aims to generate mineral images from textual descriptions of specific attribute combinations, with the requirement that the generated images conform structurally and visually to the specified attribute features. To implement the text-to-image generation, we first built a dataset of paired image-text data from Mindat, covering 6114 mineral species and 10 attribute types. We then fine-tuned the stable diffusion model utilizing two approaches: full fine-tuning and Low-Rank Adaptation (LoRA). We further evaluated both the baseline model and the fine-tuned models under these two strategies. The results show that the fully fine-tuned model surpasses both the LoRA and baseline models in terms of FID, KID, and CLIPScore, indicating a higher degree of similarity between the generated images and real-world mineral images. A practical application tool has also been developed, capable of interactively generating mineral images based on user-defined combinations of mineral attributes. Despite certain limitations, this tool provides an intuitive and controllable visual reference for mineralogists, enthusiasts, and science popularization educators, facilitating the inference of mineral visual characteristics from their intrinsic attributes.
Yazarların özeti; kaynağından alınmıştır. Earth Science Informatics, 2026 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Makine Mühendisliği
Mechanical EngineeringEngineering