Vés al contingut

Fitxer:Demonstration of DreamBooth AI model fine-tuning for Stable Diffusion using Jimmy Wales training data from Wikimedia Commons.png

El contingut de la pàgina no s'admet en altres llengües.
De la Viquipèdia, l'enciclopèdia lliure

Fitxer original ‎(2.304 × 2.048 píxels, mida del fitxer: 5,14 Mo, tipus MIME: image/png)

Descripció a Commons

Resum

Descripció

Demonstration of the use of DreamBooth to fine-tune a text-to-image diffusion model (in this particular case, Stable Diffusion) so that it can algorithmically generate highly specialised and customised image outputs. This demonstration features six output images of Jimmy Wales, founder of Wikipedia, performing bench press exercises at a fitness gym.

Procedure/Methodology

The model checkpoint was fine-tuned in DreamBooth using 38 different free-licence images of Jimmy Wales obtained from Category:Jimmy Wales on Wikimedia Commons, using Stable Diffusion V1-5 as the base model checkpoint to be trained. Specifically, the following images were used as training data:

Using d8ahazard's DreamBooth_V2 fork of Stable Diffusion web UI created by AUTOMATIC1111, a new model based on Stable Diffusion V1-5 (sd-v1-5-pruned-emaonly.ckpt) was created with "pndm" selected as the scheduler, and the following options were chosen:

  • Initialisation text: photo of jimmywalesstare man
  • Classification text: photo of a man
  • Learning rate: 0.000005
  • Total number of classification images to use: 50
  • Training steps: 4000
  • Batch size: 1
  • Class batch size: 1
  • Seed: -1
  • Resolution: 512
  • Save a checkpoint every N steps: 500

The model was then subsequently trained using the 38 images listed earlier. The DreamBooth training process, along with the image generation process outlined later below, was performed using an NVIDIA RTX 4090; since Ada Lovelace chipsets (using compute capability 8.9, which requires CUDA 11.8) are not fully supported by the pyTorch dependency libraries currently used by Stable Diffusion, I've used a custom build of xformers, along with pyTorch cu116 and cuDNN v8.6, as a temporary workaround.

After completion of the training of the new model, a batch of 768x1024 images were generated with txt2img in Stable Diffusion, using the model checkpoint taken at 1000 training steps, and with the following prompts:

Prompt: photo of jimmywalesstare man at the (gym) performing (bench press), muscular body, athletic body, Nikon D7500, 4K, sharp focus, photorealistic high-quality, volumetric lighting, close-up, detailed face

Negative prompt: (((multiple people))), (((out of frame))), (((no face))), ((deformed hands)), extra limbs, ((ugly)), (((deformed))), ((bad anatomy)), ((mangled)), (((censored))), (blurry), (((distorted face))), mutation, amputee, hugging, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, broken body, mutated, extra hands, extra feet, extra arms, extra legs, multiple views, lowres

Settings: Steps: 100, Sampler: DPM2 a, CFG scale: 12, Size: 768x1024, Highres. fix, Upscale latent space off, Denoising strength: 0.7

The final images were taken from this generated batch.
Data
Font Treball propi
Autor Benlisquare
Permís
(Com reutilitzar aquest fitxer)
Output images

As the creator of the output images, I release this image under the licence displayed within the template below.

Stable Diffusion AI model

The Stable Diffusion AI model is released under the CreativeML OpenRAIL-M License, which "does not impose any restrictions on reuse, distribution, commercialization, adaptation" as long as the model is not being intentionally used to cause harm to individuals, for instance, to deliberately mislead or deceive, and the authors of the AI models claim no rights over any image outputs generated, as stipulated by the license.

DreamBooth

The Stable Diffusion implementation of DreamBooth by XavierXiao, of which d8ahazard's DreamBooth_V2 fork of the Stable Diffusion web UI is based on, is licenced under the MIT License.

Training data used to create the customised model checkpoint
All 38 images used to train the model via DreamBooth were free-licence images obtained from Wikimedia Commons. For detailed licencing information, refer to the file descriptions of each individual image.

Llicència

Jo, el titular dels drets d'autor d'aquest treball, el public sota les següents llicències:
w:ca:Creative Commons
reconeixement compartir igual
This file is licensed under the Creative Commons Attribution-Share Alike 4.0 International license.
Sou lliure de:
  • compartir – copiar, distribuir i comunicar públicament l'obra
  • adaptar – fer-ne obres derivades
Amb les condicions següents:
  • reconeixement – Heu de donar la informació adequada sobre l'autor, proporcionar un enllaç a la llicència i indicar si s'han realitzat canvis. Podeu fer-ho amb qualsevol mitjà raonable, però de cap manera no suggereixi que l'autor us dóna suport o aprova l'ús que en feu.
  • compartir igual – Si modifiqueu, transformeu, o generareu amb el material, haureu de distribuir les vostres contribucions sota una llicència similar o una de compatible com l'original
GNU head S'autoritza la còpia, la distribució i la modificació d'aquest document sota els termes de la llicència de documentació lliure GNU versió 1.2 o qualsevol altra versió posterior que publiqui la Free Software Foundation; sense seccions invariants, ni textos de portada, ni textos de contraportada. S'inclou una còpia d'aquesta llicència en la secció titulada GNU Free Documentation License.
Podeu seleccionar la llicència que vulgueu.

Llegendes

Afegeix una explicació d'una línia del que representa aquest fitxer

Elements representats en aquest fitxer

representa l'entitat

Historial del fitxer

Cliqueu una data/hora per veure el fitxer tal com era aleshores.

Data/horaMiniaturaDimensionsUsuari/aComentari
actual12:35, 8 ago 2023Miniatura per a la versió del 12:35, 8 ago 20232.304 × 2.048 (5,14 Mo)Obscure2020Optimized with OxiPNG and ZopfliPNG.
20:47, 4 nov 2022Miniatura per a la versió del 20:47, 4 nov 20222.304 × 2.048 (6,04 Mo)Benlisquare{{Information |Description=Demonstration of the use of DreamBooth to fine-tune a text-to-image diffusion model (in this particular case, Stable Diffusion) so that it can algorithmically generate highly specialised and customised image outputs. This demonstration features six output images of Jimmy Wales, founder of Wikipedia, performing bench press exercises...

La pàgina següent utilitza aquest fitxer:

Ús global del fitxer

Utilització d'aquest fitxer en altres wikis:

Obtingut de «https://ca.wikipedia.org/wiki/Fitxer:Demonstration_of_DreamBooth_AI_model_fine-tuning_for_Stable_Diffusion_using_Jimmy_Wales_training_data_from_Wikimedia_Commons.png»