Comment entraîner un modèle LoRA localement

Comment entraîner un modèle LoRA personnalisé localement avec Stable Diffusion et Flux

Réponse rapide

L'entraînement d'un modèle LoRA localement signifie affiner (fine-tuning) un modèle Stable Diffusion ou Flux sur vos propres images, en l'exécutant entièrement sur votre GPU — aucun service cloud, aucun abonnement, aucune donnée ne quittant votre machine.

Le processus prend de 3 à 5 heures pour un ensemble de données de 20 à 50 images sur un GPU moderne. Vous avez besoin de : un GPU compatible avec au moins 12 Go de VRAM, vos images d'entraînement en résolution 1024×1024, les fichiers du modèle de base Flux ou Stable Diffusion, et une application IA locale pour gérer le flux de travail.

Promptus : la meilleure application IA locale pour la génération visuelle

L'entraînement d'un custom LoRA localement vous donne quelque chose qu'aucun outil cloud ne peut offrir : un modèle entraîné sur votre sujet exact, s'exécutant de manière privée sur votre propre matériel, sans coût par génération et sans restrictions de contenu. Que vous souhaitiez apprendre à une IA à reproduire un style artistique spécifique, générer des personnages cohérents ou recréer un produit ou un visage, l'entraînement local de LoRA est la solution.

Ce guide couvre le processus complet pour l'entraînement de modèles LoRA à l'aide de Flux — actuellement l'architecture open-source la plus robuste pour l'entraînement local — s'exécutant sur votre propre GPU. Aucune configuration Python n'est requise si vous utilisez Promptus, qui gère automatiquement l'environnement.

Ce dont vous avez besoin avant de commencer : exigences matérielles et logicielles

L'entraînement d'un modèle LoRA localement nécessite un GPU NVIDIA compatible avec au moins 12 Go de VRAM pour l'entraînement basé sur Flux. Vous pouvez vous entraîner avec 8 Go de VRAM en utilisant des ensembles de données de résolution inférieure, mais attendez-vous à des temps d'entraînement plus longs et à des compromis sur la qualité. Les GPU AMD sont pris en charge via ROCm sur Linux mais nécessitent une configuration supplémentaire.

Exigences GPU

GPU	VRAM	Vitesse d'entraînement	Notes
RTX 4090 / 4080	24 Go / 16 Go	Le plus rapide — ~2,5 h	Recommandé pour l'entraînement complet de Flux
RTX 3090 / 3080	24 Go / 10 Go	Bon — ~4 h	La 3080 peut nécessiter une taille de lot (batch size) de 1
RTX 4070 / 3070	12 Go / 8 Go	Modéré — ~5 h	Utilisez le modèle Flux quantifié en FP8
RTX 4060 / 3060	8 Go	Lent — 6+ h	Réduisez la résolution des images à 768×768

Configuration logicielle

La façon la plus simple de configurer un environnement d'entraînement LoRA local est d'utiliser Promptus, qui installe toutes les dépendances — CUDA, Python, les nœuds d'entraînement et la gestion des modèles — en un seul téléchargement. Une configuration manuelle via Python est également possible mais nécessite Git et plusieurs étapes d'installation supplémentaires.

Promptus (Windows ou Mac) : installation en un clic, gère automatiquement toutes les dépendances.
Fichiers du modèle de base Flux (flux1-dev.safetensors ou la variante FP8 pour moins de VRAM).
Encodeurs de texte CLIP : clip_l.safetensors et t5xxl_fp8_e4m3fn.safetensors.
Fichier VAE : ae.safetensors.
Images d'entraînement : 20 à 50 images à une résolution de 1024×1024 (JPG ou PNG).

Comment préparer votre ensemble de données d'entraînement

La qualité de l'ensemble de données détermine la qualité du LoRA. Un ensemble de données mal préparé — des images avec un éclairage incohérent, des sujets mixtes ou une mauvaise résolution — produit un modèle qui génère des résultats incohérents ou flous. Consacrer du temps à la préparation de l'ensemble de données est la partie la plus rentable de tout le processus.

Directives de sélection des images

Utilisez 20 à 50 images de votre sujet. Moins de 20 images entraîne souvent un sous-apprentissage ; plus de 80 peut provoquer un surapprentissage (over-fitting) où le modèle mémorise au lieu d'apprendre.
Utilisez une résolution d'image cohérente. Toutes les images doivent faire 1024×1024 pixels. Recadrez et redimensionnez avant l'entraînement — les résolutions mixtes déroutent l'algorithme.
Variez la composition, pas le sujet. Utilisez différents angles, éclairages, arrière-plans et distances pour le même sujet. Cela apprend au modèle à généraliser, pas à mémoriser.
Supprimez les doublons et quasi-doublons. Deux images presque identiques comptent comme un seul point de données mais gaspillent des cycles d'entraînement.
Nommez votre mot de déclenchement (trigger word). Choisissez un mot unique qui activera votre LoRA dans les prompts — quelque chose de peu susceptible d'apparaître dans les requêtes standards, comme mysubject01 ou studioaxyz.

Rédiger les légendes des images (optionnel mais recommandé)

Le légendage de vos images d'entraînement apprend au modèle la relation entre les descriptions textuelles et le contenu visuel. Cela améliore la réactivité aux prompts dans votre LoRA final. Vous pouvez générer des légendes automatiquement à l'aide d'un flux de travail BLIP ou Florence, ou les écrire manuellement.

Chaque légende doit décrire l'image avec précision et inclure votre mot de déclenchement. Exemple : "mysubject01, une femme aux cheveux sombres portant une veste rouge, debout dans une forêt, éclairage naturel, photoréaliste."

Astuce : Le format des légendes compte

Placez le mot de déclenchement en premier dans chaque légende. Cela l'associe plus fortement au sujet. Des descriptions génériques de l'environnement, de l'éclairage et du style à la fin de chaque légende améliorent la flexibilité du LoRA à travers différents prompts.

Étape par étape : comment entraîner Stable Diffusion LoRA localement

Les étapes suivantes utilisent Promptus pour gérer l'environnement de travail. Si vous utilisez une configuration Python manuelle, les paramètres de l'entraîneur sont identiques — seule l'interface pour charger et exécuter le flux de travail diffère.

Ouvrez votre espace de travail et chargez la disposition. Accédez à l'onglet Workflows. Recherchez « LoRA trainer » ou « Flux trainer » dans la bibliothèque de flux de travail. Téléchargez le flux de travail d'entraînement Flux LoRA.
Installez les nœuds requis. Lorsque le flux de travail se charge, tous les nœuds manquants seront signalés automatiquement. Cliquez sur « Install Missing Nodes » et redémarrez l'environnement lorsque vous y êtes invité.
Définissez le chemin de votre ensemble de données. In le flux de travail de l'entraîneur, trouvez le champ Dataset Path et pointez-le vers le dossier contenant vos images d'entraînement. Utilisez le chemin complet, pas un chemin relatif — cela évite l'erreur d'entraînement la plus courante.
Configurez votre nom de sortie. Définissez un nom mémorable pour votre fichier LoRA. Cela devient le nom du fichier (par exemple, mystyle_v1.safetensors) et doit refléter le sujet ou le style que vous entraînez.
Connectez le modèle Flux. Dans le flux de travail, liez votre modèle flux1-dev.safetensors au nœud du chargeur de modèle. Connectez également les encodeurs CLIP et la VAE à leurs nœuds respectifs. Si les connexions apparaissent sous forme de lignes pointillées rouges, un fichier de modèle est manquant dans le dossier attendu.
Définissez les étapes d'entraînement (steps). Pour un ensemble de données de 30 images, 1 500 à 2 000 étapes est un bon point de départ. Plus d'étapes augmente le temps d'entraînement mais peut améliorer la qualité jusqu'à un certain point — au-delà d'environ 3 000 étapes pour les petits ensembles de données, la qualité se dégrade généralement en raison du surapprentissage.
Définissez le taux d'apprentissage (learning rate). Laissez la valeur par défaut (généralement 0,0001 ou 1e-4) pour votre première session. Ne l'ajustez qu'après avoir examiné vos premiers résultats.
Cliquez sur Run. L'entraînement va commencer. Vous verrez la progression des étapes, les valeurs de perte (loss) et des images d'aperçu à intervalles réguliers.

Ce qu'il faut surveiller pendant l'entraînement

La perte d'entraînement (training loss) doit diminuer régulièrement au cours des premiers 30-40% d'étapes, puis se stabiliser. Une perte qui diminue constamment sans jamais se stabiliser signifie généralement un sous-apprentissage — augmentez vos étapes. A l'inverse, une perte qui chute très rapidement puis commence à augmenter signifie un surapprentissage — réduisez vos étapes ou augmentez la taille de votre ensemble de données.

Les images d'aperçu devraient commencer à ressembler à votre sujet vers l'étape 800 - 1 000 pour un ensemble de données de 30 images. Si elles semblent complètement aléatoires à l'étape 1 500, vérifiez que le chemin de votre ensemble de données est correct et que les légendes se chargent correctement.

Comment tester votre LoRA entraîné après la fin de l'entraînement

Lorsque l'entraînement est terminé, le fichier LoRA (un fichier .safetensors, généralement de 50 à 200 Mo) est enregistré à l'emplacement de sortie que vous avez spécifié. Chargez-le dans un flux de travail standard de génération d'images pour le tester.

Chargez le générateur central. Ouvrez un flux de travail de texte-à-image basique à l'intérieur de l'environnement de votre application locale.
Appliquez le correctif (patch). Ajoutez un nœud de chargement LoRA (LoRA loader) et pointez-le vers votre fichier fraîchement entraîné.
Ajustez les paramètres de poids. Définissez la force du LoRA à 0,8 comme point de départ. Les valeurs proches de 1,0 appliquent le LoRA plus fortement ; les valeurs proches de 0,4 - 0,5 le mélangent plus subtilement avec le modèle de base.
Rédigez un prompt de test en utilisant votre mot de déclenchement. Utilisez la structure : [mot de déclenchement], [description du résultat souhaité]. Testez avec 3 ou 4 prompts différents pour évaluer la réactivité du LoRA.
Évaluez les performances. Comparez les résultats avec le LoRA activé et désactivé. Votre sujet ou style doit être clairement visible lorsqu'il est activé, et absent lorsqu'il est désactivé.

Si les résultats ne correspondent pas à vos attentes, les problèmes les plus courants sont : une force de LoRA trop faible (augmentez à 0,9 - 1,0), le mot de déclenchement absent du prompt (ajoutez-le explicitement au début) ou un sous-apprentissage (réentraînez avec plus d'étapes ou un ensemble de données plus grand).

Dépannage : le LoRA n'apparaît pas ou ne fonctionne pas

Le fait que le LoRA n'apparaisse pas dans vos résultats de génération est le problème d'entraînement le plus fréquemment signalé. Il a presque toujours l'une des quatre causes suivantes.

Le fichier LoRA n'est pas dans le bon dossier

Le chargeur LoRA recherche les fichiers dans un répertoire spécifique — généralement models/loras/. Si votre fichier entraîné est enregistré ailleurs, il n'apparaîtra pas dans le sélecteur LoRA. Déplacez le fichier .safetensors dans le bon dossier loras et actualisez la liste des fichiers.

Mot de déclenchement manquant dans le prompt

Si vous avez effectué l'entraînement avec des légendes qui incluent un mot de déclenchement, ce mot doit apparaître dans votre prompt de génération pour que le LoRA s'active correctement. Sans le mot de déclenchement, le LoRA peut sembler n'avoir aucun effet ou produire des résultats incohérents. Ajoutez votre mot de déclenchement exact au début du prompt.

Force du LoRA réglée trop bas

Une force de LoRA inférieure à 0,5 peut produire des résultats identiques au modèle de base, sans application du LoRA. Essayez d'augmenter la force à 0,8 - 1,0 avant de conclure que le LoRA n'a pas été entraîné correctement.

Incompatibilité d'architecture de modèle

Les LoRA entraînés sur des modèles Flux doivent être utilisés avec des modèles Flux. Un LoRA entraîné sur Flux ne peut pas être chargé dans un flux de travail Stable Diffusion 1.5 ou SDXL — les architectures sont incompatibles. Confirmez que le modèle de base dans votre flux de travail de génération correspond au modèle de base utilisé pendant l'entraînement.

Liste de vérification rapide : LoRA n'apparaît pas

Emplacement du fichier : Votre fichier .safetensors est-il bien dans le dossier models/loras/ ?
Mot de déclenchement : Votre mot de déclenchement est-il présent au début de votre prompt ?
Force : La force du LoRA est-elle réglée sur au moins 0,7 ?
Correspondance du modèle : Chargez-je le LoRA sur le même type de modèle que celui utilisé pour l'entraînement ?
Actualisation : Avez-vous rafraîchi la liste des fichiers LoRA après avoir ajouté le fichier ?

Questions fréquemment posées

Combien de temps prend l'entraînement d'un modèle LoRA localement ?

Le temps d'entraînement dépend de votre GPU, de la taille de votre ensemble de données et du nombre d'étapes d'entraînement. Sur une RTX 4090, l'entraînement d'un ensemble de données de 30 images à 2 000 étapes prend environ 2,5 à 3 hours. Sur une RTX 3080, comptez 4 à 5 heures pour le même ensemble de données. Les GPU bas de gamme (RTX 3060/4060 avec 8 Go de VRAM) peuvent prendre plus de 6 heures. L'entraînement s'exécute en arrière-plan et ne requiert pas votre attention active.

Puis-je entraîner un LoRA hors ligne sans connexion Internet ?

Oui. Une fois les fichiers du modèle de base et le logiciel d'entraînement téléchargés, tout l'entraînement LoRA s'exécute entièrement localement sur votre GPU sans qu'aucune connexion Internet ne soit requise. Aucun prompt, image ou donnée de modèle n'est envoyé à un serveur. C'est l'un des principaux avantages de l'entraînement local par rapport aux services de fine-tuning basés sur le cloud.

De combien d'images ai-je besoin pour entraîner un LoRA ?

L'ensemble de données minimal efficace pour un LoRA est d'environ 15 à 20 images. En dessous, le modèle est généralement sous-entraîné et produit des résultats inconsistants. La plage optimale est de 25 à 50 images — variées en termes d'angle, d'éclairage et de composition, mais cohérentes quant au sujet. Au-delà de 80 images, vous constaterez souvent des rendements décroissants, à moins que l'ensemble de données ne soit hautement diversifié.

Quelle est la différence entre l'entraînement sur Flux vs Stable Diffusion 1.5 ?

Flux est une architecture plus récente et de qualité supérieure qui produit des résultats plus photoréalistes et respecte mieux les prompts complexes. Les LoRA Flux nécessitent plus de VRAM (minimum 12 Go recommandé) et des temps d'entraînement plus longs. Les LoRA Stable Diffusion 1.5 peuvent être entraînés sur 6 à 8 Go de VRAM et s'entraînent plus rapidement, mais produisent une résolution inférieure et des résultats moins réalistes. Pour les nouveaux projets d'entraînement, Flux est le choix recommandé si votre matériel le prend en charge.

Pourquoi mon LoRA entraîné ne ressemble-t-il pas à mes images d'entraînement ?

Les raisons les plus courantes pour lesquelles un LoRA ne correspond pas à ses données d'entraînement sont : des étapes d'entraînement insuffisantes (sous-apprentissage), un mot de déclenchement manquant ou incorrect dans le prompt, une force de LoRA réglée trop bas ou un ensemble de données présentant trop de variations d'une image à l'autre. Commencez par augmenter les étapes d'entraînement à 2 500 - 3 000, assurez-vous que votre mot de déclenchement est dans le prompt et réglez la force du LoRA sur 0,85 - 1,0.

Puis-je exécuter l'entraînement LoRA sur un Mac ?

Oui. L'entraînement LoRA sur les puces Apple Silicon (M1, M2, M3, M4) est pris en charge en utilisant le backend MPS au lieu de CUDA. L'entraînement est nettement plus lent sur Apple Silicon par rapport à un GPU NVIDIA comparable, mais pleinement fonctionnel. Attendez-vous à des temps d'entraînement environ 2 à 3 fois plus longs qu'avec une carte NVIDIA RTX équivalente. Promptus prend en charge l'entraînement sur Mac sans configuration supplémentaire.

En fin de compte : l'entraînement LoRA local en vaut la peine

L'entraînement d'un modèle LoRA personnalisé en local vous donne quelque chose qu'aucun service cloud ne peut fournir : un modèle qui vous appartient entièrement, entraîné sur vos données, s'exécutant sur votre propre matériel, sans coût récurrent et sans aucune restriction sur ce que vous pouvez entraîner. Cet investissement initial en temps de configuration est rentabilisé par des générations illimitées à partir d'un modèle conçu précisément pour vos besoins.

Le moyen le plus rapide de commencer est de télécharger Promptus, qui installe l'environnement complet d'entraînement local en une seule étape — modèles, nœuds et flux de travail inclus. À partir de là, les étapes de ce guide s'appliquent directement, sans aucune ligne de commande requise.

Prenez le contrôle total de votre écosystème génératif. Construisez des correctifs spécialisés de manière privée, sécurisée et complètement hors ligne sur votre propre machine.

Essayer Promptus Gratuitement →