מדריך LoRA Training
אימון מודלים לדמויות ו-Styles

מה זה LoRA? Mode 2 — Beginner

LoRA, קיצור של Low-Rank Adaptation, היא טכניקת Fine-tuning שמאפשרת לאמן מודל AI ענק (כמו Stable Diffusion) על תמונות שלך — מבלי לשנות את כל המשקלות של המודל. התוצאה: קובץ קטן של 3–50MB שאפשר "לחבר" לכל מודל בסיס ולקבל תמונות עם הדמות, הסגנון, או האובייקט שאימנת.

האנלוגיה — ספר עם הערות שוליים

דמיין ספר ענק של 7GB (המודל הבסיסי). Full Fine-tuning = לכתוב ספר חדש לגמרי מאפס. LoRA = להוסיף הערות שוליים לשולי הדפים — קובץ קטן שמציין: "כשמדובר בדמות הזאת, שנה את הפלט כך וכך". המודל המקורי נשאר שלם, אבל עכשיו הוא "זוכר" את הדמות שלך.

למה LoRA ולא Full Fine-tuning?

גישה	GPU RAM	זמן אימון	גודל קובץ
Full Fine-tuning	24GB+	24+ שעות	7GB
LoRA	6–8GB	1–3 שעות	3–50MB
QLoRA (Quantized)	4–6GB	2–4 שעות	3–20MB

מה אפשר לאמן עם LoRA?

• דמויות (Face/Character LoRA) — פנים ספציפיות שיופיעו בכל סצנה שרצונך
• סגנונות (Style LoRA) — אסתטיקה של אמן, anime style, צילום ספציפי, וינטאג' ועוד
• אובייקטים (Object LoRA) — מוצר, לוגו, רכב, פריט לבוש
• מושגים (Concept LoRA) — פוזות ספציפיות, תאורה, composition מיוחד

איך LoRA עובד? Mode 4 — Deep Concept

כדי להבין LoRA צריך להבין את הרעיון של מטריצות Low-Rank. כשמודל AI לומד, הוא שומר את "הידע" בתוך מטריצות ענקיות של מספרים (Weights). Full Fine-tuning = לשנות את כולן. LoRA = לשנות קירוב זול של אותן מטריצות.

המתמטיקה מאחורי LoRA — A × B במקום W

במקום לשנות את המטריצה המלאה W (גדולה מאוד), LoRA מוסיפה שתי מטריצות קטנות: A ו-B. המכפלה A × B מקרבת את השינוי הרצוי תוך שמירה על ממד נמוך (Low-Rank). ה-W המקורי נשאר קפוא — רק A ו-B מתעדכנים.

Original Layer W (עצום — עשרות מיליוני פרמטרים)
         ↓
W_frozen + (A × B) = W_new
        (3MB LoRA בלבד)

דוגמה מספרית:
  W  = מטריצה 1024 × 1024 = ~4,000,000 פרמטרים
  A  = מטריצה 1024 × 16   =    16,384  פרמטרים
  B  = מטריצה 16   × 1024 =    16,384  פרמטרים
  LoRA סך הכל = 32,768 במקום 4,000,000 (פחות מ-1%!)

Rank (r) — כמה "חכמה" ה-LoRA?

פרמטר ה-Rank קובע את הממד של המטריצות A ו-B. ערכים נפוצים: 4, 8, 16, 32, 64. ככל שה-Rank גדול יותר — ה-LoRA מסוגלת ללמוד יותר, אבל גם גדולה יותר ועלולה ל-overfit על ה-dataset.

Rank	גודל קובץ	מתאים ל	סיכון
r=4	~3MB	Style קל, Flux.1	Underfitting
r=8	~6MB	Style בינוני, אובייקטים	נמוך
r=16	~12MB	דמות / Style מורכב	נמוך–בינוני
r=32	~24MB	דמות עם פרטים רבים	Overfitting בקל
r=64	~48MB	מקרים מיוחדים בלבד	גבוה

Alpha — יחס הלמידה

פרמטר ה-Alpha קובע כמה חזק ה-LoRA "משפיע" על המודל במהלך האימון. הנוסחה הפנימית: weight = alpha / rank. Best practice מקובל: alpha = rank / 2. לדוגמה עם r=16, השתמש alpha=8 (weight=0.5).

Network Dimension vs Alpha — ההבדל המעשי

ב-Kohya SS, "Network Dimension" = Rank. "Network Alpha" = Alpha. הגדרת Alpha=Rank (למשל r=16, alpha=16) נותנת weight=1.0 — חזק יותר אבל פחות יציב. Alpha נמוך מה-Rank (alpha=rank/2 עד alpha=rank/4) הוא הגישה היציבה יותר.

איפה LoRA מוחלת — UNet Attention Layers

LoRA לא מוחלת על כל שכבות המודל. היא מתמקדת ב-Attention Layers של ה-UNet — אלה השכבות שאחראיות על "הבנה" של ה-prompt ויצירת הקשרים בין חלקי התמונה. הסיבה שהיא עובדת: רוב המידע החזותי הגנרי כבר "מוכן" בשכבות הקונבולוציה הקפואות.

הכנת Dataset Mode 3 — Curriculum

איכות ה-Dataset היא הגורם הכי חשוב להצלחת ה-LoRA. תמונות גרועות = LoRA גרועה, גם עם ההגדרות הכי טובות. שלב ההכנה הוא לרוב הקשה ביותר.

כמה תמונות צריך?

• דמות (Face LoRA): 20–30 תמונות באיכות גבוהה
• סגנון (Style LoRA): 50–100 תמונות מייצגות
• אובייקט: 15–25 תמונות מזוויות שונות
• מושג מופשט: 30–50 תמונות דוגמה

דרישות לתמונות

• רזולוציה: לפחות 512×512 פיקסל, עדיף 768×768 ומעלה עבור SDXL
• רקעים: מגוון — לא כולן עם אותו רקע לבן
• זוויות: תמונות מכיוונים שונים — פרונטל, צדדי, שלושה-רבעים
• תאורה: תנאי תאורה שונים — טבעית, מלאכותית, דרמטית, רכה
• ביטויים (לדמויות): חיוך, רציני, צוחק, מפתיע — גיוון עוזר
• פורמט: JPG או PNG, ללא watermarks, ללא text overlays

Caption Writing — תיאור כל תמונה

כל תמונה ב-Dataset צריכה קובץ TXT תואם עם caption מדויק. ה-Caption מלמד את ה-LoRA מה לקשר ל-trigger word שלך ומה כבר ידוע מהמודל הבסיסי. ככל שה-caption מדויק יותר, כך ה-LoRA לומדת בצורה נקייה יותר.

כלים ל-Auto-Captioning

• WD14 Tagger — מוסיף tags אוטומטי לתמונות anime ו-illustration. מהיר ומדויק לאיורים
• BLIP2 — יוצר תיאורים בשפה טבעית לתמונות פוטוריאליסטיות
• CLIP Interrogator — ממפה תמונה ל-prompt-style description
• Florence-2 — מודל חדש ומדויק מאוד (2024), מומלץ כ-default

Trigger Word — המפתח לדמות שלך

ה-Trigger Word הוא מילה ייחודית ב-prompt שמפעילה את ה-LoRA. חשוב שתהיה נדירה ולא מילה שהמודל כבר מכיר ומקשר לאחר.

• לדמות: ohwx man, sks woman, xyz person
• לסגנון: style_myname, paintby_artist artstyle
• לאובייקט: myobj_thing, unique_productname

מבנה תיקיות Dataset

dataset/
├── 20_ohwx_man/                   ← "20" = repeats, "ohwx_man" = class name
│   ├── photo001.jpg
│   ├── photo001.txt               ← "ohwx man, portrait, white background, looking at camera"
│   ├── photo002.jpg
│   ├── photo002.txt               ← "ohwx man, outdoor, smiling, casual clothing, sunny day"
│   ├── photo003.jpg
│   ├── photo003.txt               ← "ohwx man, side profile, studio lighting, dark background"
│   └── ... (סך הכל 20-30 זוגות)
└── regularization/                ← אופציונלי — תמונות "גבר כלשהו" למניעת drift
    ├── reg001.jpg
    ├── reg001.txt                 ← "a man, portrait, photorealistic"
    └── ...

אימון עם Kohya SS Mode 4 — Technical

Kohya SS הוא הכלי הנפוץ ביותר לאימון LoRA. יש לו GUI נוח ותמיכה ב-SDXL, SD 1.5, ו-Flux.1. ניתן להריץ לוקלית או ב-Google Colab.

אפשרויות התקנה

• Windows (GPU Nvidia): הורד מ-GitHub, הרץ setup.bat, פתח עם gui.bat
• Mac (MPS / CPU): הרץ setup.sh, תמיכה מוגבלת — אימון איטי מאוד, עדיף Colab
• Google Colab (חינם): קיימים Notebooks מוכנים — מהיר ונוח, מגבלת זמן
• RunPod / Vast.ai: GPU ענן — ~$0.20–0.80 לשעה, ללא מגבלת זמן

הגדרות חשובות ב-Kohya GUI

הגדרה	ערך מומלץ (דמות)	הסבר
Base Model	SDXL 1.0 / Flux.1-dev	המודל שעליו מאמנים
LoRA Rank (network_dim)	16	גודל מטריצות A,B
Alpha	8	עוצמת ה-LoRA (rank/2)
Learning Rate (UNet)	1e-4	0.0001 — קצב למידת UNet
Learning Rate (Text Encoder)	5e-5	0.00005 — שמרני יותר
Epochs	10–15	מספר מעברים על ה-Dataset
Batch Size	1–2	תמונות במקביל (1 ל-6GB GPU)
Noise Offset	0.1	שיפור ניגודיות וצבע בפלט
Optimizer	AdamW8bit	יעיל בזיכרון GPU
LR Scheduler	cosine_with_restarts	ירידה חלקה בקצב הלמידה
Save every N epochs	5	שמירת checkpoints לבדיקה

הרצה ישירה עם Kohya Script

accelerate launch train_network.py \
  --pretrained_model_name_or_path="stabilityai/stable-diffusion-xl-base-1.0" \
  --dataset_config=dataset.toml \
  --output_dir="./lora_output" \
  --output_name="my_character" \
  --network_module=networks.lora \
  --network_dim=16 \
  --network_alpha=8 \
  --learning_rate=1e-4 \
  --unet_lr=1e-4 \
  --text_encoder_lr=5e-5 \
  --optimizer_type="AdamW8bit" \
  --lr_scheduler="cosine_with_restarts" \
  --lr_warmup_steps=100 \
  --noise_offset=0.1 \
  --max_train_epochs=15 \
  --save_every_n_epochs=5 \
  --save_model_as=safetensors \
  --mixed_precision=fp16 \
  --gradient_checkpointing \
  --xformers

קובץ dataset.toml

[general]
shuffle_caption = true
caption_extension = ".txt"
keep_tokens = 1          # trigger word תמיד ראשון

[[datasets]]
resolution = 1024        # עבור SDXL (512 עבור SD 1.5)
batch_size = 1

  [[datasets.subsets]]
  image_dir = "./dataset/20_ohwx_man"
  class_tokens = "ohwx man"
  num_repeats = 20

  # Regularization — אופציונלי
  [[datasets.subsets]]
  image_dir = "./dataset/regularization"
  class_tokens = "a man"
  num_repeats = 1
  is_reg = true

שימוש ב-LoRA Mode 4 — Practical

לאחר שהאימון הסתיים, קיבלת קובץ .safetensors. עכשיו אפשר לטעון אותו בכל ממשק ולהתחיל ליצור תמונות.

טעינה ב-ComfyUI

ב-ComfyUI מוסיפים Load LoRA node בין ה-Checkpoint Loader ל-KSampler:

Checkpoint Loader
      ↓ model + clip
 Load LoRA Node
  ├── lora_name: my_character.safetensors
  ├── strength_model: 0.8
  └── strength_clip:  0.8
      ↓ model + clip
CLIP Text Encode → KSampler → VAE Decode → תמונה

טעינה ב-Automatic1111 (A1111)

בשדה ה-Prompt הוסף את ה-LoRA syntax ישירות:

# Syntax בסיסי:
<lora:שם_קובץ_LoRA_ללא_סיומת:עוצמה>

# דוגמה לדמות:
ohwx man wearing a spacesuit, professional photo, 4k <lora:my_character:0.8>

# דוגמה לסגנון אמנותי:
a serene landscape <lora:monet_style:0.6>

# שילוב שני LoRAs:
ohwx man in anime style, vibrant colors <lora:my_character:0.7> <lora:anime_xl:0.5>

עוצמת LoRA — Strength Guide

סוג LoRA	טווח מומלץ	הערה
דמות (Face)	0.7–1.0	גבוה מדי מ-1.0 = עיוותים
סגנון (Style)	0.3–0.7	נמוך = מיזוג עדין עם הסגנון
אובייקט	0.6–0.9	תלוי בבולטות האובייקט
LoRA שנייה (Stack)	כ-0.1 פחות מהראשון	למנוע קונפליקט בין LoRAs

Python עם diffusers

from diffusers import StableDiffusionXLPipeline
import torch

# טעינת המודל הבסיסי
pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
    use_safetensors=True
).to("cuda")

# טעינת ה-LoRA
pipe.load_lora_weights(
    "./loras/my_character.safetensors",
    adapter_name="character"
)

# הגדרת עוצמה
pipe.set_adapters(["character"], adapter_weights=[0.8])

# יצירת תמונה
image = pipe(
    prompt="ohwx man wearing a spacesuit, professional photo, 4k, detailed",
    negative_prompt="blurry, low quality, distorted face, extra limbs",
    num_inference_steps=30,
    guidance_scale=7.5,
    width=1024,
    height=1024,
).images[0]

image.save("output.png")
print("נשמר בהצלחה!")

Stacking LoRAs — שילוב כמה LoRAs יחד

# Python — טעינת שתי LoRAs יחד
pipe.load_lora_weights("./loras/character.safetensors", adapter_name="char")
pipe.load_lora_weights("./loras/style.safetensors",     adapter_name="style")

# הגדרת עוצמות לכל אחת
pipe.set_adapters(["char", "style"], adapter_weights=[0.8, 0.5])

# prompt עם trigger words של שתיהן:
# "ohwx man in style_myname artstyle, ..."

פתרון בעיות נפוצות

Overfitting — הדמות שוברת פרופורציות

תסמינים: תמונות נראות "נעולות" מדי על ה-training data, רקעים מוזרים שחוזרים, פרצופים מעוותים בזוויות לא ראשיות, חוסר גמישות ב-prompt.

• הפחת epochs — נסה epoch 8–10 במקום 15
• הוסף Regularization Images (200–500 תמונות של "גבר כלשהו")
• הפחת את Learning Rate ל-5e-5
• הקטן את ה-Rank — נסה r=8 במקום r=16
• גדל את ה-Dataset עם תמונות מגוונות יותר

Underfitting — הדמות לא נראית נכון

תסמינים: ה-trigger word לא מייצר את הדמות, הפנים שונות מהמקור, ה-LoRA נראית "חלשה" גם בעוצמה גבוהה.

• הגדל epochs — נסה 15–20
• בדוק את ה-captions — האם ה-trigger word מופיע בכולם?
• הגדל את Learning Rate ל-2e-4
• הוסף תמונות Dataset — לפחות 20 תמונות לדמות
• בדוק ש-keep_tokens=1 מוגדר (trigger word ראשון)

Style Bleeding — ה-LoRA "נדבק" לכל תמונה

תסמינים: גם ללא ה-trigger word, המודל מייצר תמונות שנראות כמו האימון. הסגנון/דמות "דולפים" לכל הפלטים.

• השתמש ב-trigger word ספציפי יותר בכל ה-captions
• הפחת את עוצמת ה-LoRA בשימוש ל-0.5–0.6
• הוסף יותר Regularization Images
• בדוק ש-shuffle_caption=true מופעל
• הקטן את מספר ה-Repeats (מ-20 ל-10)

OOM — Out of Memory

תסמינים: שגיאת CUDA out of memory מיד בתחילת האימון. ה-GPU לא מסוגל להחזיק את כל מה שצריך בזיכרון.

• הפחת batch size ל-1
• הפעל --gradient_checkpointing (חוסך 30–40% VRAM)
• הוסף --xformers לכרטיסי Nvidia
• עבוד עם רזולוציה 768 במקום 1024
• השתמש ב---mixed_precision=fp16 או bf16
• נסה Colab Pro עם A100 — 40GB VRAM ללא מגבלות

פרויקטים Mode 5 — Hands-On

ארבעה פרויקטים בסדר עולה של קושי — מהתחלה קלה ועד Workflow מורכב. כל אחד בונה על הקודם.

גיליון עזר — LoRA Quick Reference Mode 7 — Reference

הגדרות מומלצות לפי מטרה

מטרה	Rank	Alpha	UNet LR	TE LR	Epochs	תמונות
דמות (SDXL)	16	8	1e-4	5e-5	15	20–30
סגנון (SDXL)	8	4	5e-5	2e-5	10	50–100
דמות (Flux.1)	4	2	1e-4	—	10	20–25
סגנון (Flux.1)	4	4	5e-5	—	8	40–60
אובייקט (SDXL)	8	8	1e-4	5e-5	12	15–25

Trigger Word Best Practices

• השתמש ב-2–3 אותיות ייחודיות + מילה נפוצה: sks, ohwx, xyz
• הוסף class token: ohwx man, xyz woman, sks dog
• לסגנון — הוסף artstyle בסוף: myartist artstyle
• אל תשתמש בשמות של מפורסמים כ-trigger word — המודל מבלבל ביניהם
• הגדר keep_tokens=1 בקובץ TOML — trigger word תמיד ראשון ב-caption
• בדוק ב-Civitai מה trigger words נפוצים ל-LoRAs דומות

Dataset Checklist לפני האימון

• כל תמונה לפחות 512×512 פיקסל (עדיף 768+ לאימון SDXL)
• כל תמונה מלווה בקובץ .txt תואם (שם זהה, סיומת שונה)
• ה-trigger word מופיע בכל ה-captions
• אין תמונות מטושטשות, חתוכות, עם watermarks, או פילטרים חזקים
• גיוון ברקעים, זוויות ותאורה — לפחות 3 סוגים שונים
• שם תיקייה בפורמט: NUMBER_classname
• Regularization Images הוכנו (אופציונלי אך מומלץ לדמויות)
• GPU Driver ו-CUDA מעודכנים לפני הרצה

כלים מומלצים — Ecosystem

כלי	שימוש	מחיר
Kohya SS	אימון LoRA — הכלי העיקרי	חינם (Open Source)
ComfyUI	הרצת LoRA + Workflows	חינם (Open Source)
Automatic1111	ממשק פשוט לשימוש ב-LoRA	חינם (Open Source)
Civitai	שוק LoRAs + שיתוף קהילתי	חינם + פרימיום
RunPod	GPU ענן לאימון	$0.20–0.80/h
Google Colab	אימון חינמי עם מגבלות	חינם / Pro $9.99/m
Florence-2	Auto-captioning מדויק	חינם (HuggingFace)
WD14 Tagger	Auto-captioning לאיורים	חינם (HuggingFace)