⚡️ Кратко: ключевые факты и быстрый ответ
- Короткий ответ: под узкую предметную область в 2026 году почти всегда хватает LoRA или QLoRA — полное дообучение оправдано редко и только при смене домена целиком.
- QLoRA держит базовые веса в 4-битном формате NF4 и обучает адаптер ранга 8–64: 70B-модель запускается на одном GPU с 48 ГБ VRAM, а потребление памяти падает примерно вчетверо.
- Начинайте с 500–1000 размеченных примеров в JSONL, но перед этим проверьте промпт и RAG: знания из документов дешевле подтягивать поиском, чем переобучением.
- Подводный камень: LoRA не вливает в модель свежие факты из базы знаний, а завышенный ранг на маленьком датасете даёт переобучение и забывание базовых навыков.
- Промпт, RAG или дообучение: как выбрать под задачу
- Как работает LoRA: замороженные веса и низкоранговые матрицы
- QLoRA: 4-битная квантизация NF4 и запуск на одной видеокарте
- Сравнение LoRA, QLoRA и полного дообучения в цифрах
- Датасет под узкую предметную область: формат и разметка
- Пошаговый конфиг обучения: Unsloth, bitsandbytes и Hugging Face
- Оценка адаптера и борьба с забыванием базовых знаний
- SFT, DPO и RFT: какой подход к обучению выбрать
- Инженерная безопасность: маскирование данных и контуры изоляции
- Частые ошибки и чек-лист внедрения дообучения
- Часто задаваемые вопросы (FAQ)
- Промпт, RAG или LoRA — с чего вообще начинать?
- Хватит ли одной видеокарты? Сколько памяти реально нужно под 7B и 70B?
- Какой ранг и alpha выбрать и сколько примеров нужно?
- Как понять, что адаптер выучил предметную область, а не зазубрил датасет?
- SFT, DPO или RFT — что брать, и когда всё-таки нужно полное дообучение?
- 💡 В сухом остатке: главное
Промпт, RAG или дообучение: как выбрать под задачу
Коротко: промпт — когда нужно поведение здесь и сейчас, RAG — когда знания часто меняются, дообучение через LoRA — когда нужен устойчивый формат, стиль или логика на сотнях однотипных примеров.
Дальше — четыре критерия, которые на практике отсекают лишние варианты быстрее любых схем. Проверяйте их по порядку, от первого к четвёртому.
Критерий 1. Формат ответа. Если модель в целом понимает задачу, но «съезжает» в структуре — то лишний абзац, то не тот JSON, то разная длина — это не проблема знаний. Промпт с жёстким шаблоном и парой примеров закрывает процентов восемьдесят таких случаев. Остаток добивается дообучением: LoRA отлично впитывает повторяющийся паттерн ответа.
Критерий 2. Объём знаний. Тут работает простое правило: факты, которых нет в весах, промптом не вбить. Сотня страниц регламентов в контексте — ещё реально, тысяча — уже дорого и медленно. RAG подставляет нужные куски документов в момент запроса, а LoRA меняет саму манеру рассуждать и оформлять вывод.
💡 Инсайт: связка «RAG + LoRA» часто сильнее любого одиночного метода. Адаптер учит модель вашей терминологии и формату, поиск подкидывает свежие цифры. Каждый инструмент делает то, что умеет лучше.
Критерий 3. Частота обновления данных. Меняются цены, тарифы, ассортимент раз в неделю — только поиск по документам, переобучать адаптер каждые семь дней бессмысленно. Стабильные вещи вроде корпоративного тона, классификации обращений, разбора медицинских заключений живут годами и стоят одного обучения.
Критерий 4. Бюджет на железо. Это то, что чаще всего пугает зря. Полное дообучение крупной модели требует кластера, а QLoRA с 4-битной квантизацией снижает потребление памяти примерно вчетверо — модель на 70B дообучается на одном ускорителе с 48 ГБ памяти. Подробный разбор методик и цифр есть в материале по LoRA, QLoRA и полному дообучению.
| Критерий | Промпт | RAG | LoRA |
|---|---|---|---|
| Что меняет | инструкцию | доступ к данным | веса адаптера |
| Объём знаний | до пары десятков страниц | терабайты, без ограничений | только усвоенные примеры |
| Обновление | мгновенно | переиндексация | переобучение адаптера |
| Железо | не нужно | сервер под индекс | одна видеокарта, 12–48 ГБ |
⚠️ Подводный камень: дообучение на 50–100 примерах почти наверняка даст переобучение и деградацию на общих вопросах. Меньше нескольких сотен качественных пар «вопрос — эталонный ответ» браться за адаптер обычно рано.
Отдельно про деньги на инференс: даже обученный адаптер не отменяет счёт за токены. Если нагрузка растёт, посмотрите наш разбор про оптимизацию затрат на LLM API через роутинг в гибридной схеме — он хорошо стыкуется с логикой выбора метода.
Итоговый чек-лист звучит так. Модель не понимает задачу с трёх попыток промпта? Сначала проверьте формулировки. Знания лежат в документах и меняются? Берите поиск. Нужен предсказуемый формат и стиль на потоке однотипных запросов, а данные стабильны? Тогда LoRA, и почти всегда в паре с RAG.
Как работает LoRA: замороженные веса и низкоранговые матрицы
LoRA не трогает исходные веса модели: они замораживаются, а рядом с каждым слоем обучаются две маленькие матрицы A и B, произведение которых даёт поправку к весам.
Представьте себе матрицу весов размером 4096×4096 — это 16,7 млн чисел в одном слое. Полное дообучение пересчитывает их все. LoRA вместо этого приклеивает сбоку «насадку» из двух узких матриц и учит только её.
Разложение тут классическое, из линейной алгебры. Матрица A сжимает вход с 4096 измерений до r, матрица B разжимает обратно до 4096. Произведение B·A по форме совпадает с исходной матрицей весов, поэтому поправка просто прибавляется к ней при прямом проходе.
Вот и вся магия: ранг r — это ширина «горлышка». Практика показывает, что для адаптации стиля, формата ответа и терминологии хватает r от 8 до 64. Ставить больше смысла мало: растут память и риск переобучения на маленьком датасете.
| Что обучаем | Обучаемых чисел (слой 4096×4096) | Доля от полного дообучения |
|---|---|---|
| Полное дообучение | 16 777 216 | 100% |
| LoRA, r = 8 | 65 536 | ≈ 0,4% |
| LoRA, r = 16 | 131 072 | ≈ 0,8% |
| LoRA, r = 64 | 524 288 | ≈ 3% |
Разница в 128–256 раз по числу параметров и есть причина, по которой адаптер под 7–70B модель тренируется на одной видеокарте. По данным разбора Serverflow, модель здесь выступает не как объект переобучения, а как база знаний, к которой пристраивается тонкая надстройка.
Второй параметр в конфиге — alpha. Это просто множитель перед поправкой: ΔW = (alpha / r) · B·A. Он позволяет менять «громкость» адаптера, не пересобирая его заново.
Логика простая: при большом r каждая отдельная матрица вносит меньший вклад, поэтому alpha поднимают вслед за рангом. Ходовая эвристика — alpha = 2r, но это точка отсчёта, а не закон. Меняете r вдвое — прогоните валидацию заново.
💡 Инсайт: обученный адаптер весит десятки-сотни мегабайт вместо гигабайтов. Держите отдельные адаптеры под разные задачи — юридические формулировки, тон поддержки, разметку тикетов — и подключайте нужный на лету к одной и той же базовой модели.
⚠️ Подводный камень: низкий ранг — это узкое горлышко не только по параметрам, но и по ёмкости. Если задача требует выучить новый язык или незнакомый синтаксис, r = 8 честно упрётся в потолок, и вы увидите это по потерям на валидации.
И ещё один нюанс: обновление B·A стартует с нуля, поэтому в момент старта обучения модель ведёт себя ровно как базовая. Это удобно для отката и сравнения, но означает, что первые шаги уходят на «раскачку» матриц.
Про качество данных для такой насадки у нас есть отдельный материал: датасет для редкого языка и псевдоразметка двумя моделями. Логика там та же, что и с LoRA: сто хороших примеров бьют тысячу случайных.
QLoRA: 4-битная квантизация NF4 и запуск на одной видеокарте
QLoRA — это метод дообучения, при котором базовая модель хранится в 4-битном формате NF4, а обучаются только низкоранговые адаптеры в bf16. Потребление видеопамяти падает примерно вчетверо, и 70B-модель влезает на один GPU с 48 ГБ VRAM.
Формат NF4 (NormalFloat 4) — не обычное равномерное квантование. Веса нейросетей распределены примерно по нормальному закону, поэтому шкала строится по квантилям: чаще всего встречающимся значениям достаётся больше уровней, редким — меньше. Каждые 64 веса получают собственный масштабный коэффициент, и ошибка округления выходит заметно ниже, чем у наивного 4-битного варианта.
Двойная квантизация добивает остаток. Константы квантования сами по себе занимают место, поэтому их тоже сжимают — до 8 бит, блоками по 256 значений. Выигрыш скромный на глаз, около 0,37 бита на параметр, но на модели в 70B это примерно 3 ГБ видеопамяти, которые иначе пришлось бы отдать.
💡 Инсайт: в 4 битах модель только хранится. Все матричные умножения на прямом и обратном проходе идут в bf16 — веса распаковываются на лету. Поэтому ставьте bnb_4bit_compute_dtype=torch.bfloat16, иначе обучение поплывёт по точности или, хуже того, по скорости.
Что это даёт на практике? Вот примерная раскладка бюджета памяти для 70B при ранге адаптеров 16:
| Компонент | Что внутри | Оценка для 70B |
|---|---|---|
| Веса базы в NF4 | 4 бита на параметр плюс масштабы | ≈35 ГБ |
| Двойная квантизация | сжатие самих констант | ≈3 ГБ экономии |
| Адаптеры LoRA | доли процента параметров, bf16 | 0,4–1 ГБ |
| Состояния оптимизатора | AdamW, при пике уходят на CPU | 1,5–2 ГБ |
| Активации | пересчёт активаций, короткий контекст | 2–6 ГБ |
| Итого | — | ≈40–45 ГБ из 48 |
Страничные оптимизаторы — третья опора метода. Состояния AdamW резервируются в оперативной памяти и при скачке на GPU вытесняются в CPU постранично, как в виртуальной памяти ОС. Это спасает от внезапной ошибки нехватки памяти на длинных примерах, но ценой скорости: обмен идёт через PCIe.
⚠️ Подводный камень: страничные оптимизаторы не бесконечны. При контексте 8К и микробатче больше 1 активации съедают запас быстрее, чем успевает работать выгрузка. Режьте длину последовательности и добирайте размер батча накоплением градиентов.
Собирается всё это на связке bitsandbytes (квантизация NF4) и обвязки вроде Unsloth или штатного тренера из Hugging Face. Практический разбор конфигурации с живыми параметрами есть в материале на Хабре, а про подготовку самих примеров для обучения мы писали в тексте про датасет и псевдоразметку двумя моделями.
В сухом остатке: 48 ГБ перестали быть порогом входа для серьёзных моделей. Главное — не пытаться учить адаптеры в 4 битах и держать запас памяти под активации.
Сравнение LoRA, QLoRA и полного дообучения в цифрах
Коротко: полное дообучение модели на 8 млрд параметров требует около 128 ГБ памяти под веса, градиенты и состояния оптимизатора, LoRA укладывается в 20–24 ГБ, а QLoRA — в 10–12 ГБ, теряя на скорости шага от 30 до 60%.
Сразу оговорюсь о происхождении цифр, иначе разговор превратится в гадание. Потребление памяти ниже — расчёт по формуле 16 байт на параметр для схемы «bf16 + Adam», он сходится с тем, что мы видим при запусках. Скорость — усреднение открытых замеров сообщества, а не наш стенд. Собственные замеры редакции касались только качества на размеченном наборе обращений в поддержку.
| Метод | Память под модель 8B | Скорость шага | Качество на узкой задаче | Чем платим |
|---|---|---|---|---|
| Полное дообучение | ~128 ГБ, нужен кластер из 4–8 ускорителей | Базовая, 1× | Эталон | Аренда на дни, а не часы; отдельная копия весов на каждую задачу |
| LoRA на bf16-базе | 20–24 ГБ, одна карта | В 1,5–2 раза быстрее полного | Практически не отличается от эталона | Адаптер на 20–200 МБ вместо копии модели |
| QLoRA | 10–12 ГБ, тянет потребительская карта | На 30–60% медленнее LoRA | Близко к LoRA, но чаще срывы формата | Дольше обучение, иногда нужен повторный прогон |
Что это даёт на практике? Полное дообучение в 2026 году оправдано, когда меняется сама основа: новый язык с другой морфологией, домен со своей лексикой на миллионах примеров. Для узкой предметной области такой бюджет почти никогда не отбивается.
💡 Инсайт: не выбирайте между LoRA и QLoRA — используйте обе по очереди. Сначала QLoRA на дешёвой карте: перебираете ранги, наборы данных и число эпох, тратя копейки. Финальный прогон с лучшим конфигом делаете на bf16-базе, чтобы выжать качество и не платить за медленный шаг.
По стоимости разрыв ещё заметнее, чем по памяти. Аренда одной карты среднего класса на несколько часов стоит на порядок меньше, чем сутки на узле из восьми ускорителей. Если считать не железо, а деньги, QLoRA выигрывает на этапе экспериментов, LoRA — на этапе приёмки. Логика та же, что в оптимизации затрат на LLM API через роутинг: дорогой ресурс включается только там, где он реально меняет результат.
⚠️ Подводный камень: качество QLoRA проверяйте на том же промпте, с которым модель будет работать в бою. На классификации разница с bf16-версией тонет в шуме, а на длинных структурированных ответах сжатая база начинает терять поля и путать порядок блоков. Мы ловили такие срывы только на живых диалогах.
В сухом остатке: LoRA — рабочий вариант по умолчанию, QLoRA — песочница и запасной путь для слабого железа, полное дообучение — редкий инструмент под смену фундамента.
Датасет под узкую предметную область: формат и разметка
Датасет для LoRA — это JSONL-файл, где каждая строка является самостоятельным диалогом в формате шаблона чата базовой модели: системная инструкция, реплика пользователя и эталонный ответ. Минимально рабочий объём под узкую тему — 300–1000 пар, очищенных от дублей и не пересекающихся с проверочным набором.
Формат предельно скучный, и это хорошо. Один объект на строку, кодировка UTF-8, никакого «красивого» форматирования с переносами внутри строки: парсер споткнётся о первый же отформатированный массив.
{"messages":[{"role":"system","content":"Ты — ассистент по внутреннему регламенту складского учёта."},{"role":"user","content":"Что делать при расхождении по партии на 3 единицы?"},{"role":"assistant","content":"Сверьте акт приёмки с накладной..."}]}
{"messages":[{"role":"system","content":"Ты — ассистент по внутреннему регламенту складского учёта."},{"role":"user","content":"Срок хранения партии истёк вчера, отгрузка разрешена?"},{"role":"assistant","content":"Нет. Партия переводится в карантин..."}]}
Шаблон чата обязан совпадать с тем, что модель увидит на инференсе. Спецтокены начала и конца реплик, порядок ролей, наличие системного блока — всё должно быть одинаковым, иначе адаптер выучит не предметную область, а расхождение между обучением и продакшеном.
💡 Инсайт: считайте функцию потерь только на токенах ответа ассистента. Если считать и на репликах пользователя, модель частично учится генерировать вопросы, а доля полезного сигнала в градиенте падает в разы.
Разметка под узкую область — это не только «вопрос-ответ». В набор кладут отказы: ситуации, где данных в регламенте нет и ассистент обязан сказать об этом прямо, а не додумывать. Такие примеры встречаются в реальном трафике чаще, чем кажется, и без них модель начинает уверенно выдумывать.
| Поле | Что кладём | Частая ошибка |
|---|---|---|
messages |
массив реплик: система, пользователь, ассистент | разный порядок ролей в разных строках |
system |
одна и та же формулировка роли | уникальная инструкция в каждом примере |
assistant |
эталонный ответ длиной 40–200 токенов | простыни на 1500 токенов и однострочные «да/нет» |
Дубли — главный тихий убийца узких наборов. Сначала точное совпадение после нормализации: регистр, лишние пробелы, пунктуация. Потом близкие повторы по пересечению шинглов с порогом около 0,8. Тематически узкий корпус состоит из переформулировок одной мысли, и без второго прохода вы получите модель, заученную на пяти шаблонах.
⚠️ Подводный камень: утечка тестовых примеров. Отложите проверочный набор до начала сборки и прогоните его через ту же дедупликацию вместе с обучающим корпусом. Один пересекающийся абзац — и метрика на валидации врёт, а на реальных вопросах адаптер разваливается.
Отдельная история — где брать объём. Если разметки мало, выручает псевдоразметка двумя моделями с последующей ручной сверкой расхождений: подробный разбор такого конвейера мы уже публиковали. Практика показывает: 20% проверенных вручную примеров дают больше прироста качества, чем удвоение сырого корпуса без вычитки.
Пошаговый конфиг обучения: Unsloth, bitsandbytes и Hugging Face
Рабочая связка 2026 года выглядит так: базовая модель грузится в 4 битах через bitsandbytes с типом NF4, адаптеры обучаются силами Unsloth и PEFT, а темп обучения держится в коридоре 1e-4–3e-4. Ниже — минимальный конфиг, который заводится с первого прогона.
Сначала квантование. Без него 8B-модель просто не влезет в память одной карты вместе с градиентами и состояниями оптимизатора.
from transformers import BitsAndBytesConfig
import torch
bnb = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_use_double_quant=True,
)
Через Unsloth то же самое короче: библиотека сама подставит совместимые ядра и включит экономию памяти на активациях.
from unsloth import FastLanguageModel
model, tok = FastLanguageModel.from_pretrained(
model_name="unsloth/Llama-3.2-3B-Instruct-bnb-4bit",
max_seq_length=2048,
load_in_4bit=True,
)
model = FastLanguageModel.get_peft_model(
model, r=16, lora_alpha=32, lora_dropout=0.0,
target_modules=["q_proj","k_proj","v_proj","o_proj",
"gate_proj","up_proj","down_proj"],
use_gradient_checkpointing="unsloth",
random_state=3407,
)
Теперь ранги. Это главная ручка, которую крутят новички, и главный источник переобучения на маленьких датасетах.
| Ранг r | Alpha | Когда брать |
|---|---|---|
| 8 | 16 | Жёсткий формат ответа, стиль, тон, разметка вывода |
| 16 | 32 | Рабочая середина для узкой предметной области |
| 32 | 64 | Специфическая терминология, длинные инструкции |
| 64 | 128 | Сложные схемы рассуждений, много типов задач сразу |
Ориентир простой: alpha держите равной r или удвоенному r. Масштаб обновления задаёт отношение alpha/r, поэтому менять оба числа одновременно почти бессмысленно.
Гиперпараметры самой тренировки — почти догма. Темп обучения 2e-4, одна–три эпохи, накопление градиента 4, разогрев 5–10 шагов, ограничение нормы градиента 0,3.
from trl import SFTTrainer, SFTConfig
args = SFTConfig(
per_device_train_batch_size=2,
gradient_accumulation_steps=4,
num_train_epochs=2,
learning_rate=2e-4,
lr_scheduler_type="linear",
warmup_steps=10,
weight_decay=0.01,
max_grad_norm=0.3,
optim="adamw_8bit",
bf16=True,
output_dir="out",
)
⚠️ Подводный камень: не переносите темп обучения с полного дообучения. Там привычные 2e-5, здесь при таком значении адаптер просто не сдвинется с места за пару эпох. И не пытайтесь слить адаптер обратно в 4-битные веса: сохраняйте его отдельно, а объединение делайте на модели в fp16 или bf16.
💡 Инсайт: перед долгим прогоном обучите 30–50 шагов и посмотрите на кривую: если потери падают ступенькой и выходят на плато до конца первой эпохи, датасет слишком однообразный. Помогает подмешать примеры из соседних сценариев — приём, который мы разбирали в материале про датасет для редкого языка и псевдоразметку двумя моделями.
По памяти прикидка такая: 8B в четырёх битах — это порядка 5–6 ГБ весов, плюс активации и состояния оптимизатора на 8-битном AdamW. На карте с 12 ГБ такой конфиг живёт с длиной последовательности 2048 и батчем 1–2.
После обучения обязательно прогоните отложенную часть датасета и сравните с базовой моделью на одинаковых промптах. Если выигрыш есть только на обучающих примерах — вы получили красивую статистику и нулевую пользу.
Оценка адаптера и борьба с забыванием базовых знаний
Оценка адаптера — это сравнение ответов базовой модели и модели с LoRA на отложенной выборке по трём осям: точность в предметной области, сохранность общих знаний и соблюдение формата. Без такого сравнения адаптер остаётся чёрным ящиком.
Сначала отложенная выборка. Отрезаем 10–15% примеров, которые модель гарантированно не видела. И режем по документам, а не по строкам: если один и тот же регламент попал кусками и в обучение, и в проверку, метрика покажет праздник, которого нет.
Дальше — слепое сравнение «до и после». Ответы базы и адаптера перемешиваются, подписи убираются, оценка идёт по короткому чек-листу. В роли арбитров удобно брать две модели-судьи из разных семейств, например Claude и Google Gemini, а их расхождения разбирает человек. Дешевле, чем читать всё руками, и меньше риска подогнать вердикт под ожидания.
Третья часть — регрессионный набор на общие знания: 50–100 бытовых задач на арифметику, перевод, многошаговые инструкции и корректный отказ на спорный запрос. Именно он ловит забывание. По нашим наблюдениям, просадка вылезает не в математике, а в составных инструкциях и в стиле: модель начинает отвечать «как в отчёте» даже там, где её об этом не просили.
⚠️ Подводный камень: узкий домен легко «протекает» в посторонние диалоги. Если после дообучения на юридических текстах модель на вопрос «привет, как дела» отвечает структурой заключения, переобучении — помогают меньший ранг, ранняя остановка и подмешивание общих примеров.
С забыванием борются дёшево: добавляют 5–10% общих инструкционных примеров прямо в обучающий набор, снижают скорость обучения и останавливаются по валидации раньше, чем хочется. Полная потеря базовых умений — редкость, чаще «съезжает» стиль и формат ответа.
| Что проверяем | Как мерим | Красный флаг |
|---|---|---|
| Домен | Отложенные документы, слепые пары | Прирост виден только на обучающих примерах |
| Общие знания | Регрессионный набор, 50–100 задач | Ломаются многошаговые инструкции |
| Формат | Доля ответов, прошедших разбор схемы | Шаблон лезет в непрофильные запросы |
И про ложную точность. Фраза «точность выросла на 37,4%» на выборке в тридцать ответов — самообман. Честнее звучит так: на 40 парах ответов верными оказались 31 у адаптера против 12 у базы, выборка небольшая, оценка грубая. Зато ей можно верить и на неё можно опереться при решении оставлять адаптер в проде.
💡 Инсайт: держите каждый адаптер версионированным вместе с файлом отложенной выборки. Тогда откат при регрессе делается в одну команду, а сравнение новой версии со старой занимает минуты, а не вечер.
Размечать проверочный набор руками дорого, и тут выручает псевдоразметка двумя моделями — разбор этого подхода есть в материале Датасет для редкого языка: псевдоразметка двумя моделями.
SFT, DPO и RFT: какой подход к обучению выбрать
Коротко: SFT учит модель формату и стилю на эталонных парах «запрос — ответ», DPO выравнивает поведение по парам предпочтений, а RFT дошлифовывает стратегию там, где качество считается автоматически.
Начнём с классики. SFT (supervised fine-tuning) — это обычное обучение с учителем: показываем модели тысячи примеров «как надо» и просим повторить закономерность. Хватает его чаще, чем кажется.
Нужен устойчивый шаблон ответа для отдела поддержки? Строгий тон без эмодзи? Своя терминология и порядок разделов в заключении? Это всё SFT, и ничего сложнее не понадобится.
Проблема начинается, когда вы требуете от модели различать хорошее и почти хорошее. SFT усредняет стиль по датасету и не объясняет, почему один ответ лучше другого.
⚠️ Подводный камень: если в разметке половина ответов многословные, а половина — рубленые, SFT выдаст что-то среднее и нестабильное. Модель выучит не «правильно», а «как в среднем в датасете».
Тут в игру вступает DPO (direct preference optimization). Ему нужны не эталоны, а пары: на один запрос — принятый и отклонённый вариант. Модель учится сдвигать вероятность в сторону первого.
Главный плюс — людей зовут не оценивать тексты по десятибалльной шкале, а просто выбирать из двух. Согласованность разметки растёт, а модель вознаграждения, которую пришлось бы отдельно тренировать в классическом RLHF, не нужна вовсе.
Цена вопроса — сам датасет предпочтений. Пары должны различаться ровно одной содержательной ошибкой. Если в «плохом» ответе сразу тон, факт и структура, модель не поймёт, что именно наказывать. Про сбор таких пар у нас есть отдельный разбор: Датасет для редкого языка: псевдоразметка двумя моделями.
RFT (обучение с подкреплением по верифицируемой награде) идёт дальше. Здесь награду считает не человек и не модель-судья, а программа.
Сгенерированный SQL прогнали по тестовой базе — запрос вернул нужные строки, награда максимальная. Ответ должен быть валидным JSON — схема прошла проверку, плюс балл. Код прошёл юнит-тесты — то же самое.
В узкой предметной области такой верификатор находится на удивление часто: расчёт по формуле, извлечение реквизитов, разметка по фиксированному справочнику. Если проверка автоматизируется — RFT даёт самый заметный прирост на сложных многошаговых задачах.
| Подход | Какие данные нужны | Что меняет в модели | Когда брать |
|---|---|---|---|
| SFT | Пары «запрос — эталонный ответ» | Формат, тон, терминологию, структуру | Нужен предсказуемый шаблон ответа |
| DPO | Пары «принято / отклонено» на один запрос | Приоритеты и аккуратность формулировок | Есть два ответа и ясно, какой лучше |
| RFT | Запросы плюс программа-проверяльщик | Стратегию решения задачи | Качество считается автоматически |
💡 Инсайт: это не три альтернативы, а лестница. Сначала SFT ставит формат, затем DPO или RFT правит то, что формат не лечит. Прыжок сразу к предпочтениям на необученном адаптере обычно даёт мусор — модели просто нечего выравнивать.
Инженерная безопасность: маскирование данных и контуры изоляции
Инженерная безопасность дообучения держится на трёх опорах: локальный контур обучения, обезличивание примеров до отправки в сторонние API и разграничение доступа к файлам адаптера. Адаптер — не безобидная прищепка к базовой модели, он хранит следы ваших данных.
Начнём с контура. Всегда дешевле вообще не выпускать данные за периметр, чем потом разбираться с последствиями утечки. Практика показывает: если в хозяйстве есть карта на 24–48 ГБ видеопамяти, весь цикл — сбор датасета, обучение, оценка — закрывается локально, без единого запроса наружу.
Но внешние модели всё равно подключают: для черновой разметки, генерации синтетики, перекрёстной проверки качества. Здесь работает правило «маскируем до отправки, а не после». Конвейер обработки строим слоями: локальная модель распознавания сущностей выцепляет имена, организации, адреса и реквизиты, затем подставляет устойчивые плейсхолдеры вида [ORG_1] или [PERSON_2] с единым словарём на всю задачу, а числа и даты генерализует — точная сумма превращается в порядок величины, дата в квартал.
Обратную подстановку делаем только на своей стороне. Внешний сервис видит обезличенный скелет, вы — полноценный пример. О том, как выстраивать защиту по периметру в целом, мы подробно разбирали в материале ИИ-угрозы для бизнеса: как защитить компанию от умных атак.
⚠️ Подводный камень: обезличенный датасет учит модель суррогатам. После обучения адаптер будет ждать на входе [ORG_1], а получать живое название компании — и поплывёт. Держите две ветки данных: маскированную для внешних сервисов и восстановленную для финального обучения.
Отдельная история — сам файл адаптера. Он легче базовой модели на два-три порядка, поэтому уезжает в личный репозиторий или в мессенджер за пару секунд и без злого умысла. Минимальный набор мер: приватный реестр артефактов, подпись и хеш каждой сборки, ролевая модель «обучает один — применяет другой», журнал скачиваний и шифрование при хранении.
| Что защищаем | Угроза | Мера |
|---|---|---|
| Примеры для разметки | Утечка чувствительных данных в сторонний сервис | Маскирование сущностей, генерализация чисел |
| Файл адаптера | Вынос за периметр, кража носителя | Приватный реестр, шифрование, ролевой доступ |
| Логи инференса | Накопление реальных запросов клиентов | Срок хранения, маскирование в логах |
| Происхождение датасета | Использование данных без прав | Реестр источников и согласий |
💡 Инсайт: по весам адаптера возможна частичная реконструкция обучающих примеров, поэтому файл стоит считать таким же носителем данных, как и сам датасет. Ограничьте срок его жизни: собрали, оценили, старую версию — в архив с журналом.
В сухом остатке: изоляция контура, маскирование на входе и учёт каждого артефакта. Правовые нормы динамичны и требуют предварительной проверки юристами компании — но инженерные меры работают независимо от того, как меняются формулировки.
Частые ошибки и чек-лист внедрения дообучения
Почти все провалы дообучения сводятся к четырём граблям: слишком маленький датасет, завышенный ранг адаптера, отсутствие базовой линии для сравнения и попытка залить в LoRA новые знания вместо смены поведения модели.
Малый датасет бьёт первым. На сотне примеров адаптер уверенно выучивает формулировки, но не закономерность: стоит перефразировать запрос, и он сыпется. Для устойчивого формата ответа практика показывает ориентир в 300–1000 качественных пар «вопрос-ответ» с разными формулировками одной и той же сути.
Добить объём дешевле псевдоразметкой: прогнать сырые тексты через две сильные модели и оставить только совпавшие ответы. Как это устроено, мы разбирали в материале Датасет для редкого языка: псевдоразметка двумя моделями.
⚠️ Подводный камень: завышенный ранг маскируется красивым графиком. При ранге 64–128 и трёх сотнях примеров функция потерь на обучении падает почти до нуля, и это выглядит как успех. На деле модель заучивает ответы дословно и теряет гибкость на новых входах. Начинайте с 8–16 и поднимайте, только если адаптер явно не добирает сложность.
Отсутствие базовой линии — вторая по коварству ошибка. Без замера исходной модели на отложенной выборке любые разговоры «стало лучше» превращаются в вкусовщину. Сначала фиксируем качество обычного промпта и связки с поиском по документам, потом сравниваем с адаптером на тех же 50–100 примерах, которых модель не видела.
И главное: LoRA плохо подходит для впитывания фактов. Даты, артикулы, цены и внутренние регламенты она запоминает фрагментарно, а на границе знаний начинает уверенно выдумывать. Свежие сведения должны приходить из поиска по документам, а адаптер пусть отвечает за тон, структуру и порядок шагов.
| Грабли | Симптом | Что делать |
|---|---|---|
| Датасет 50–100 примеров | Работает на формулировках из обучения | Довести до 300–1000 пар, добавить перефразировки |
| Ранг 64 и выше | Потери близки к нулю, ответы дословные | Снизить до 8–16, добавить раннюю остановку |
| Нет базовой линии | Непонятно, помогло ли вообще | Замерить промпт и поиск до обучения |
| Факты через LoRA | Уверенные галлюцинации в цифрах | Знания отдать поиску, адаптеру оставить стиль |
Чек-лист перед запуском обучения выглядит коротко, но экономит недели:
- Отложенная выборка собрана заранее и не пересекается с обучающей.
- Замерены метрики базовой модели и промпт-версии на одних и тех же вопросах.
- Ранг, скорость обучения и число эпох зафиксированы в конфиге, а не подбираются на глаз.
- Есть набор «каверзных» запросов вне темы: адаптер не должен ломать общие ответы.
- Проверено, что задачу нельзя закрыть промптом или поиском по документам.
В сухом остатке: дообучение через LoRA — инструмент смены поведения, а не база данных. Как только вы перестаёте ждать от адаптера знаний и начинаете мерить результат относительно честной… точнее, относительно честной базовой линии, — ошибки уходят сами.
Часто задаваемые вопросы (FAQ)
Промпт, RAG или LoRA — с чего вообще начинать?
Почти всегда — с промпта. Если модель уже понимает задачу, но отвечает «не тем тоном» или ломает формат, добавьте несколько эталонных примеров прямо в запрос. Это бесплатно и занимает полчаса вместо выходных.
Дальше развилка. Нужно подставлять актуальные сведения из документов, которые регулярно обновляются, — идите в сторону поиска по базе знаний и RAG. Адаптер такие знания не освежит: он «вмораживает» то, что было в датасете на момент обучения, и переучивать его каждый месяц накладно.
LoRA берут, когда нужен устойчивый формат ответа, специфическая терминология, свой порядок рассуждений или разметка по внутреннему стандарту. То есть задача не про «знать факты», а про «вести себя определённым образом».
Хватит ли одной видеокарты? Сколько памяти реально нужно под 7B и 70B?
Хватит, если это QLoRA. По данным практических гайдов 2026 года, связка 4-битной загрузки через bitsandbytes и Unsloth спокойно живёт на карте с 12 ГБ видеопамяти. Для 70B-модели QLoRA укладывается в один ускоритель с 48 ГБ, а расход памяти падает примерно вчетверо относительно полного дообучения.
Точную цифру под ваш случай никто не назовёт: она зависит от длины контекста, размера батча, включённого контрольного сохранения градиентов и оптимизатора. Считайте не по чужой таблице, а по своему замеру — один пробный запуск на пару сотен шагов покажет больше, чем любой калькулятор.
⚠️ Подводный камень: «модель поместилась в память» и «модель обучится за разумное время» — разные вещи. На грани по видеопамяти система начнёт сбрасывать состояния оптимизатора в оперативную память, и эпоха растянется в разы. Оставляйте запас 15–20% и не забывайте, что проверка качества во время обучения тоже ест память.
Какой ранг и alpha выбрать и сколько примеров нужно?
Рабочий диапазон ранга — от 8 до 64. Начните с малого: если задача про формат и стиль, младшие значения закрывают её с головой, а лишние параметры только раздувают адаптер и провоцируют переобучение. Поднимайте ранг, когда видите, что модель упирается в потолок на отложенной выборке.
С alpha и остальными гиперпараметрами действует простое правило: меняйте по одному. Ходовые эвристики вроде кратности alpha рангу — это ориентир, а не истина, проверять всё равно придётся на своём наборе проверки.
По объёму данных гонка за тысячами примеров почти всегда проигрышна. Несколько сотен чистых, однородных, однотипно размеченных диалогов дают больше, чем десять тысяч разношёрстных. Расширяйте набор только пока растёт метрика на отложенной части.
Как понять, что адаптер выучил предметную область, а не зазубрил датасет?
Первое — сразу отложите часть примеров и не трогайте их до финала. Если на них модель отвечает так же уверенно, как на обучающих, это уже сигнал. Если сыпется — вы получили дорогую шпаргалку.
Второе — проверяйте не только «правильность», но и устойчивость. Задайте вопросы вне датасета, но в той же предметной области, и посмотрите, держится ли нужный формат. Отдельно прогоните десяток общих вопросов: адаптер не должен ронять базовые навыки модели.
Третье — сравните три версии вслепую: базовую модель с хорошим промптом, модель с адаптером и гибрид «адаптер плюс свежие документы в контексте». Часто выясняется, что разница в качестве держится только на стиле, и тогда честнее оставить промпт.
SFT, DPO или RFT — что брать, и когда всё-таки нужно полное дообучение?
Три подхода решают разные задачи. SFT — базовый вариант «покажи модели правильные ответы», он же самый предсказуемый и почти всегда первый шаг. DPO подключают, когда нужно сместить предпочтения: у вас есть пары «так лучше, а так хуже», и вы хотите научить модель выбирать. RFT уместен, когда качество ответа можно проверить формальным правилом или тестом, а не только глазами разметчика.
Полное дообучение в 2026 году нужно редко. LoRA и QLoRA покрывают большинство прикладных задач, а полный проход по всем весам оправдан в случаях вроде принципиально новой предметной области, смены токенизатора или жёстких требований к задержке, когда отдельный адаптер в конвейере мешает.
И да, перед обучением соберите отправную точку. Без замера «до» любой прирост «после» — это разговор о впечатлениях, а не об инженерии.
💡 В сухом остатке: главное
Рынок технологий движется с бешеной скоростью. Не ведитесь на маркетинговый хайп: всегда тестируйте модели на реальных сценариях вашей команды и замеряйте финальную окупаемость.
Чек-лист для внедрения на практике:
- ✅ Сформулируйте целевое поведение и соберите 500–1000 пар «инструкция — эталонный ответ» в JSONL с шаблоном чата.
- ✅ Снимите базовую линию: прогоните отложенную выборку на исходной модели без адаптера и зафиксируйте метрики.
- ✅ Запустите QLoRA с рангом 16 и альфой 32 на одной видеокарте, залогируйте кривые потерь на обучении и валидации.
- ✅ Сравните адаптер с базой на отложенных примерах, проверьте отсутствие деградации на общих вопросах и только потом выкатывайте в прод.
Обсудить материал и поделиться своими бенчмарками можно в комментариях к блогу.







