⚡️ Кратко: ключевые факты и быстрый ответ
- Управление понятиями LLM — это работа не с текстом промпта, а с внутренними представлениями модели: концептами-признаками, которые живут в активациях скрытых слоёв и могут быть считаны или подменены извне.
- Ключевое отличие от промптинга: вмешательство идёт в скрытые слои, поэтому один и тот же эффект достигается без слов в контексте — но и проверить его сложнее, нужен контроль на воспроизводимость и отсев артефактов.
- Практический старт: открытые модели с локальным запуском через Ollama, LM Studio или llama.cpp, фиксация seed и набора промптов, затем сравнение поведения с внедрённым концептом и без него.
- Главный риск — ложные срабатывания: эффект может быть артефактом конкретного чекпоинта, а не устойчивым механизмом, поэтому выводы без повторных прогонов на другой модели доверия не заслуживают.
- Что такое понятия внутри сети — признаки, суперпозиция, автоэнкодеры
- Эксперимент с внедрением «мыслей»: как проверяли гипотезу
- Почему проверки заняли целый год — три круга валидации
- Промпты против активационного вмешательства: сравнительная таблица
- Стек экспериментатора: открытые веса, Ollama, LM Studio, llama.cpp
- Подводные камни: ложные срабатывания и хрупкость концептов
- Инженерная безопасность: маскирование данных и контуры изоляции
- Часто задаваемые вопросы (FAQ)
- «Модель прочитала мысли другой модели» — это метафора для прессы или реальный механизм?
- Можно ли управлением понятиями убрать галлюцинации?
- Нужно ли переобучать модель или можно «подкрутить» уже развёрнутую?
- Вектор понятия переносится между ChatGPT, Claude и Google Gemini?
- Насколько это опасно и можно ли так снять встроенные ограничения модели?
- 💡 В сухом остатке: главное
Что такое понятия внутри сети — признаки, суперпозиция, автоэнкодеры
Понятие внутри сети — это устойчивое направление в пространстве активаций, которое срабатывает на один смысл: код на Python, латинский алфавит, тему разговора или тон ответа.
Формально всё незатейливо. Каждый токен на каждом слое превращается в вектор из сотен или тысяч чисел. Этот вектор живёт в остаточном потоке, а внимание и нейроны прямой передачи лишь дописывают к нему поправки.
Гипотеза о признаках утверждает: полезные смыслы хранятся не в отдельных нейронах, а в направлениях. Один вектор можно разложить по множеству осей, и за каждой осью закреплён свой признак.
Дальше начинается магия, которая на проверку оказывается геометрией. У слоя d измерений, а признаков нужно заметно больше. Пока признаки разрежены — в каждый момент активна малая их доля, — сеть упаковывает их под небольшими углами друг к другу. Почти ортогонально, поэтому оси не конфликтуют. Это и есть суперпозиция представлений.
Отсюда главная боль интерпретируемости. Отдельный нейрон отвечает сразу за десяток несвязанных тем: срабатывает и на юридический текст, и на рецепт борща, и на язык программирования. Смотреть на одиночные нейроны бесполезно — картина размазана.
Разреженные автоэнкодеры подходят к задаче как к словарю. Кодировщик раздувает вектор активации в широкий слой, в десятки раз шире исходного, и штрафует за количество одновременно активных единиц. Декодировщик собирает исходный вектор обратно. Обучение — торг: точность реконструкции против разреженности.
На выходе получаются почти моносемантичные признаки. В опубликованных опытах с моделями семейства Claude счёт шёл на десятки миллионов таких признаков — включая знаменитый признак «моста Золотые Ворота», из-за которого модель начинала вставлять его едва ли не в каждый ответ.
⚠️ Подводный камень: автоэнкодер не «читает мысли» модели, а подгоняет словарь под её активации. Меняете коэффициент разреженности — меняется и набор признаков. Реконструкция всегда неполная, часть смысла остаётся за кадром, а названия признакам даёт человек.
Логика направлений работает не только в активациях. При дообучении через LoRA и QLoRA в веса тоже добавляют компактные поправки вместо переписывания матриц целиком.
Именно на этом фундаменте строятся опыты с прицельным внедрением «мысли» в сеть — разбор эксперимента с цифровой нейрохирургией показывает, как вектор-признак превращается в рычаг управления поведением.
Эксперимент с внедрением «мыслей»: как проверяли гипотезу
Проверяли гипотезу предельно прямо: направление концепта вписывали в скрытые активации модели на промежуточном слое и смотрели, изменится ли её поведение. Текст запроса при этом оставался нетронутым.
Логика такая. Если понятие живёт в сети как направление в пространстве активаций, его не обязательно описывать словами в промпте — можно подмешать прямо в сигнал. Джек Линдси из Anthropic назвал это прицельной цифровой нейрохирургией, и по сути так оно и есть: вмешательство в работу сети на ходу, между слоями.
Такт первый — найти направление. Берут тексты с нужным понятием и без него, сравнивают активации на одном и том же слое и усредняют разницу. Получается вектор, который и считается «стрелкой компаса» для концепта.
Такт второй — впрыснуть. Этот вектор с некоторым коэффициентом прибавляют к активациям во время генерации. Никаких правок весов: модель остаётся той же, меняется только сигнал в конкретном месте.
Такт третий — замерить поведение. Исследователя интересовало не «чувствует ли» сеть мысль, а что она выдаёт: меняются ли ответы, подтягиваются ли тематические токены, сохраняется ли логика рассуждения. Тут и пригодились контрольные прогоны.
Контроль — половина ценности такого эксперимента. Рядом гоняют вектор случайного направления той же длины: если эффект даёт любой шум, грош цена всей затее. Плюс проверяют специфичность — вмешательство должно срабатывать по контексту, а не сносить поведение целиком. И крутят коэффициент силы, чтобы поймать зависимость «доза — отклик».
⚠️ Подводный камень: «модель отреагировала» и «модель поняла» — разные вещи. Сдвиг выхода при инъекции сам по себе лишь корреляция. Чтобы говорить о понятии, нужна воспроизводимость: одинаковый вектор, разные тексты, предсказуемый и узкий эффект. Иначе это просто удачная подкрутка активаций.
По описанию эксперимента эффект выходил капризным: вложенная «мысль» подхватывалась не всегда, а многое решал коэффициент. Слабое вмешательство не давало ничего, чрезмерное ломало связность ответа. Это, кстати, общее свойство правок активаций, а не уникальная особенность метода.
И ещё важное отличие от привычной работы с моделями. Править веса — это дообучение через LoRA и QLoRA, долго и навсегда. Здесь же сигнал меняется на лету и ровно на один прогон.
Извне такой доступ закрыт. Через публичный API вы отдаёте текст и получаете текст — официальная документация прямо перечисляет лишь входы, выходы и тарификацию по токенам, никаких скрытых слоёв там нет. Так что внедрение «мыслей» остаётся лабораторным инструментом на весах, которые держат у себя разработчики моделей.
Почему проверки заняли целый год — три круга валидации
Год ушёл на три круга проверок: воспроизводимость на исходной модели, перенос на чужие семейства и отсев артефактов. Гипотеза о понятиях внутри сети держится только тогда, когда эффект переживает все три.
Первый круг самый скучный и самый беспощадный. Тот же опыт повторяют на той же сборке модели, меняя затравки, порядок примеров и зерно генерации. Если «внедрённая мысль» проявляется через раз, теория не нужна: перед нами шум.
Второй круг — чужие сети. Направление, найденное в Claude, само по себе ничего не доказывает, это может быть особенность конкретного обучения. Поэтому те же понятия ищут в ChatGPT, Google Gemini, DeepSeek и Qwen — заново, своими средствами, с нуля.
⚠️ Подводный камень: векторы понятий не переносятся между моделями «как есть»: другая размерность, другие слои, другой словарь активаций. Сравнивать приходится не стрелки, а поведение. Иначе получается красивая таблица, в которой сопоставлено несопоставимое.
Третий круг — отсев артефактов. Контрольные векторы той же длины, но случайного направления; векторы от посторонних понятий; проверка, что сдвиг в ответах не объясняется простым изменением нормы активации. Плюс слепая оценка: разметчик не знает, что именно ему внедрили.
Отдельная головная боль: версии. Снимки моделей обновляются, и то, что нашлось в весах вчера, завтра приходится искать заново — релизные заметки OpenAI это наглядно показывают. Фактически каждая проверка привязана к дате.
| Критерий | Что проверяем | Гипотеза держится, если | Гипотеза рассыпается, если |
|---|---|---|---|
| Повторяемость | Серия прогонов на одной сборке | Эффект стабильно сильнее контрольного вектора | Результат плавает от запуска к запуску |
| Специфичность | Сравнение со случайным вектором и вектором другого понятия | Срабатывает только целевое понятие | Любое вмешательство даёт похожий сдвиг |
| Перенос между семействами | Поиск аналога в ChatGPT, Gemini, DeepSeek, Qwen | Понятие обнаруживается независимо от архитектуры | Эффект живёт ровно в одной сети |
| Слепая оценка | Разметка ответов без знания о внедрении | Совпадение с ожиданием выше случайного | Оценка совпадает с ожиданием экспериментатора |
Заодно всплывает вопрос: чем это отличается от обычной правки весов? В материале про дообучение через LoRA и QLoRA мы разбирали, как изменение параметров меняет поведение сети. Здесь механика обратная: веса не трогают, вмешиваются только в активацию на одном проходе.
В сухом остатке год ушёл не на один эффектный результат, а на планомерное убивание красивых объяснений. Всё, что выжило после трёх кругов, и стало фундаментом гипотезы.
Промпты против активационного вмешательства: сравнительная таблица
Короткий ответ: промпты дают самый дешёвый, но самый грубый контроль, активационное вмешательство — самый точный и самый хрупкий, дообучение устойчивее, а пассивный мониторинг активаций нужен там, где вмешиваться вообще нельзя.
Давайте разберём на пальцах, что мы вообще сравниваем. «Точность контроля» здесь — не про качество ответов, а про то, насколько предсказуемо ваш рычаг сдвигает поведение сети. Промпт трогает весь контекст разом, поэтому эффект размазан: поправили одно, поехало другое.
Вмешательство в активации работает иначе. Мы меняем состояние в конкретном слое, и сдвиг получается локальным — как хирургический укол вместо общего наркоза. Плата за это известна: чуть промахнулись с масштабом вектора, и модель начинает повторяться или терять связность.
| Подход | Точность контроля | Стоимость | Риск деградации | Воспроизводимость | Где уместен |
|---|---|---|---|---|---|
| Промпты и системные инструкции | Низкая: эффект размыт по всему ответу | Минимальная, только токены | Низкий, откат в одну правку | Высокая в пределах одного семейства моделей | Быстрые правки тона, формата, отказы |
| Вмешательство в активации (векторы понятий) | Высокая: сдвиг привязан к слою и признаку | Средняя: нужна разметка пар и калибровка | Высокий при перекрученном масштабе | Низкая: векторы живут в пределах одной версии весов | Исследования, отладка, точечное подавление темы |
| Дообучение (LoRA-адаптеры) | Средняя: поведение закрепляется, но не адресуется | Высокая: данные, GPU-часы, приёмка | Средний: забывание прежних навыков | Высокая при фиксированном наборе данных | Стабильные требования к стилю и формату |
| Мониторинг активаций без вмешательства | Нулевая по управлению, высокая по обнаружению | Низкая: только инференс и логи | Отсутствует | Средняя: пороги плывут между версиями | Аудит, фильтры, раннее предупреждение |
Что это даёт на практике? На практике в продакшене чаще всего выигрывает связка «промпт плюс мониторинг», а чистое вмешательство в активации остаётся инструментом отладки. Оно отвечает на вопрос «почему модель так сказала», но плохо годится на роль постоянного регулятора.
⚠️ Подводный камень: найденный вектор понятия почти никогда не переносится на новую сборку модели без переобучения — направления признаков меняются, и вчерашний рабочий коэффициент сегодня даёт мусор. Закладывайте перекалибровку в регламент, а не в разовую задачу.
Отдельно про стоимость. Промпт и мониторинг считаются в токенах и часах инженера, дообучение — в GPU-часах и человеко-днях на сбор датасета. Сравнивать эти величины в одном бюджете — классическая ошибка планирования. Подробнее про адаптеры и их экономику мы разбирали в материале про дообучение через LoRA и QLoRA.
💡 Наблюдение: выбирайте метод по цене ошибки, а не по красоте идеи. Если неверный ответ стоит денег клиента — берите дообучение с приёмкой. Если нужно понять механизм — берите активации. Если нужно быстро и дёшево — промпт и логи.
Стек экспериментатора: открытые веса, Ollama, LM Studio, llama.cpp
Минимальный набор для локальных прогонов — открытые веса в формате GGUF, Ollama или LM Studio для запуска и llama.cpp для доступа к внутренним тензорам. Воспроизводимость держится на журнале с хешем модели, seed и версией рантайма.
Отправная точка — сами веса. Скачиваете GGUF-файл Qwen или DeepSeek, кладёте в локальную папку, и дальше всё решает рантайм. Разница между инструментами не в скорости, а в том, насколько глубоко они пускают внутрь модели.
| Инструмент | Что даёт на практике | Чтение активаций |
|---|---|---|
| Ollama | Запуск одной командой, параметры в Modelfile, локальный сервер с совместимым с OpenAI интерфейсом | Нет, только поведение модели |
| LM Studio | Графический интерфейс, быстрое переключение между моделями, сравнение ответов бок о бок | Нет, промежуточные слои закрыты |
| llama.cpp | Сборка из исходников, полный контроль над токенизатором, слоями и загрузкой тензоров | Частично, нужны собственные хуки |
Ollama хороша там, где нужен конвейер обработки сотен промптов. Пишете скрипт, стучитесь в локальный порт, складываете ответы в файл. Никакой графики, зато предсказуемо и дёшево.
LM Studio — про глаза и руки. Удобно держать рядом две модели и смотреть, где формулировки расходятся. Для интерпретации это полезно как черновой этап: сначала находите интересный эффект словами, потом лезете в тензоры.
💡 Наблюдение: заведите журнал в формате JSON Lines — одна строка на прогон. Минимальный набор полей: дата, версия рантайма, SHA-256 файла весов, тип квантования, полный промпт, температура, seed, ответ и время генерации. Через месяц вы скажете себе спасибо: без хеша весов «тот же самый» прогон восстановить невозможно.
llama.cpp — единственный из трёх, где реально дотянуться до промежуточных тензоров. Придётся собрать проект самому и добавить свои перехватчики в местах вызова слоёв. Зато вы видите ровно те числа, которые проходит модель.
Вот тут и начинаются грабли. Для интерпретации нужны полные веса в fp16 или bf16: четырёхбитное квантование меняет значения активаций, и слабый сигнал легко утонет в шуме округления. Если хотите совместить экономию памяти с работой над весами, посмотрите наш гайд по дообучению через LoRA и QLoRA — там разобрано, как квантование влияет на качество.
⚠️ Подводный камень: температура 0 и фиксированный seed не гарантируют побитового совпадения ответов. Батчинг, порядок операций на видеокарте и версия драйвера дают расхождения. Планируйте проверку статистикой по серии прогонов, а не по одному «эталонному» запуску.
В сухом остатке схема простая. Ollama и LM Studio — для быстрых прогонов и отлова интересных случаев. llama.cpp со своими хуками и полными весами — для чтения активаций. Журнал с хешами и параметрами связывает эти два мира в одну проверяемую историю.
Подводные камни: ложные срабатывания и хрупкость концептов
Метод ломается на трёх вещах: дрейфе понятия вдоль длинного контекста, жёсткой привязке вектора к конкретному чекпоинту и искажении замеров самим фактом вмешательства в активации.
Начнём с дрейфа. «Понятие» в сети — не закреплённая константа, а плавающая конфигурация, которая перестраивается по ходу обработки текста. Дайте модели длинный диалог, и направление, стабильно работавшее на первых сотнях токенов, к концу контекста размывается. Вектор остаётся тем же, а смысл под ним уже другой.
На практике это выглядит как резиновая линейка: вмешательство срабатывает, ответ меняется, но меняется не туда, куда вы целились. Чем длиннее контекст, тем выше шанс поймать ложное срабатывание.
Вторая мина — чекпоинт. Вектор, найденный на одних весах, переносится на соседние крайне неохотно. Даже внутри одной линейки смена снапшота или дообучение адаптерами сдвигает геометрию так, что направление «понятия» поворачивается, а иногда и меняет знак. Если вы собираете адаптеры сами, полезно помнить о подводных камнях низкорангового дообучения — гайд по LoRA и QLoRA неплохо описывает, как именно меняются веса и что это делает с интерпретируемостью.
⚠️ Подводный камень: вектор, снятый с инструктивной версии модели, почти не работает на базовой версии тех же весов. Разница не в «качестве модели», а в том, что после выравнивания по инструкциям внутренние представления перестраиваются. Переносить находки между такими вариантами без перепроверки — прямой путь к ложноположительному выводу.
Третья проблема — эффект наблюдателя. Мы вмешиваемся в активации и тут же меряем результат, но само вмешательство меняет состояние сети. Модель начинает вести себя иначе не потому, что «понятие» найдено, а потому, что мы её толкнули.
Отдельная история — утечка через шаблон оценки. Оценочные промпты часто содержат подсказку о гипотезе, и модель просто соглашается с формулировкой. Проверять такие замеры надо вслепую: разные формулировки, перемешанные варианты, контрольные прогоны без вмешательства.
Ещё один маркер ложного срабатывания — поверхностный признак вместо смысла. Вектор может ловить язык запроса, длину текста или частотный маркер, а исследователь принимает это за понятие. Пока не собрана контрольная группа признаков, радоваться рано. Точных чисел по частоте таких ошибок в открытых замерах нет — и честнее это признать, чем подставлять красивые проценты.
Сухой остаток: метод даёт сильные сигналы, но требует перепроверки на каждом шаге. Один удачный прогон здесь не доказательство, а всего лишь повод копнуть глубже.
Инженерная безопасность: маскирование данных и контуры изоляции
Эксперименты с активациями безопаснее вести в изолированном контуре: модель, датасет и журналы не покидают вашу инфраструктуру, а наружу уходят только обезличенные агрегаты и плейсхолдеры вместо реальных сущностей.
Логика простая. Активации — это не абстрактные числа, а сжатый слепок смысла промпта. По векторным представлениям исследователи не раз восстанавливали исходные фразы, имена и фрагменты документов. Поэтому сырые тензоры приравниваем к персональным данным, даже если формально это «просто массив float».
На практике контур собирается из трёх слоёв. Первый — вычисления: инференс и съём активаций крутятся на локальных мощностях с открытыми весами, без выхода в интернет. Второй — обезличивание на входе: сущности заменяются на стабильные метки вида PERSON_1, ORG_2, суммы округляются до порядка, даты сдвигаются на случайное смещение. Третий — фильтр на выходе: если данные всё же нужно отправить в сторонний API для сравнения логики, уходит не вектор, а его низкоразмерная проекция или усреднённая статистика по слою.
⚠️ Подводный камень: маскирование «после» бесполезно. Если вы сначала прогнали живой текст через модель, а потом почистили журнал, исходная формулировка уже растворена в активациях. Чистить нужно до подачи на вход, иначе обратная сборка текста по векторам остаётся реалистичной угрозой.
Отдельная головная боль — ключи и учётные данные. В конфигах эксперимента держим плейсхолдеры YOUR_API_KEY, реальные значения подставляет переменная окружения из хранилища секретов, а не из репозитория. Ротация — по расписанию, доступ к секретам — только у роли, которая запускает джобу.
Дешевле всего изоляция окупается на этапе прототипа. Пока эксперимент живёт в одном контейнере с тестовыми данными, никто не забудет про маскирование. Как только появляется «быстрый доступ к продакшен-логам для проверки гипотезы», контур начинает течь.
| Что делаем | Где выполняется | Что уходит наружу |
|---|---|---|
| Съём активаций | Локальный контур, открытые веса | Ничего |
| Сравнение логики моделей | Локально + внешний API | Обезличенный текст или проекция вектора |
| Хранение журналов | Изолированное хранилище | Только агрегированные метрики |
Если планируете дообучать собственную модель на обезличенных данных внутри такого контура, пригодятся наши материалы по дообучению через LoRA и QLoRA — там как раз про экономию памяти и локальный запуск.
И последнее: собранные активации стоит хранить ограниченное время и с журналом доступа. Чем короче срок жизни тензоров, тем меньше шансов, что через полгода кто-то выгрузит их в общий датасет «для удобства». Правовые нормы динамичны и требуют предварительной проверки юристами компании.
Часто задаваемые вопросы (FAQ)
«Модель прочитала мысли другой модели» — это метафора для прессы или реальный механизм?
Механизм реальный, но слово «мысли» в кавычках стоит не случайно. Внутри сети нет никакого текста: есть направления активаций, устойчиво связанные с понятием. Схема такая: берём стимулы с понятием и без, считаем разность средних активаций на нужном слое — получаем вектор понятия, а потом добавляем его к активациям другой сети (или той же сети на другой задаче) с подобранным коэффициентом. В 2025 году Джек Линдси из Anthropic показал, как такие «вкрапления» переносятся между сетями и меняют поведение модели. Это прицельная инъекция в скрытое пространство, а не чтение чужого диалога, — и уж точно не телепатия. По сути речь идёт об управлении понятиями LLM через геометрию внутренних представлений.
Можно ли управлением понятиями убрать галлюцинации?
Снизить частоту на узком классе задач — иногда да. Полностью убрать — нет, и обещать такое никто не должен. Вектор понятия «я этого не знаю» действительно смещает порог отказа, но он же гасит полезную вариативность и обрезает длинные ответы там, где они нужны. Куда опаснее обратный фокус: усиление вектора уверенности даёт более гладкие и при этом более убедительные выдумки. Проверять эффект нужно только на своём наборе сценариев и сразу по двум метрикам: точность ответов и доля обоснованных отказов.
Нужно ли переобучать модель или можно «подкрутить» уже развёрнутую?
В большинстве случаев переобучение не требуется. Вектор считается один раз, кладётся в хранилище и добавляется к активациям выбранных слоёв на этапе генерации ответа. Стоимость несопоставима с дообучением, а откат делается одним флагом в конфигурации. Дальше начинаются нюансы: коэффициент подбирается вручную и почти не переносится между задачами — то, что аккуратно работает на 0,5, на 1,5 ломает синтаксис и связность. И обязательно нужны контрольные проверки: сравнение со случайным вектором той же нормы, обратный вектор для противоположного сдвига и отложенный набор стимулов, которых не было при поиске. Если после удаления найденного направления поведение не изменилось — вы нашли коррелят, а не причину.
Вектор понятия переносится между ChatGPT, Claude и Google Gemini?
Частично — и это самое хрупкое место всей гипотезы. Внутри одного семейства и одной архитектуры перенос обычно срабатывает. Между разными моделями размерность и геометрия скрытых пространств не совпадают, поэтому нужна проекция или обучение соответствия, а это уже отдельная работа. Добавьте сюда смену системного промпта и смену языка — активации сдвигаются даже от этого. Так что «универсального вектора честности», который лежит в кармане и подходит любой модели, не существует: под каждое семейство вектор пересчитывается заново.
Насколько это опасно и можно ли так снять встроенные ограничения модели?
Да, это реальный инженерный риск, а не страшилка. Если у кого-то есть доступ к активациям и возможность писать в скрытые слои, он теоретически может ослабить те направления, которые отвечают за отказы и осторожность. Отсюда простое правило: эксперименты с управлением понятиями проводим на изолированном контуре, без выхода в общий контур обслуживания. Наружу не отдаём доступ к внутренним активациям и весам, фильтруем запросы, где пользователь прямо просит «отключить ограничения». Практические выводы сводятся к тому, что управление понятиями LLM — мощный инструмент отладки, и обращаться с ним стоит как с отладчиком ядра: аккуратно и в песочнице.
💡 В сухом остатке: главное
Главное правило экспериментатора: проверяйте найденные векторы на своих задачах и фиксируйте результаты замеров.
Чек-лист для внедрения на практике:
- ✅ Зафиксируйте базовую линию: прогоните один и тот же набор промптов на модели без вмешательства и сохраните ответы, температуру и seed.
- ✅ Выберите открытую модель с доступными весами и локальным запуском, чтобы контролировать активации и не зависеть от сторонних API.
- ✅ Вводите концепт в один слой за раз и меняйте силу вмешательства шагами — так видно порог, где поведение меняется, а где ломается связность.
- ✅ Проверьте перенос эффекта на другую модель того же семейства и на другой набор задач: устойчивый механизм должен проявляться повторно.
Обсудить материал и поделиться результатами замеров можно в комментариях к блогу.







