Технологии искусственного интеллекта: глоссарий

Проект ЦИТадель

Глоссарий охватывает основные термины искусственного интеллекта, классического машинного обучения и инженерии систем на основе больших языковых моделей. Термины расположены в алфавитном порядке: сначала русские, затем латинские. В скобках приведены английские эквиваленты, которые встречаются в документации и научной литературе. У каждой словарной статьи есть постоянный якорь: например, /_ai/glossary.shtml#rag.

Агент (agent)

Программная система, в которой модель выбирает следующие действия, обращается к инструментам и использует их результаты для продолжения работы. Агентный цикл может включать планирование, проверку результата и повторные попытки, но сам по себе не гарантирует ни автономности, ни достижения цели. См. function calling и MCP.

Ансамбль (ensemble)

Сочетание предсказаний нескольких моделей. Усреднение, голосование или обучаемая комбинация могут повысить устойчивость и качество, если ошибки компонентов достаточно различаются. Примеры — случайный лес и градиентный бустинг.

Аугментация данных (data augmentation)

Создание дополнительных обучающих примеров с помощью преобразований, которые должны сохранять нужную для задачи информацию: кадрирования изображения, изменения темпа аудио, перефразирования текста или добавления шума. Полезность аугментации зависит от того, соответствуют ли преобразования реальным вариациям входных данных.

Базовый уровень, базовая модель (baseline)

Простой и воспроизводимый ориентир, с которым сравнивают более сложные решения: частый класс, среднее значение, правило или хорошо изученный алгоритм. Улучшение имеет смысл оценивать относительно такого ориентира по заранее выбранной метрике и на одном разбиении данных.

Батч, мини-батч (batch, mini-batch)

Группа обучающих примеров, по которой вычисляют значение функции потерь и один шаг обновления параметров. Размер батча влияет на расход памяти, статистический шум градиента и эффективность вычислений.

Бенчмарк (benchmark)

Стандартизованный набор задач, данных и правил подсчёта метрик для сравнения систем. Высокий результат на бенчмарке не обязательно переносится на прикладную задачу; одна из причин — загрязнение (contamination), когда тестовые задания или их близкие варианты попали в обучение.

Валидация (validation)

Оценка вариантов модели на данных, не использованных для подгонки её параметров. Валидационные результаты применяют для выбора алгоритма, гиперпараметров и порога, а окончательную оценку получают на отдельной тестовой выборке. См. разбиение данных и кросс-валидация.

Векторная база данных (vector database)

Система хранения, индексирования и поиска векторов, обычно поддерживающая поиск ближайших соседей и фильтрацию по метаданным. Её часто применяют в семантическом поиске и RAG, но небольшая система может использовать обычную СУБД или поисковый индекс.

Веса (weights, параметры)

Числовые параметры модели, значения которых изменяются при обучении. Они кодируют статистические закономерности из обучающих данных, но не являются ни базой фактов с однозначными адресами, ни полной записью этих данных.

Визуальный трансформер (Vision Transformer, ViT)

Архитектура компьютерного зрения, которая представляет изображение как последовательность фрагментов-патчей и обрабатывает их трансформером. ViT и его варианты применяются для классификации, детекции, сегментации и как визуальные компоненты мультимодальных моделей.

Внимание, механизм внимания (attention)

Операция, в которой представление запроса (query) сопоставляется с ключами (key), а полученные коэффициенты используются для взвешивания значений (value). Доступные позиции могут ограничиваться причинной или локальной маской. Коэффициенты внимания полезны для вычислений, но сами по себе не являются надёжным объяснением решения модели.

Выравнивание (alignment)

Настройка поведения модели в соответствии с заданными целями, инструкциями и ограничениями. Для этого используют данные с примерами и предпочтениями, SFT, RLHF, DPO и системные меры. Выравнивание уменьшает некоторые нежелательные реакции, но не доказывает безопасность или истинность всех ответов.

Галлюцинация (hallucination, confabulation)

Фактически неверный, неподтверждённый, внутренне противоречивый или не соответствующий входу результат генеративной модели. Ошибка может быть сформулирована как уверенно, так и неуверенно. Поиск, инструменты и RAG помогают только тогда, когда найденные свидетельства качественны и система действительно опирается на них.

Генеративная модель (generative model)

Модель, описывающая распределение данных или способная получать из него новые примеры: текст, изображение, речь, видео, код или структурированные записи. К генеративным относятся, в частности, языковые, диффузионные и генеративно-состязательные модели.

Генеративно-состязательная сеть (generative adversarial network, GAN)

Схема обучения двух моделей: генератор создаёт примеры, а дискриминатор пытается отличить их от данных обучающей выборки. Их состязательная оптимизация позволяет обучать генератор без явного задания плотности распределения, но может быть нестабильной.

Гиперпараметры (hyperparameters)

Настройки, которые не подгоняются обычным шагом обучения модели: скорость обучения, сила регуляризации, глубина дерева, размер батча. Их выбирают вручную или алгоритмом поиска по результатам корректной валидации, не по закрытому тесту.

Глубокое обучение (deep learning)

Подход к машинному обучению на основе нейронных сетей с несколькими последовательными вычислительными слоями. Такие модели совместно выучивают внутренние представления и решают задачу, уменьшая потребность в ручном конструировании признаков, но не устраняя требования к данным и оценке.

Градиентный бустинг (gradient boosting)

Метод последовательного построения ансамбля: на каждом шаге новая слабая модель приближает направление, уменьшающее выбранную функцию потерь. На табличных данных слабыми моделями обычно служат деревья решений; известные реализации — XGBoost, LightGBM и CatBoost.

Градиентный спуск (gradient descent)

Итерационный метод оптимизации, который изменяет параметры в направлении, противоположном градиенту целевой функции. В машинном обучении часто используют оценки градиента по мини-батчам и оптимизаторы вроде SGD или AdamW.

Датасет (dataset, набор данных)

Организованная совокупность примеров и связанных с ними признаков, меток и метаданных, используемая для обучения или оценки. Для понимания датасета важны происхождение, способ отбора, период наблюдения, качество разметки и допустимые условия использования.

Дерево решений (decision tree)

Модель, которая последовательно разделяет пространство признаков условиями вида «значение меньше порога» и выдаёт прогноз в достигнутом листе. Дерево легко применяет нелинейные правила и взаимодействия признаков, но глубокое одиночное дерево часто нестабильно и переобучается.

Детекция объектов (object detection)

Задача компьютерного зрения: определить классы и расположение объектов на изображении или в видеопотоке. Расположение обычно задают ограничивающими рамками, а качество оценивают с учётом и класса, и точности локализации.

Дипфейк (deepfake)

Реалистичный синтетический или существенно изменённый нейросетью медиаматериал, особенно изображение, видео или голос человека. Опасность возникает, когда происхождение материала скрыто и его принимают за подлинную запись.

Дистилляция (knowledge distillation)

Обучение модели-ученика воспроизводить распределения ответов, представления или примеры, полученные от модели-учителя. Метод может перенести часть поведения в более компактную модель, но результат зависит от данных дистилляции и выбранной проверки качества.

Диффузионная модель (diffusion model)

Генеративная модель, которая учится обращать процесс постепенного добавления шума. При генерации она выполняет последовательность шагов от шума к образцу, иногда под условием текста, изображения или другого сигнала.

Дообучение (fine-tuning)

Продолжение обучения уже подготовленной модели на новых данных для адаптации к задаче, предметной области или требуемому поведению. Можно обновлять все параметры либо небольшую их часть; один из экономичных вариантов — LoRA.

Дрейф данных и концепции (data drift, concept drift)

Изменение среды после разработки модели. Дрейф данных означает изменение распределения входов, а дрейф концепции — изменение связи между входами и целевой переменной. Первый не обязательно ухудшает качество, поэтому в эксплуатации контролируют и данные, и метрики на новых размеченных примерах.

Законы масштабирования (scaling laws)

Эмпирические зависимости между ошибкой модели, объёмом данных, вычислительным бюджетом и числом параметров. Они описывают наблюдавшийся режим и помогают распределять ресурсы, но не обещают неограниченного роста качества и не заменяют оценку конкретной архитектуры и данных.

Инференс (inference)

Применение уже обученной модели к входным данным для получения оценки, прогноза или сгенерированного результата. Инференс отличают от обучения, хотя работающая система может сохранять контекст и вызывать внешние инструменты.

Искусственный интеллект (artificial intelligence, AI)

Область и класс машинных систем, которые по входным данным формируют предсказания, рекомендации, решения или содержимое для достижения явно или неявно заданных целей. Машинное обучение — важный, но не единственный подход в ИИ: существуют также системы правил, поиска и планирования.

Калибровка вероятностей (probability calibration)

Соответствие прогнозируемых вероятностей наблюдаемым частотам: среди случаев с оценкой около 0,8 событие должно происходить примерно в 80% случаев. Калибровку проверяют на отложенных данных; хорошее ранжирование по ROC-AUC само по себе её не обеспечивает.

Квантизация (quantization)

Представление весов, активаций или кэша модели числами меньшей точности либо дискретными уровнями. Это уменьшает память и иногда ускоряет инференс, но величину потери качества нужно измерять для конкретной модели, метода и задачи.

Классификация (classification)

Задача предсказания одного или нескольких дискретных классов объекта. Модель может выдавать метку, оценки классов или вероятности; их качество оценивают разными метриками в зависимости от цены ошибок.

Кластеризация (clustering)

Разбиение объектов на группы по заданной мере сходства без готовых меток классов. Полученные кластеры зависят от представления данных, алгоритма и его параметров и не обязаны совпадать с естественными или причинными категориями.

Компьютерное зрение (computer vision)

Область ИИ, посвящённая извлечению информации из изображений и видео. К ней относятся классификация изображений, детекция, сегментация, оценка позы и распознавание текста (OCR).

Конвейер машинного обучения (ML pipeline)

Воспроизводимая последовательность преобразований данных и применения модели. Обучаемую предобработку — заполнение пропусков, кодирование, масштабирование, отбор признаков — включают в конвейер, чтобы на валидации она обучалась только по соответствующей обучающей части и не создавала утечку.

Контекстное окно (context window)

Предельная длина последовательности токенов, которую языковая модель может непосредственно обработать в одном обращении. В зависимости от API лимит может быть общим для входа и ответа или задаваться раздельно. Сведения за пределами текущего контекста недоступны модели напрямую, если приложение не вернуло их с помощью памяти, поиска или резюме.

Кросс-валидация (cross-validation)

Оценка модели по нескольким разбиениям: каждый раз она обучается на одной части данных и проверяется на другой, после чего метрики объединяют. Схема должна сохранять структуру задачи: группы одного объекта, временной порядок и другие зависимости нельзя механически перемешивать.

Задержка (латентность, latency)

Время, необходимое системе для ответа на запрос. Для потоковой генерации раздельно измеряют задержку до первого токена и время между последующими токенами; медиана не заменяет верхние перцентили, важные для эксплуатации.

Логит (logit)

Неограниченная числовая оценка до преобразования в вероятность. В бинарной классификации логит вероятности p равен ln(p/(1−p)); языковая модель выдаёт по логиту для каждого кандидата на следующий токен, а softmax превращает их в распределение вероятностей.

Машинное обучение (machine learning, ML)

Набор методов, в которых параметры модели определяются по данным для решения задачи, а не полностью задаются явными правилами. ML включает обучение с учителем, без учителя и с подкреплением и является частью более широкой области искусственного интеллекта.

Метка и целевая переменная (label, target)

Значение, которое модель должна научиться предсказывать в обучении с учителем. В классификации это класс или набор классов, в регрессии — число. Цель нужно определять вместе с моментом и горизонтом прогноза, иначе в признаки легко попадёт информация из будущего.

Метрика качества (evaluation metric)

Правило количественной оценки предсказаний на данных. Метрика должна соответствовать прикладной цене ошибок: accuracy подходит не всегда, а для редкого положительного класса часто важнее precision и recall. Метрика оценки может отличаться от оптимизируемой функции потерь.

Модель (model)

Параметризованное правило, преобразующее вход в прогноз, оценку или распределение возможных результатов. Модель является лишь частью системы: в неё также входят подготовка данных, бизнес-правила, интерфейсы, контроль доступа и мониторинг.

Мультимодальная модель (multimodal model)

Модель или связанная система, которая принимает или создаёт данные нескольких модальностей, например текст и изображения либо речь и текст. Поддержка двух модальностей не означает, что система одинаково хорошо понимает все их сочетания или умеет порождать каждую из них.

Нейронная сеть (neural network)

Параметризованная композиция слоёв, обычно состоящих из линейных преобразований и нелинейных операций. Её веса обучают по данным; градиенты для многослойной композиции обычно получают методом обратного распространения ошибки.

Обнаружение аномалий (anomaly detection)

Поиск объектов или событий, существенно отличающихся от ожидаемого режима: мошеннических транзакций, сбоев или сетевых атак. В зависимости от наличия меток применяют методы без учителя, с частичной разметкой или обычную классификацию.

Обобщение (generalization)

Способность модели сохранять качество на новых примерах из целевой среды, а не только на данных обучения. Обобщение проверяют на корректно отделённых данных; его ухудшение может быть следствием переобучения или изменения среды.

Обработка естественного языка (natural language processing, NLP)

Область, изучающая вычислительную обработку человеческих языков: классификацию текста, поиск, извлечение информации, перевод, реферирование и диалог. Для разных задач используют как специализированные методы, так и большие языковые модели.

Обратное распространение ошибки (backpropagation)

Применение цепного правила для эффективного вычисления производных скалярной целевой функции по промежуточным значениям и параметрам вычислительного графа. Полученные градиенты использует оптимизатор.

Обучение без учителя (unsupervised learning)

Обучение без целевых меток для каждого примера. К нему относят кластеризацию, снижение размерности, оценивание структуры распределения и некоторые способы обучения представлений; критерий качества зависит от задачи и не сводится к наличию кластеров.

Обучение модели (training, fitting)

Процесс определения параметров модели по данным путём оптимизации целевой функции или применения иного алгоритма подгонки. Данные обучения не должны одновременно играть роль независимого теста качества.

Обучение с подкреплением (reinforcement learning, RL)

Постановка, в которой агент взаимодействует со средой, получает наблюдения и вознаграждения и обучает стратегию действий, максимизирующую ожидаемую накопленную награду. Качество зависит от формулировки среды и награды: оптимизация ошибочного сигнала даёт ошибочное поведение.

Обучение с учителем (supervised learning)

Обучение по примерам с известной целевой переменной. Модель приближает связь между признаками и целью, чтобы предсказывать её для новых объектов; основные постановки — классификация, регрессия и ранжирование.

Оптимизатор (optimizer)

Алгоритм обновления параметров по значениям градиентов и внутреннему состоянию. SGD, Adam и AdamW по-разному используют скорость обучения, накопленные моменты и регуляризацию; оптимизатор не следует смешивать с самой функцией потерь.

Открытые веса (open weights)

Веса модели, доступные для скачивания и локального инференса на условиях конкретной лицензии. Доступность весов сама по себе не даёт права на любое использование, изменение или распространение и не делает всю систему открытой: для воспроизведения могут потребоваться код обучения и сведения о данных.

Переобучение (overfitting)

Подгонка к особенностям обучающих данных, которые не переносятся на новые примеры, из-за чего разрыв между обучающим и проверочным качеством растёт. Противоположная проблема — недообучение (underfitting), когда выбранная модель или процедура не достигает приемлемого качества даже на обучающей выборке.

Переранжирование (reranking)

Повторная, более точная сортировка небольшого списка кандидатов, полученного быстрым поиском. В RAG переранжировщик может совместно обработать вопрос и каждый документ; это дороже первичного поиска, поэтому его применяют только к верхней части выдачи.

Предобучение (pre-training)

Обучение общей модели на большом корпусе до адаптации к конкретной задаче. Для авторегрессионных LLM типичная цель — предсказание следующего токена; существуют и другие цели. После предобучения могут следовать SFT, обучение по предпочтениям или прикладное дообучение.

Признак (feature)

Измеримая характеристика объекта, подаваемая модели на вход: сумма транзакции, категория товара или фрагмент сигнала. В классическом ML признаки часто конструируют явно; глубокие сети дополнительно выучивают внутренние представления из более сырых входов.

Промпт (prompt)

Вход, задающий генеративной модели инструкцию и контекст; он может содержать текст, изображения, звук, примеры и результаты инструментов. Промптинг включает формулировку задачи, отделение данных от инструкций и задание проверяемого формата ответа, но не меняет веса модели.

Разбиение данных (data split)

Разделение примеров на обучающую, валидационную и тестовую части с разными ролями. Способ разделения должен воспроизводить будущее применение: по времени, пользователям, организациям или другим независимым группам, а не обязательно случайно по строкам.

Разметка данных (data labeling, annotation)

Получение целевых меток, категорий, границ объектов, предпочтений или других эталонных ответов для обучения и оценки. Разметка может выполняться экспертами, пользователями, правилами или моделями, но требует инструкции, контроля согласованности и учёта ошибок источника.

Ранжирование (ranking)

Задача упорядочить объекты по полезности или релевантности для запроса: документы в поиске, товары в рекомендациях, заявки в очереди. Её метрики обычно учитывают порядок верхних позиций, а обучающие данные могут задавать оценки объектов или предпочтения между парами.

Ранняя остановка (early stopping)

Прекращение итерационного обучения, когда выбранная метрика на валидационных данных перестаёт улучшаться. Лучшее состояние сохраняют, а число итераций считают выбранным гиперпараметром; тестовую выборку для этого использовать нельзя.

Распознавание речи (automatic speech recognition, ASR; speech-to-text, STT)

Преобразование речевого аудиосигнала в текст. Обратная задача — синтез речи (text-to-speech, TTS); перевод речи может включать распознавание, машинный перевод и синтез либо решаться единой моделью.

Рассуждающая модель (reasoning model)

Не строго стандартизованное название языковой модели, которой при обучении и инференсе выделяют дополнительные средства для решения многошаговых задач: внутренние шаги, проверку, поиск или инструменты. Показанный пользователю текст рассуждения не обязательно является полным и точным описанием вычислений модели.

Регрессия (regression)

Задача предсказания числовой величины: цены, спроса или времени до события. Выбор функции потерь и метрики зависит от смысла ошибок, наличия выбросов, асимметричной цены завышения и занижения и требуемой оценки неопределённости.

Регуляризация (regularization)

Ограничения или штрафы, уменьшающие эффективную сложность модели и риск переобучения. Примеры — штрафы на величину весов, ограничение глубины дерева, dropout, подвыборка и ранняя остановка; их силу выбирают по валидации.

Рекуррентная нейронная сеть (recurrent neural network, RNN)

Архитектура для последовательностей, которая обрабатывает элементы по порядку и переносит скрытое состояние между шагами. Варианты LSTM и GRU смягчают трудности обучения длинным зависимостям; RNN по-прежнему полезны там, где важны потоковая обработка и компактное состояние.

Свёрточная нейронная сеть (convolutional neural network, CNN)

Архитектура с локальными фильтрами и разделяемыми весами, естественно учитывающая пространственную или временную структуру сигнала. CNN применяют к изображениям, аудио, временным рядам и в гибридных архитектурах наряду с трансформерами.

Сегментация (segmentation)

Разметка изображения или другого сигнала по элементам. В семантической сегментации каждому пикселю назначают класс, а в экземплярной дополнительно различают отдельные объекты одного класса.

Семантический поиск (semantic search)

Поиск, учитывающий смысловое сходство запроса и кандидатов, а не только совпадение строк. Часто он использует эмбеддинги; в гибридной системе его объединяют с лексическим поиском, фильтрами и переранжированием.

Синтетические данные (synthetic data)

Данные, созданные моделью, симулятором или правилами вместо прямой регистрации реальных событий. Они помогают покрыть редкие сценарии или уменьшить доступ к чувствительным данным, но могут воспроизводить ошибки генератора и не становятся автоматически анонимными или репрезентативными.

Системный промпт (system prompt)

Инструкция высокого уровня, которую платформа или приложение передаёт модели отдельно от обычного пользовательского ввода. Названия и иерархия ролей различаются между API. Системный промпт управляет поведением, но не является надёжной границей безопасности и может быть атакован внедрением промпта.

Случайный лес (random forest)

Ансамбль деревьев решений, обученных на случайных подвыборках объектов и признаков; ответы деревьев усредняются или объединяются голосованием. Случайность уменьшает корреляцию ошибок деревьев и обычно делает лес устойчивее одного глубокого дерева.

Структурированный вывод (structured output)

Ответ модели в машинно-проверяемой структуре, например по JSON Schema. Формат можно обеспечивать ограниченным декодированием и затем проверять обычным кодом. Соответствие схеме подтверждает синтаксис и типы, но не истинность значений.

Температура (temperature)

Параметр сэмплирования: перед softmax логиты делят на температуру. Меньшее положительное значение делает распределение острее, большее — ровнее. Режим с нулевой температурой обычно означает жадный выбор, однако одинаковый запрос не обязан быть побитно воспроизводимым на любой инфраструктуре.

Токен (token)

Элемент дискретной последовательности, с которой работает языковая модель. Текстовый токен может быть словом, частью слова, знаком, байтом или их сочетанием — это зависит от токенизатора. Число токенов определяет длину контекста, объём вычислений и часто стоимость API.

Трансформер (transformer)

Архитектура последовательностной модели на основе внимания, позиционной информации, полносвязных блоков, остаточных связей и нормализации. Существуют энкодерные, декодерные и энкодер-декодерные варианты; трансформеры применяют не только к языку, но и к изображениям, звуку и другим данным.

Утечка данных (data leakage)

Попадание в обучение или проверку информации, которая не будет доступна в момент реального прогноза либо должна принадлежать другой части данных. Утечка возникает из будущего, из целевой переменной, при пересечении объектов между выборками или при обучении предобработки до разбиения и завышает оценку качества.

Функция потерь (loss function)

Числовая целевая функция, показывающая, какие ошибки алгоритм должен уменьшать при обучении. Она может вычисляться по меткам, парам предпочтений или самим данным и обычно дополняться регуляризацией. Удобная для оптимизации потеря не обязана совпадать с прикладной метрикой.

Чанкинг (chunking)

Разбиение документов на фрагменты для индексации и поиска в системе RAG. Границы, размер, перекрытие и добавленный контекст влияют на полноту поиска и объём промпта; универсального размера чанка нет.

Эмбеддинг (embedding)

Векторное представление объекта, обученное так, чтобы выбранная мера близости была полезна для определённой задачи. Текстовые эмбеддинги часто отражают семантическое сходство, но расстояние зависит от модели, нормализации и данных и не имеет универсального смысла.

Эпоха (epoch)

Один условный полный проход обучения по доступному набору примеров. При потоковой выборке, повторении данных и распределённом обучении граница эпохи может быть договорной, поэтому объём обучения также указывают числом шагов и обработанных токенов или примеров.

AGI (artificial general intelligence, общий искусственный интеллект)

Гипотетическая система с широкими переносимыми интеллектуальными способностями, не ограниченными одной узкой задачей. Общепринятого набора способностей, теста или порога достижения AGI нет, поэтому заявления о нём нужно читать вместе с определением автора.

API-провайдер инференса (inference provider)

Сервис, который запускает модели на своей инфраструктуре и предоставляет к ним программный доступ. Он отвечает не только за вычисление, но и за лимиты, масштабирование, версии моделей, хранение запросов и условия обработки данных; эти свойства нужно проверять отдельно от качества модели.

Chain-of-thought (цепочка рассуждений)

Промежуточные словесные шаги между условием и окончательным ответом, используемые в данных обучения, промпте или процессе генерации. Они могут помочь в многошаговой задаче, но правдоподобная цепочка не доказывает правильность ответа и не обязана точно отражать внутренние вычисления модели.

DPO (direct preference optimization)

Метод обучения языковой модели на парах «предпочтительный ответ — отклонённый ответ» относительно опорной модели. В отличие от классического конвейера RLHF, DPO оптимизирует специальную классификационную потерю без отдельного обучения модели вознаграждения и цикла обучения с подкреплением.

Few-shot / zero-shot

Режимы постановки задачи в контексте модели. В zero-shot даётся инструкция без демонстраций, а в few-shot — несколько примеров входа и желаемого выхода. Это обучение в контексте: примеры влияют на текущий ответ, но сами по себе не обновляют веса.

Function calling (вызов функций, tool calling)

Механизм, при котором модель формирует структурированное предложение вызвать доступный инструмент с аргументами. Приложение должно проверить запрос, права и аргументы, выполнить действие и вернуть результат модели: сама генерация вызова не является выполнением функции.

GPU (graphics processing unit)

Процессор с большим числом параллельных вычислительных блоков и высокой пропускной способностью памяти. GPU эффективны для матричных и тензорных операций обучения и инференса; сходную роль выполняют специализированные ускорители, например TPU.

Jailbreak (джейлбрейк)

Вход или последовательность взаимодействий, рассчитанные на обход поведенческих ограничений модели. Джейлбрейк нацелен прежде всего на защитные настройки самой модели; prompt injection меняет поведение приложения, смешивая недоверенные данные с инструкциями.

KV-кэш (KV cache)

Сохранённые ключи и значения внимания для уже обработанных токенов, которые позволяют при авторегрессионной генерации не пересчитывать весь префикс на каждом шаге. Память кэша растёт с длиной контекста, числом одновременных последовательностей и параметрами архитектуры.

LLM (large language model, большая языковая модель)

Крупная нейронная языковая модель, предобученная на больших корпусах текста и кода. Большинство современных LLM основано на трансформере, но фиксированного порога числа параметров у термина нет; следование инструкциям обычно появляется после отдельного постобучения.

LoRA (low-rank adaptation)

Параметрически эффективный метод дообучения: базовые веса замораживают, а в выбранные линейные преобразования добавляют обучаемые низкоранговые матрицы. Полученный адаптер значительно меньше полной копии модели; качество и экономия зависят от мест вставки, ранга и задачи.

MCP (Model Context Protocol)

Открытый протокол взаимодействия приложения с серверами, которые предоставляют инструменты, ресурсы и шаблоны промптов. В архитектуре MCP хост управляет отдельными клиентами и соединениями с серверами. Совместимый транспорт упрощает интеграцию, но не делает сторонний сервер доверенным и не отменяет авторизацию.

MoE (mixture of experts, смесь экспертов)

Архитектура с несколькими подсетями-экспертами и маршрутизатором, который для каждого токена или примера выбирает часть экспертов. Разреженная активация позволяет увеличить общее число параметров без выполнения всех из них на каждом шаге, но усложняет обучение, балансировку нагрузки и распределённый инференс.

OCR (optical character recognition, оптическое распознавание текста)

Извлечение символов и структуры текста из изображений, фотографий и сканов. Полный конвейер может включать поиск текстовых областей, распознавание строк, восстановление порядка чтения и постобработку.

Precision и recall (точность и полнота)

Метрики положительного класса. Precision — доля истинно положительных среди всех срабатываний модели; recall — доля найденных среди всех истинно положительных. Они меняются вместе с порогом: повышение одной метрики часто уменьшает другую.

Prompt injection (внедрение промпта)

Уязвимость LLM-приложения, при которой недоверенный ввод изменяет предусмотренное поведение модели. Инъекция бывает прямой в сообщении пользователя и косвенной в документе, веб-странице или результате инструмента. Риск особенно велик, если модель может читать секреты или выполнять действия с широкими правами.

RAG (retrieval-augmented generation, генерация с подключением поиска)

Система, которая находит сведения во внешнем источнике и передаёт их генеративной модели как контекст. Поиск может быть лексическим, векторным, гибридным или структурированным. RAG позволяет обновлять знания без дообучения и указывать источники, но не гарантирует полноту поиска или верность ответа.

RLHF (reinforcement learning from human feedback)

Семейство методов настройки поведения по человеческим оценкам. В классическом конвейере люди сравнивают ответы, по сравнениям обучается модель вознаграждения, а языковая модель оптимизируется методом обучения с подкреплением с ограничением отклонения от опорной модели.

ROC-AUC и AP (average precision)

Порогонезависимые сводки качества ранжирования в бинарной классификации. ROC-AUC можно интерпретировать как вероятность, что случайный положительный пример получит оценку выше случайного отрицательного, с половинным учётом случаев, когда оценки равны. AP суммирует кривую precision–recall и сильнее зависит от доли положительного класса. Ни одна из метрик не выбирает рабочий порог и не проверяет калибровку.

SFT (supervised fine-tuning)

Дообучение с учителем на парах «вход — желаемый выход», например «запрос — образцовый ответ». SFT обучает формату и поведению на демонстрациях; после него может следовать обучение по предпочтениям, но это не обязательная часть определения.

SHAP (SHapley Additive exPlanations)

Семейство методов аддитивной атрибуции, основанное на значениях Шепли: выход модели представляют как базовое значение плюс вклады признаков. Результат зависит от объясняемого выхода, фонового распределения и способа считать отсутствующий признак; SHAP описывает модель, а не доказывает причинное влияние признака.

Softmax

Преобразование набора логитов в неотрицательные значения с суммой один: каждый экспоненцированный логит делится на сумму экспонент всех логитов. Softmax задаёт распределение по взаимоисключающим вариантам, но полученные числа не обязательно калиброваны как вероятности реального события.

Top-p / top-k

Способы ограничить кандидатов при сэмплировании следующего токена. Top-k оставляет k вариантов с наибольшими вероятностями, а top-p (nucleus sampling) — наименьший верхний набор, чья суммарная вероятность не меньше p. После отсечения распределение нормируют заново.

VAD (voice activity detection)

Определение участков аудиопотока, содержащих речь. VAD помогает начать распознавание, обнаружить окончание реплики и не отправлять тишину на обработку, но сам по себе не распознаёт слова и не определяет говорящего.

VLA (vision-language-action model)

Модель для воплощённых систем, которая связывает визуальные наблюдения и языковую команду с представлением действий робота. Конкретная VLA может предсказывать низкоуровневые команды, дискретные токены действий или план, а безопасность исполнения требует отдельных ограничений и контроля.

Опорные источники

• J. H. Friedman. Greedy Function Approximation: A Gradient Boosting Machine; L. Breiman. Random Forests.
• Документация scikit-learn: кросс-валидация, метрики, калибровка вероятностей и типичные ошибки и утечки.
• A. Vaswani et al. Attention Is All You Need — исходная статья о трансформере.
• P. Lewis et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.
• E. Hu et al. LoRA: Low-Rank Adaptation of Large Language Models; R. Rafailov et al. Direct Preference Optimization.
• S. Lundberg, S.-I. Lee. A Unified Approach to Interpreting Model Predictions — SHAP.
• NIST AI 600-1, Generative AI Profile — терминология и риски генеративного ИИ.
• Open Source AI Definition 1.0 — различие доступных весов и открытой ИИ-системы.
• Спецификация MCP: архитектура; OWASP: Prompt Injection.