Трансформеры в машинном обучении: на чём построены языковые модели

Почти все громкие достижения искусственного интеллекта последних лет — языковые модели, которые пишут тексты, переводят, отвечают на вопросы и пишут код, — построены на архитектуре под названием «трансформер». Она была предложена исследователями Google в 2017 году в статье с говорящим названием «Attention Is All You Need». Понимание основ помогает трезво оценивать возможности и ограничения моделей при внедрении в бизнес.

Проблема, которую решили трансформеры

Текст — последовательность слов, где смысл зависит от контекста. Слово «ключ» означает разное в предложениях про замок, про родник и про музыку. Ранние модели обрабатывали текст слово за словом и плохо удерживали связь между далёкими частями предложения. Трансформеры позволили модели сразу смотреть на весь фрагмент текста и определять, какие слова важны для понимания каждого слова.

Токены

Модель работает не со словами, а с токенами — частями текста. Токеном может быть целое слово, часть слова или знак препинания. Текст разбивается на токены, и каждый превращается в набор чисел — вектор, отражающий его смысл. Количество токенов определяет, сколько текста модель может обработать за раз, и в облачных сервисах обычно определяет стоимость обработки.

Для языков с богатой морфологией, например узбекского, текст часто разбивается на большее число токенов, чем английский того же смысла. Это влияет и на объём контекста, и на качество.

Механизм внимания

Ключевая идея трансформера — внимание. Для каждого токена модель вычисляет, насколько ему важны остальные токены в тексте. Если в предложении «Менеджер позвонил клиенту, потому что он просил перезвонить» нужно понять, к кому относится «он», механизм внимания связывает его с «клиентом». Модель имеет много таких механизмов параллельно, и каждый может улавливать разные типы связей.

Энкодер и декодер

Исходная архитектура состояла из двух частей:

1. Энкодер читает входной текст и строит его представление
2. Декодер порождает выходной текст по одному токену

Позже появились модели, использующие только одну часть:

• Только энкодер — хорошо понимают текст: классификация, поиск по смыслу, извлечение информации
• Только декодер — генерируют текст: на этом принципе построены большинство современных чат-моделей
• Энкодер и декодер — перевод, пересказ

Предобучение и дообучение

Модели сначала обучаются на огромных объёмах текста — это предобучение. Модель учится предсказывать следующий токен и в процессе усваивает язык, факты и закономерности. Затем модель дообучают для конкретных задач: следовать инструкциям, вести диалог, работать в определённой области.

Для бизнеса это значит, что не нужно обучать модель с нуля. Достаточно взять готовую и адаптировать: инструкциями, примерами, подключением базы знаний или дообучением на своих данных.

Не только текст

Трансформеры применяются и за пределами текста:

• изображения — модели разбивают картинку на фрагменты и обрабатывают их как токены
• речь — распознавание и синтез
• код — генерация и анализ программ
• мультимодальные модели — работают с текстом и изображениями одновременно

Что это значит для бизнеса

• Модели не «знают» вашу компанию. Им нужен контекст: документы, данные, инструкции
• Модели могут ошибаться уверенно. Генерация основана на вероятностях, а не на проверке фактов. Для важных ответов нужна опора на источники и проверка
• Контекст ограничен. Модель обрабатывает ограниченное количество токенов за раз, поэтому большие базы знаний подключают через поиск релевантных фрагментов
• Качество зависит от языка. Для узбекского стоит проверять качество отдельно

Применение в компаниях

• Чат-боты и ассистенты с ответами по базе знаний
• Классификация обращений и писем
• Извлечение данных из документов
• Поиск по смыслу в корпоративных документах
• Помощь в написании текстов и кода

Если вы планируете внедрить языковые модели в процессы компании, напишите — поможем выбрать подход и оценить качество на ваших задачах.