Внедрение LLM в компании: облачная модель или своя

Большая языковая модель (LLM) — нейросеть, обученная на огромных объёмах текста, которая умеет отвечать на вопросы, писать, переводить, извлекать данные из документов и вести диалог. Для компании внедрение LLM — это не покупка «умного чата», а проект: выбрать модель и способ подключения, дать ей доступ к нужным данным, ограничить лишнее и проверить качество.

Задачи, с которых начинают

• Поиск ответов по внутренним документам: регламенты, инструкции, договоры
• Первичная обработка обращений: классификация, черновик ответа
• Извлечение данных из документов: реквизиты, суммы, сроки
• Помощь разработчикам и аналитикам: код, запросы к базам данных
• Резюме длинных текстов: протоколы, переписка, отчёты

Облачная модель через API

Компания отправляет запросы к модели крупного провайдера и получает ответы. Плюсы: высокое качество, не нужно своё оборудование, быстрый старт, модели постоянно обновляются. Минусы: данные уходят к внешнему провайдеру, оплата зависит от объёма использования, есть зависимость от доступности сервиса и его условий.

Своя развёрнутая модель

Открытые модели можно запустить на собственном сервере или в арендованной инфраструктуре. Плюсы: данные не покидают контур компании, полный контроль над версией модели. Минусы: нужны серверы с графическими ускорителями, специалисты по развёртыванию и поддержке, а качество открытых моделей сопоставимого размера может быть ниже лучших облачных.

Как выбрать

Решают три вопроса. Насколько чувствительны данные и что требует законодательство о персональных данных? Какой объём запросов ожидается? Есть ли в компании специалисты, которые будут поддерживать инфраструктуру? Часто выбирают гибрид: облачная модель для общих задач без персональных данных, своя — для работы с чувствительными документами.

Подключение данных компании

Модель не знает ваших регламентов и цен. Чтобы она отвечала по ним, используют подход с поиском: документы разбиваются на фрагменты, при вопросе система находит релевантные фрагменты и передаёт их модели вместе с вопросом. Так ответы опираются на актуальные документы, а при их изменении не нужно переобучать модель. Дообучение самой модели нужно реже — для особого стиля или узкой терминологии.

Качество поиска определяет качество ответов. Если документы противоречат друг другу, устарели или написаны так, что нужный фрагмент сложно найти, модель будет отвечать неточно. Перед подключением стоит провести ревизию: убрать устаревшие версии, указать даты действия, разметить документы по отделам и уровню доступа.

Безопасность

• Права доступа: сотрудник получает ответы только по документам, которые ему разрешено видеть
• Фильтрация персональных данных перед отправкой во внешний сервис
• Журнал запросов и ответов
• Защита от попыток заставить модель выдать скрытые инструкции или данные

Оценка качества

Соберите набор из нескольких десятков реальных вопросов с правильными ответами, которые утвердили эксперты. Прогоняйте его при каждом изменении: новой модели, новых документов, новых настроек. Отмечайте не только неверные ответы, но и выдуманные факты — это главный риск языковых моделей.

Пилот

Выберите одну задачу и одну группу пользователей. Определите, что считается успехом: сокращение времени на поиск, доля обращений, обработанных без эскалации. Через несколько недель решите, расширять ли решение.

Типичные ошибки

Подключать модель ко всем документам сразу без наведения порядка в них. Не предупреждать пользователей, что ответ нужно проверять. Не назначить владельца базы знаний, который будет её обновлять. Обещать сотрудникам, что ассистент знает всё, — первое же неверное утверждение подорвёт доверие ко всему проекту.