On-premise LLM и 152-ФЗ

Что такое on-premise LLM простыми словами?

On-premise LLM — языковая модель, которая работает на ваших серверах, а не в облаке провайдера. Документы и запросы сотрудников не уходят за пределы компании.

Главная причина выбрать такой вариант — данные. По разбору требований 152-ФЗ на Sostav закон запрещает хранить базы персональных данных россиян за рубежом, для трансграничной передачи нужно заранее уведомить Роскомнадзор, а штраф за нарушение локализации — от 1 до 6 млн ₽ в первый раз и от 6 до 18 млн ₽ при повторе. Загрузка клиентской базы в зарубежный чат-сервис может стать таким нарушением.

Как работает on-premise LLM?

Компания разворачивает модель на своём оборудовании или в частном облаке и подключает к ней свои системы внутри контура.

1. Выбирается модель: открытая или корпоративная версия российской.
2. Подбирается оборудование под объём запросов.
3. Модель разворачивается в закрытом контуре без выхода данных наружу.
4. К ней подключаются база знаний (RAG) и рабочие системы.
5. Настраиваются роли, доступы и журнал запросов.
6. Команда обслуживает и обновляет модель.

Как on-premise LLM выглядит в бизнесе?

Условный сценарий. Сеть клиник хочет, чтобы ИИ помогал разбирать обращения пациентов с паспортными данными и медицинскими документами. Облачный сервис не проходит требования службы безопасности. Модель разворачивают в контуре компании, и ассистент работает только с внутренними документами. Например, у GigaChat Бизнес есть on-premise версия для объектов критической инфраструктуры и компаний со строгими требованиями.

Чем on-premise отличается от облачной модели?

Где применить on-premise LLM?

Там, где работают с персональными данными и коммерческой тайной: риски и антифрод, база знаний компании, HR и документы. Выбор между облаком и своим контуром — часть ИИ-стратегии, а как он влияет на бюджет, разобрано в статье сколько стоит внедрение ИИ-агента.