Что такое RAG

Что такое RAG простыми словами?

RAG — способ заставить нейросеть отвечать по вашим документам, а не по своей памяти. Перед ответом система находит нужные фрагменты в базе знаний и передаёт их модели вместе с вопросом.

Термин появился в работе исследователей Facebook AI 2020 года — Retrieval-Augmented Generation, «генерация, дополненная поиском». Сегодня это стандартный подход для корпоративных баз знаний: на нём, например, построена база знаний в GigaChat Бизнес.

Как работает RAG?

Документы заранее разбиваются на фрагменты и индексируются, а при каждом вопросе система ищет самые подходящие и отдаёт их модели.

1. Документы — регламенты, инструкции, договоры — делятся на фрагменты.
2. Каждый фрагмент переводится в числовой вектор, который отражает смысл.
3. Вопрос пользователя тоже переводится в вектор.
4. Система находит фрагменты, ближайшие по смыслу к вопросу.
5. Языковая модель получает вопрос и фрагменты и пишет ответ.
6. В ответе указываются источники, чтобы его можно было проверить.

Как RAG выглядит в бизнесе?

Условный сценарий. Новый сотрудник склада спрашивает: «Как оформить возврат с повреждённой упаковкой?» Ассистент находит нужный пункт регламента и форму акта, отвечает в трёх предложениях и даёт ссылку на документ. Опытный коллега не отвлекается, а ответ совпадает с актуальной версией правил.

Чем RAG отличается от дообучения модели?

Где применить RAG?

Везде, где люди ищут ответы в документах: база знаний компании, первая линия клиентского сервиса, вопросы сотрудников в HR. RAG также главный способ снизить галлюцинации нейросетей.