«Цифромед» (головная компания цифрового кластера «Медицина» ПАО «Ростелеком») развернул инновационное решение для автоматизации служб технической поддержки на базе RAG[1]-системы. Решение сокращает время ответа пользователю с 5–7 минут до 30 секунд за счет поиска ответов в актуальной базе знаний вместо «ручного» просмотра документации.
За последние годы существенно выросло количество подсистем и документации, с которой работают пользователи и операторы технической поддержки. Каждая новая информационная система добавляет слой регламентов и инструкций. Информация динамично обновляется и часто дублируется. RAG-система связывает большую языковую модель (LLM) с единой актуальной базой знаний, позволяя операторам и пользователям получать верифицированные ответы за счет документов, загруженных в систему.
Локальное развертывание RAG-решения имеет ряд существенных преимуществ по сравнению с облачными LLM-сервисами, доступ к которым предоставляется через интерфейс компании-разработчика либо по API[2]: система обеспечивает более точные ответы за счет специализированной базы знаний, снижает количество галлюцинаций нейросети и гарантирует безопасность чувствительных данных. Кроме того, RAG-системы позволяют оперативно обновлять базу знаний без дорогостоящего и длительного переобучения модели.
Разработанное решение было апробировано на реальных пользователях. Система обработала свыше 2,5 тыс запросов, в 90% случаев она нашла релевантные ответы в базе знаний. Более 78% пользователей оценили качество ответа как достаточное для решения их задачи. При этом половина пользователей возвращалась для повторного использования ИИ-консультанта.
https://www.company.rt.ru/press/news/d480245/
Об авторе
