Российские банки создают собственные системы для контроля ошибок и токсичности ИИ

Российский банковский сектор переходит к масштабному внедрению мультиагентных систем и платформенных решений на базе искусственного интеллекта. Из-за отсутствия подходящих готовых инструментов кредитные организации начали самостоятельно разрабатывать системы контроля качества, которые проверяют виртуальных помощников на ошибки, противоречия и неэтичные высказывания.

Один из таких проектов запустил ВТБ совместно с Центром искусственного интеллекта МГУ. Как сообщил на Kazan Digital Week советник первого заместителя президента-председателя правления банка Сергей Путятинский, стороны создали два специальных детектора. Их планируется интегрировать в сервисы розничного бизнеса, где цифровые ассистенты напрямую взаимодействуют с клиентами.

• Детектор токсичности анализирует обращения пользователей на наличие контента 18+, запрещённых тем и признаков нарушения законов. При выявлении критических фрагментов обработка запроса сразу блокируется.
• Детектор «галлюцинаций» оценивает уже сформированные ИИ-ассистентом ответы. Инструмент ищет фактические несоответствия и указывает на конкретные ошибочные фрагменты. После этого сотрудники банка могут заблокировать некорректный ответ или отправить его на повторную генерацию.

В банке подчеркивают, что «галлюцинации» — когда нейросеть уверенно выдаёт выдуманную информацию за факт — остаются одной из главных проблем генеративных моделей.

Разработка защитных систем совпала с ужесточением надзора за технологией: 16 июня Банк России выпустил методические рекомендации по безопасному использованию ИИ в финансовой сфере. Документ включает более 20 мер безопасности, выполнение которых потребует от участников рынка существенной модернизации IT-инфраструктуры.