Российские ученые научили нейросети не терять смысл при экономии памяти

Российские исследователи нашли способ заставить нейросети экономить вычислительные ресурсы, не теряя при этом смысл. Алгоритм, разработанный Центром практического искусственного интеллекта Сбербанка совместно с учеными Института AIRI и Сколтеха, определяет тот самый момент, когда сжатие информации начинает искажать смысл.

Современные языковые модели работают с огромными объемами данных. Чтобы не перегружать систему, информацию сжимают и переводят в векторные представления. Но при таком подходе есть риск потерять важные детали. Новый метод — легкий обучаемый классификатор, который работает как детектор качества. Он проверяет сжатые токены еще до того, как они попадут в модель. Если смысл нарушен, классификатор не пропускает испорченный контекст. В этом случае система может подставить оригинальный текст или найти свежие данные.

Для бизнеса, который использует ИИ в корпоративных поисковиках, ассистентах и ботах поддержки, это прямая экономия. Для ученых — строгая методология: теперь понятно, где проходит граница сжимаемости текста и как отследить момент переполнения токенов.

Разработчики уже применили метод при обновлении модели GigaChat Ultra. Теперь помощник запоминает ключевые факты о пользователе и использует их в дальнейшем общении, делая диалог более естественным и персонализированным.

— Представьте, что нужно пересказать итоги трёхчасового стратегического совещания парой фраз. Ключевые тезисы вы выделите, но высок риск упустить критически важные нюансы или исказить смысл. Так же работает механизм сжатия контекста в языковых моделях. Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестаёт быть оптимизацией и ведёт к ошибкам, вызывая потерю устойчивости модели, — объясняет директор Центра практического искусственного интеллекта Николай Тиден, —  Для бизнеса это означает принципиально новый уровень надёжности искусственного интеллекта — сокращение издержек и повышение точности принятия решений.