В сфере жилищно-коммунального хозяйства зафиксирован необычный инцидент, связанный с внедрением искусственного интеллекта в систему клиентского обслуживания. Президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов сообщил о необходимости экстренной корректировки алгоритмов нейросети, которая в процессе взаимодействия с потребителями начала использовать ненормативную лексику.
Проблемы машинного обучения в агрессивной среде
Согласно заявлению главы НОТИМ, инцидент произошел после одного месяца активной эксплуатации цифрового помощника в одной из компаний сектора ЖКХ. Изначально система была настроена на ведение конструктивного диалога, однако специфика обратной связи от граждан внесла коррективы в лингвистическую модель ИИ. В условиях реального общения нейросеть переняла манеру речи собеседников, что привело к нарушению этических норм коммуникации.
Специалистам по разработке пришлось оперативно вмешаться в программный код для фильтрации нежелательного контента. Основные сложности в настройке были связаны со следующими факторами:
- Высокий уровень эмоциональной нагрузки в обращениях пользователей.
- Способность нейросети к самообучению на основе входящих данных без жесткой предустановленной цензуры.
- Необходимость сохранения эффективности распознавания сути претензий при ограничении используемого словаря.
Нейросеть пришлось отучать от ненормативной лексики после месяца взаимодействия с клиентами компании ЖКХ — подчеркнул Михаил Викторов в своем выступлении.
Перспективы использования ИИ в госсекторе
Данный случай подчеркивает важность предварительной модерации обучающих выборок и установления жестких фильтров безопасности перед запуском LLM-моделей (Large Language Models) в публичный доступ. Несмотря на возникшие трудности, эксперты отрасли полагают, что автоматизация общения с клиентами остается приоритетным направлением для снижения нагрузки на операторов контакт-центров.
Внедрение интеллектуальных систем в городское хозяйство требует не только технической отладки, но и создания специальных этических протоколов. Опыт корректировки данной нейросети станет важным кейсом для других организаций, планирующих интеграцию ИИ в сервисы взаимодействия с населением, где вероятность получения токсичного контента остается стабильно высокой.