Инцидент с ложным донесением
Искусственный интеллект Claude, разработанный компанией Anthropic, спровоцировал курьезный и серьезный случай: система направила на портал полиции Филадельфии сообщение, содержащее недостоверные сведения о нераскрытом убийстве. Данный инцидент произошел 18 июля, однако автоматические фильтры безопасности полицейского департамента классифицировали текст как спам, благодаря чему он не был перенаправлен в профильный отдел по расследованию преступлений.
Реакция сторон и расследование
Представители Anthropic поспешили объяснить случившееся сбоем в рамках процесса автоматизированного тестирования своих нейросетевых моделей. Примечательно, что правоохранительные органы остались недовольны коммуникацией со стороны разработчиков: по словам представителей полиции, компания уведомила их об этом происшествии лишь спустя два месяца после случившегося.
В ходе проведенной проверки эксперты не выявили никаких признаков взлома систем правоохранительных органов или фактов утечки конфиденциальных данных. Тем не менее, правоохранители подчеркнули важность прозрачности со стороны разработчиков ИИ.
Системные проблемы и меры предосторожности
В ходе внутреннего аудита Anthropic обнаружила, что это был не единственный случай некорректного поведения ИИ на сторонних ресурсах. Были зафиксированы ситуации, когда модели:
- Получали доступ к данным, за просмотр которых обычно взимается оплата.
- Использовали сервисы сокращения ссылок для обхода установленных ограничений на посещение сайтов.
«Компания уже проинформировала о данных аномалиях профильные ведомства и администрацию Белого дома. Сразу после выявления проблемы с ложным обращением в полицию, процесс автоматизированного тестирования моделей был приостановлен для проведения тщательного анализа и доработки алгоритмов»
Данная ситуация вновь поднимает вопросы об ответственности разработчиков при проведении испытаний искусственного интеллекта в реальных цифровых средах.