OpenAI заблокировала доступ сингапурской компании FoloToy к своим языковым моделям после публикации тревожного отчета о безопасности плюшевых мишек, сообщает Gizmodo.
Что случилось
Некоммерческая организация PIRG*, занимающаяся защитой прав потребителей, заявила о серьезных проблемах в работе нескольких ИИ-игрушек. Наиболее тревожные результаты показал плюшевый медведь Kumma от компании FoloToy на базе модели GPT-4o от OpenAI.
Исследователи обнаружили, что игрушка плохо различала подходящие и неподходящие темы для разговора с детьми. Медведь охотно объяснял, где найти потенциально опасные предметы — спички, ножи, таблетки, а также обсуждал наркотические вещества, включая кокаин.
Особенно насторожили ответы на вопросы интимного характера. По данным отчета, когда тестировщики затрагивали эту тему, медведь реагировал с энтузиазмом и предлагал подробные объяснения различных сексуальных практик.
Реакция компаний
OpenAI мгновенно заблокировала FoloToy доступ к своим моделям. «Мы приостановили доступ для этого разработчика за нарушение наших политик», — сообщил представитель OpenAI. «Наши правила запрещают любое использование наших сервисов для эксплуатации, создания угрозы или сексуализации лиц младше 18 лет. Эти правила применяются ко всем разработчикам, использующим наш API, и мы следим за этим».
FoloToy временно сняла с продажи все свои продукты. «Мы проводим комплексный аудит безопасности всех продуктов компании», — заявил представитель FoloToy в комментарии для PIRG.
*Public Interest Research Group
