Посмотрите, как один ИИ обманывает другого, вытворяя непредсказуемые действия

ИИ спо­со­бен «смот­реть» на окру­жа­ю­щий мир и учи­ты­вать раз­лич­ные его аспек­ты. Прав­да, систе­му мож­но обма­нуть, видо­из­ме­нив при­выч­ный для неё пред­мет — напри­мер, накле­ив на дорож­ный знак спе­ци­аль­ный сти­кер. Канад­ские учё­ные выяс­ни­ли, что это каса­ет­ся и дви­жу­щих­ся объ­ек­тов.

Иссле­до­ва­те­ли про­ве­ли экс­пе­ри­мент в вир­ту­аль­ном окру­же­нии. Они заста­ви­ли двух ИИ-агентов сорев­но­вать­ся друг с дру­гом в раз­ных видах спор­та. Крас­ный агент обу­чал­ся на дей­стви­ях сине­го аген­та. Всё шло хоро­шо, пока послед­ний не пере­стал вести себя при­выч­ным обра­зом и не начал совер­шать непред­ска­зу­е­мые дей­ствия. Напри­мер, падать, стоя на воро­тах.

Из-за это­го агент-новичок пере­ста­вал пони­мать, что про­ис­хо­дит, и ломал­ся. А теперь пред­ставь­те, что какой-нибудь шут­ник решил выпол­нить непред­ска­зу­е­мый пиру­эт на ожив­лён­ном шос­се, а про­ез­жа­ю­щий рядом бес­пи­лот­ный авто­мо­биль впал от это­го в сту­пор.

Если буде­те обу­чать соб­ствен­ный ИИ, удо­сужь­тесь под­го­то­вить его ко все­му. Ина­че послед­ствия могут быть пла­чев­ны­ми.