Придумали новый подход к обучению нейронок

😌 Про­бле­ма: тре­ни­ро­вать ИИ на гра­фи­че­ском уско­ре­нии очень затрат­но, нуж­ны серьёз­ные мощ­но­сти и огром­ный бюд­жет. GPU-ускорение — это доро­го и дол­го.

😮 Изоб­ре­ли: алго­ритм SLIDE — суб­ли­ней­ный меха­низм глу­бо­ко­го обу­че­ния. Он дела­ет обу­че­ние ИИ дешев­ле и быст­рее бла­го­да­ря CPU-ускорению.

🙂 Как рабо­та­ет: SLIDE дела­ет всё то же самое, но рабо­та­ет на ядрах цен­траль­но­го про­цес­со­ра, а не гра­фи­че­ских про­цес­со­рах в видео­кар­те. Стан­дарт­ный метод обу­че­ния задей­ству­ет все доступ­ные мощ­но­сти. SLIDE же исполь­зу­ет толь­ко те ней­ро­ны, кото­рые нуж­ны пря­мо сей­час, и справ­ля­ет­ся с обу­че­ни­ем ней­рон­ки за час. Ста­рый алго­ритм — за 3 часа. Без­удерж­ная опти­ми­за­ция и уско­ре­ние рабо­ты.

👥 Кто: Уни­вер­си­тет Рай­са.

🤔 И что: у SLIDE есть свои недо­стат­ки, напри­мер, кеш-память пере­пол­ня­ет­ся. Похо­же, GPU-ускорение пока нику­да не денет­ся. Но алго­рит­мы на доро­ге не валя­ют­ся. В буду­щем пла­ни­ру­ют создать эффек­тив­ный рабо­чий метод на базе теку­щей раз­ра­бот­ки. Ждём-с.

👉 Почи­тать: https://news.rice.edu/2020/03/02/deep-learning-rethink-overcomes-major-obstacle-in-ai-industry/