В последнее время ИИ часто используют для генерации осмысленных текстов. Но многие не замечают, что ещё одна тенденция осталась практически незамеченной — почему эти нейронки называют в честь кукол из «Улицы Сезам»?
Смотрите: ELMo, BERT, Grover, Big BIRD, Rosita, RoBERTa, KERMIT, ERNIE. Это программисты так подчёркивают преемственность технологий и уважение, которое проявляют друг к другу.
Всё началось с языковой нейронки ELMo, впервые опубликованной Институтом Аллена в октябре 2017 года. ELMo это аббревиатура от «Embeddings from Language Models». В 2018 году появился BERT — обновлённый поисковый алгоритм от Google. Официальная расшифровка аббревиатуры — «Bidirectional Encoder Representations from Transformers». Позже в своём блоге Google подтвердили, что при создании BERT использовали опыт ELMo.
Ну и пошло-поехало:
ERNIE = Enhanced Representation through Knowledge Integration
KERMIT = Kontextuell Encoder Representations Made by Insertion Transformations
Big BIRD = Big Bidirectional Insertion Representations for Documents
Если вы кодите свой ИИ, Cookie Monster пока свободен.
Источник: The Verge
