Сделали систему, которая чистит «грязные» данные в таблицах

Напачкают, потом убирай за ними.

Сделали систему, которая чистит «грязные» данные в таблицах

😢 Проблема: очистка данных в таблицах может занять четверть рабочего времени аналитика. Автоматизировать эту задачу сложно, потому что для разных наборов данных требуются разные типы очистки. Кроме того, часто необходимо рассуждать об объектах, опираясь на кругозор, которого нет у нейросетей.

😎 Решение: PClean — система, которая сочетает знания о предметной области с базовым уровнем практических суждений для автоматической очистки баз данных от миллионов записей. Она автоматически убирает опечатки, повторы, пропущенные значения, орфографические ошибки и несоответствия в данных. 

Пользователь предоставляет системе базовые знания о предмете и информацию о возможных ошибках, а PClean объединяет эти знания с помощью вероятностных рассуждений и наводит в данных порядок. Технология упрощает и удешевляет объединение беспорядочных несовместимых баз данных в чистые записи.

👨‍🔬 Кто: инженеры Массачусетского технологического института.

Источник: Tech Xplore

Получите ИТ-профессию
В «Яндекс Практикуме» можно стать разработчиком, тестировщиком, аналитиком и менеджером цифровых продуктов. Первая часть обучения всегда бесплатная, чтобы попробовать и найти то, что вам по душе. Дальше — программы трудоустройства.
Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию
Вам может быть интересно
«Браслет тишины» запретит смарт-устройствам подслушивать
«Браслет тишины» запретит смарт-устройствам подслушивать

Так им!

«Алиса» научилась расшифровывать и переводить текст
«Алиса» научилась расшифровывать и переводить текст

Не только говорит, но и делает.

«Вконтакте» запустил конкурс мини-приложений. Призовой фонд — 2 млн
«Вконтакте» запустил конкурс мини-приложений. Призовой фонд — 2 млн

ВКонтакте проводит конкурс приложений, созданных на платформе VK Mini Apps.

Сделали гибкий аккумулятор, который можно стирать
Сделали гибкий аккумулятор, который можно стирать
Создали систему перевода естественного языка в программный код
Создали систему перевода естественного языка в программный код

Чтобы каждый мог быть программистом. Ну почти каждый.

К нам пришел BERT
К нам пришел BERT

Крупнейшее обновление Google добралось до России.

Новый курс Практикума помогает развить критическое мышление
Новый курс Практикума помогает развить критическое мышление

Думать надо уметь, а не думать — не уметь.

Посмотрите: как сделать себя Илоном Маском в Zoom
Посмотрите: как сделать себя Илоном Маском в Zoom

На дипфейках зиждется Интернет.

Компьютер-клавиатура от Raspberry Pi
Компьютер-клавиатура от Raspberry Pi

Моноблок, но без монитора.