В начале февраля в продаже появились Apple Vision Pro — гарнитура смешанной реальности от Apple. Тим Кук назвал её «пространственным компьютером», который объединяет физический и цифровой миры, позволяя людям работать, смотреть фильмы и играть в игры.
Разберёмся, что находится внутри шлема Apple Vision Pro и как это работает. А вот пока видео, что умеют эти очки:
Это статья для расширения технического кругозора: что происходит в мире современных технологий, какие алгоритмы используются и как это может использоваться в жизни. Если хотите попрограммировать, сделайте простой веб-калькулятор или напишите скрипты, которые нагрузят процессор на все сто.
Что внутри
Под защитным стеклом гарнитуры:
- Две фронтальные камеры высокого разрешения.
- Камеры, направленные вниз и в стороны, чтобы отслеживать движения рук.
- Лидарный сканер для ориентации устройства в пространстве.
- Камеры TrueDepth (датчики глубины) для пространственного отслеживания.
- Инфракрасные осветители, чтобы система могла работать при слабом освещении.
- Чип M2 и новый пространственный чип R1.
Процессоры
В основе Vision Pro лежат два чипа — M2 и R1.
Мы уже подробно рассказывали про чип M1. Чип M2 — это то же самое, но ещё мощнее и быстрее. У M2 больше транзисторов (20 миллионов) и выше пропускная способность памяти.
Vision Pro оснащён 10-ядерным графическим процессором (GPU) и 8-ядерным процессором (CPU). Такая же версия используется в более дорогих моделях MacBook Air. Если сравнить Vision Pro с другими очками дополненной реальности, то его процессор самый мощный из всех представленных на рынке.
В чипах Apple используется понятие унифицированной памяти: и CPU, и GPU обращаются к одному и тому же пулу памяти. Поскольку при такой схеме данные не копируются между разными подразделами дисковой памяти, то процессор освобождается для выполнения других задач.
В Vision Pro — 16 Гбайт унифицированной памяти. Можно открыть сразу много приложений на гарнитуре, и они будут работать быстро.
Второй чип R1 — это новый специализированный графический процессор, отвечающий за данные и задачи, связанные с графикой и смоделированными изображениями в реальном пространстве.
R1 собирает данные с датчиков для отслеживания головы, глаз и рук и обрабатывает их в реальном времени. Этот чип отвечает за два важных параметра дополненной реальности (Augmented Reality, AR).
Параметр задержки motion-to-photon. Когда пользователь двигает головой, это движение за какое-то время трансформируется в изображение на экране. Это называется задержкой движения.
Большая задержка между датчиками и дисплеями в VR-гарнитурах вызывает дискомфорт и приводит к так называемому «укачиванию от VR» (виртуальной реальности). Оно возникает из-за несоответствия между происходящим в поле зрения пользователя, его вестибулярным аппаратом, системами контроля движений и реального положения тела в пространстве. Чем меньше задержка движения, тем меньше дезориентация и неприятные эффекты от гарнитуры.
Параметр задержки photon‑to‑photon. В AR-очках пользователь не смотрит на мир в реальном времени. Между тем, что происходит, и тем, как он это видит, есть небольшая задержка — «задержка прозрачности». Это время для передачи изображения через гарнитуру к зрению пользователя.
Чип R1 позволяет выводить изображение с задержкой до 12 мс. Это очень хороший показатель среди AR-гарнитур.
Два независимых чипа также предотвращают резкое нагревание устройства при использовании. По словам Apple, во время работы над этой системой они зарегистрировали более 5000 патентов.
Дисплеи
Vision Pro оснащен проекционной системой micro-OLED с частотой обновления 90, 96 и 100 Гц. Это сравнительно новый тип дисплея в гарнитурах дополненной и виртуальной реальности. Micro-OLED также называют «OLED на кремнии», поскольку дисплей располагается непосредственно на кремниевой плате. Основное отличие micro-OLED — размер. Он действительно «микро» и благодаря этому имеет очень высокое разрешение.
Apple утверждает, что на экране размещается 23 миллиона пикселей, что в три раза больше, чем у видео в формате 4K. Например, если в 4K-телевизоре размером 3840 × 2160 будет 8 294 400 пикселей, то в очках Apple примерно 11 500 000 пикселей на каждый глаз. Плотность пикселей (PPI) на этих дисплеях составляет около 4808 при средней PPI на смартфоне 400 и 200 на ноутбуке. Это очень высокий показатель, и цена Vision Pro во многом обусловлена именно стоимостью таких micro-OLED дисплеев.
Из-за высокой плотности пикселей глаза не видят зазоры между пикселями. У пользователя не создаётся впечатления, что он смотрит сквозь сетку. Размер одного пикселя — примерно 7,5 микрометра, что сравнимо с размером эритроцитов в крови. При этом каждый из пикселей состоит из трёх RGB-субпикселей.
Ещё одна особенность экранов micro-OLED — их яркость. Яркость экрана измеряется в нитах, и OLED-дисплеи во флагманских iPhone и Samsung могут иметь пиковую яркость в 1200–1600 нит. А дисплеи micro-OLED имеют яркость от 3000 до 15 000 нит. Для сравнения: в ясный солнечный день яркость достигает 10 000 нит. Поэтому гарнитура вполне может приблизиться к яркости реального мира.
Чтобы снизить нагрузку на процессоры, при выводе изображения используется технология Dynamically Foveated Rendering. На дисплей в полном разрешении картинка выводится только в той области, на которую падает взгляд пользователя. Остальные области выводятся с пониженным разрешением.
Камеры и сенсоры
Vision Pro оснащена 14 камерами, которые фиксируют происходящее внутри и снаружи. 10 камер (2 основные на каждый глаз, 4 направленные вниз, 2 TrueDepth и 2 боковые) на внешней части гарнитуры воспринимают окружающую среду в стереоскопическом 3D. С помощью основных камер можно записывать пространственные видео и фото с большей глубиной резкости.
Инфракрасные датчики позволяют гарнитуре работать в темноте. Четыре ИК-камеры внутри гарнитуры отслеживают движения глаз и выполняют 3D-сканирование радужной оболочки глаза для аутентификации OpticID.
Помимо ИК-датчиков, есть два ИК-осветителя на внешней стороне. Они проецируют невидимые инфракрасные точки и сканируют лицо пользователя. Внутри гарнитуры есть невидимые светодиодные осветители возле каждого глаза.
Четыре направленные вниз камеры поддерживают точное отслеживание рук на уровне талии. И это решает проблему, которая есть в других AR-шлемах, которые отслеживают только поднятые руки.
Датчик LiDAR (Light Detection and Ranging) использует лазерный свет для измерения расстояния и создаёт точную трёхмерную карту окружающей среды. Он применяется в большинстве автопилотов и в FaceID iPhone.
Всё это прикрыто многослойным пластиком, очень похожим на стекло. На одном из слоёв есть отступы — множество двояковыпуклых линз, которые создают эффект стереоскопии. Также есть слой со специальной плёнкой, которая повышает яркость.
Аудио
Динамики крепятся к жёстким ремешкам и в случае ремонта легко отсоединяются. Внутри каждой аудиокапсулы — два динамика с индивидуальными усилителями. Они генерируют персонализированный 3D-звук.
При запуске система сканирует форму ушей пользователя и подстраивает под них пространственное аудио. Также реализована функция трассировки звуковых волн: используются датчики, которые отслеживают движение или пути звуковых волн в пространстве. В итоге гарнитура создаёт впечатление, что звук исходит непосредственно из окружающей среды. Так можно добиться эффекта кинотеатра, когда звук исходит из разных направлений.
Аккумулятор
Чтобы уменьшить вес гарнитуры, используется внешний литийионный аккумулятор. Он весит 353 грамма, снабжён портом USB-C, акселерометром и светодиодным индикатором. Когда пользователь держит аккумулятор в руках, на нём отображается индикатор заряда.
Батарея выдаёт максимальное напряжение 13 В, что намного превышает средний телефонный аккумулятор — 3,8 В. Apple обещает до двух часов автономной работы. Устройство можно использовать во время зарядки аккумулятора.
