Apple Vision Pro lanza Full Moon Rethinking: XR, RNDR y el futuro de la computación espacial

Autora: Scarlett Wu

En las primeras horas de la WWDC (Conferencia Mundial de Desarrolladores de Apple) del 6 de junio, también fue el quinto día después de enterarme de que padecía COVID-19. ¿Otra vez pospuesto?

Entonces, cuando Cook apareció a las dos de la mañana, agitó “One More Thing”, y mis amigos y yo vitoreamos juntos en este lado de la pantalla:

Macintosh introdujo la informática personal, iPhone introdujo la informática portátil y Apple Vision Pro introducirá la informática espacial

La computadora Macintosh inició la era de la computadora personal, el iPhone inició la era de Internet móvil y Apple Vision Pro iniciará la era de la computación espacial.

Como entusiasta de la tecnología de vanguardia, aplaudo los nuevos juguetes que puedo tener el próximo año, pero como inversionista de Web 3 centrado en los juegos, el metaverso y la IA, esta es una señal de una nueva era que me hace estremecer.

Quizás se pregunte: “¿Qué tiene que ver la actualización del hardware de MR con la Web 3?” Bueno, comencemos con la tesis de Mint Ventures en la pista del metaverso.

Nuestro metaverso, o la Tesis del mundo Web 3

La prima de activos en el mundo blockchain proviene de:

1. El nivel inferior de las transacciones confiables genera la reducción de los costos de transacción: la confirmación de los derechos de los activos y la protección de la propiedad de los bienes físicos se basan en la confirmación obligatoria de los derechos por parte de la agencia estatal de violencia mecánica, mientras que la confirmación de los derechos de los activos en el mundo virtual se basa en el “consenso de datos” Fideicomiso que no puede (o no debe) ser manipulado", y el reconocimiento del propio bien después de que se confirma el título. Aunque puede hacer clic con el botón derecho para copiar y pegar, BAYC todavía tiene el precio de una casa en las ciudades del nivel 18. Esto no se debe a que las imágenes copiadas y pegadas sean realmente diferentes de las imágenes de los metadatos NFT, sino a la premisa de que el mercado tiene un consenso sobre la “no copiabilidad” Existe la posibilidad de titulización.
2. Un alto grado de titulización de activos genera una prima de liquidez
3. La transacción sin permiso correspondiente al mecanismo de consenso descentralizado trae “prima sin permiso”

Los bienes en el mundo virtual son más fáciles de titularizar que los bienes físicos:

• A partir de la historia de la popularización del pago de activos digitales, se puede ver que el hábito de las personas de pagar por contenido virtual no se desarrolló de la noche a la mañana, pero es innegable que el pago por activos virtuales ha penetrado en la vida del público. En abril de 2003, la llegada de iTunes Store hizo que la gente descubriera que, además de descargar canciones al Walkman en Internet, donde la piratería es rampante, también existe la opción de comprar música digital genuina para apoyar a sus creadores favoritos; en 2008, el Salió la tienda de aplicaciones, una compra única. Se hizo popular en todo el mundo, y la subsiguiente función de compra en la aplicación continuó contribuyendo a los ingresos de activos digitales de Apple.
• También hay una línea gris de serpiente de hierba enterrada en los cambios del modelo de pago de la industria del juego. La versión original de la industria de los juegos era Arcade Game. El modelo de pago en la era de las salas de juegos era “pago por experiencia” (similar a las películas), y el modelo de pago en la era de las consolas era “pago por casetes/discos” (similar a las películas). y álbumes de música). Comenzó la venta de juegos puramente digitales. Al mismo tiempo, apareció el mercado de juegos digitales de Steam y las compras en el juego que permitieron que algunos juegos alcanzaran los mitos de ingresos. La historia de las actualizaciones del modelo de pago de juegos es también una historia de costos de distribución decrecientes, desde máquinas recreativas hasta consolas, plataformas de distribución digital de juegos donde todos pueden iniciar sesión con computadoras personales y teléfonos móviles, y el juego mismo en el que los jugadores ya están inmersos. El tamaño del cuerpo del juego La tendencia es que el costo de la distribución técnica es cada vez más bajo, y la audiencia es cada vez más amplia, mientras que los activos del juego han cambiado de “una parte de la experiencia” a “mercancías adquiribles”. (Aunque la pequeña tendencia de la última década se ha convertido en un aumento en el costo de distribución de activos digitales año tras año, esto se debe principalmente al bajo crecimiento de Internet, la alta competencia y el monopolio de las entradas de tráfico en la atención).

Entonces, ¿qué sigue? Los activos negociables del mundo virtual serán un tema en el que siempre seremos optimistas.

Con la mejora de la experiencia del mundo virtual, el tiempo de inmersión de las personas en el mundo virtual será cada vez más largo, lo que provocará un cambio en la atención. El cambio de atención también provocará un cambio en la prima de valoración de un fuerte apego a las entidades a los activos virtuales. El lanzamiento de Apple Vision Pro cambiará por completo la experiencia humana de interactuar con el mundo virtual, lo que generará un aumento en el tiempo de inmersión del mundo virtual y una mejora sustancial en la experiencia de inmersión.

Fuente: @FEhrsam

*Nota: esta es nuestra definición variante de la estrategia de precios. En la estrategia de precios premium, la marca establece el precio en un rango de precios que es mucho más alto que el costo, y llena la historia de la marca y la experiencia en la diferencia entre el precio y el costo. Además, la fijación de precios de costo, la fijación de precios competitivos, la relación de oferta y demanda, etc., también son factores que se considerarán al fijar el precio de los productos básicos, y aquí solo se ampliará la fijación de precios premium. *

Historia y presente de la industria de MR

La exploración de XR (Realidad Extendida, incluidas VR y AR) en la sociedad moderna comenzó hace más de diez años:

• En 2010, se formó Magic Leap. En 2015, el increíble anuncio de Magic Leap para la ballena saltando en el estadio causó sensación en todo el mundo de la tecnología, pero cuando el producto se lanzó oficialmente en 2018, fue abucheado debido a la experiencia de producto extremadamente pobre. La empresa recaudó 500 millones de dólares en 2021 con una valoración posterior al dinero de 2500 millones de dólares, lo que hace que la empresa valga un 30 % menos que la suma de sus financiaciones: 3500 millones de dólares. En enero de 2022, se informó que el fondo de riqueza soberana de Arabia Saudita había obtenido el control mayoritario a través de un acuerdo de capital y deuda de $ 450 millones, y la valoración real de la empresa cayó a menos de $ 1 mil millones.
• En 2010, Microsoft comenzó a desarrollar Hololens, lanzó el primer dispositivo AR en 2016 y lanzó el segundo en 2019. El precio es de $3,000, pero la experiencia real no es buena.
• En 2011, se lanzó el prototipo de Google Glass. El primer producto se lanzó en 2013. Alguna vez fue un gran éxito y generó grandes expectativas. Sin embargo, debido a problemas de privacidad de la cámara y una mala experiencia con el producto, terminó de manera deprimente y el total el volumen de ventas fue de sólo unos pocos millones de unidades. La versión empresarial se lanzó en 2019 y la nueva versión beta se probó en el campo en 2022 y la respuesta fue mediocre. En 2014, salió la plataforma de desarrollo Carboard VR de Google y el SDK. En 2016, salió Daydream VR, que actualmente es la plataforma de realidad virtual más utilizada para Android.
• En 2011, Sony PlayStation comenzó a desarrollar su plataforma VR. En 2016, PSVR hizo su debut. Aunque debido a la confianza en PlayStation, los usuarios compraron con más entusiasmo cuando se lanzó por primera vez, pero la respuesta de seguimiento no fue buena.
• En 2012, se fundó Oculus y fue adquirida por Facebook en 2014. Oculus Rift se lanzó en 2016 y se han lanzado un total de 4 modelos sucesivamente. El enfoque principal es la portabilidad y el precio más bajo. Es un dispositivo con una participación de mercado relativamente alta.
• En 2014, Snap adquirió Vergence Labs, una empresa fundada en 2011 para centrarse en gafas AR, que se convirtió en el prototipo de Snap Spectacles. Se lanzó por primera vez en 2016 y se han lanzado 3 dispositivos actualizados sucesivamente. Como la mayoría de los productos mencionados anteriormente, Snap Spectacles atrajo mucha atención al principio, las personas se alinearon frente a la tienda, pero pocos usuarios siguieron, Snap cerró la división de hardware de la compañía en 2022 y se reenfocó en productos basados en teléfonos inteligentes. AR
• Alrededor de 2017, Amazon comenzó a desarrollar gafas AR basadas en Alexa, los primeros Echo Frames se lanzaron en 2019 y la segunda versión se lanzó en 2021.

Cuando miramos hacia atrás en la historia de XR, podemos ver que la expansión y el cultivo de esta industria está mucho más allá de las expectativas de todos en el mercado, ya sea un gigante tecnológico con mucho dinero y muchos científicos, o una empresa emergente inteligente y capaz que ha recaudado cientos de millones de dólares y se enfoca en XR. Desde el lanzamiento del producto de realidad virtual para consumidores Oculus Rift en 2016, todas las marcas de realidad virtual, como Samsung’s Gear, Byte’s Pico, Valve’s Index, Sony’s Playstation VR y HTC’s Vive, han enviado menos de 45 millones de unidades. Dado que los dispositivos de realidad virtual más utilizados siguen siendo juegos, los dispositivos de realidad aumentada que la gente está dispuesta a usar ocasionalmente no aparecían antes del lanzamiento de Vision Pro. Según los datos de SteamVR, se puede inferir aproximadamente que los usuarios activos mensuales de dispositivos de realidad virtual sólo puede tener unos pequeños millones.

¿Por qué los dispositivos XR no están ganando popularidad? La experiencia de fracaso de innumerables empresas de nueva creación y el resumen de las instituciones de inversión pueden dar algunas respuestas:

1. El hardware no está listo

Visualmente, los dispositivos de realidad virtual tienen un ángulo de visión más amplio y están más cerca de los globos oculares.Incluso con los dispositivos más avanzados, los píxeles en la pantalla siguen siendo difíciles de ignorar. Se requiere 4K para un ojo u 8K para ambos ojos para una inmersión total. Además, la frecuencia de actualización también es un elemento central para mantener la experiencia visual. En general, se cree en el mercado que para lograr el efecto antimareos, los dispositivos XR necesitan 120 HZ o incluso 240 HZ por segundo para mantener una experiencia similar a la del mundo real. Y la frecuencia de actualización, bajo la misma potencia informática, es un elemento que debe equilibrarse con el nivel de renderizado: Fortnite admite resolución 4K a una frecuencia de actualización de 60 HZ, pero solo admite una resolución de 1440p a una frecuencia de actualización de 120 HZ.

Porque en comparación con la intuición visual, la audición parece ser inútil en poco tiempo, y la mayoría de los dispositivos de realidad virtual no han trabajado mucho en este detalle. Pero imagina que en un espacio, sin importar si se trata de una persona a la izquierda o a la derecha, la voz que habla se transmite constantemente desde la parte superior de la cabeza, lo que reducirá en gran medida la sensación de inmersión. Y cuando el Avatar digital en el espacio AR está fijo en la sala de estar, cuando el jugador camina del dormitorio a la sala de estar, el volumen del discurso del Avatar es el mismo, lo que también reducirá sutilmente el realismo del espacio.

En términos de interacción, los dispositivos VR tradicionales están equipados con manijas de control y, por ejemplo, HTC Vive necesita instalar cámaras en casa para confirmar el estado de movimiento del jugador. Aunque Quest Pro tiene seguimiento ocular, tiene una latencia alta y una sensibilidad promedio. Se usa principalmente para mejorar la representación local, y la operación interactiva real todavía está dominada por los controladores. Al mismo tiempo, Oculus también instaló de 4 a 12 cámaras en los auriculares para confirmar el estado de la escena del usuario y lograr un cierto grado de experiencia de interacción de gestos (por ejemplo, en el mundo de realidad virtual, use la mano izquierda para tomar una imagen virtual). teléfono, y el dedo índice derecho está vacío. Haga clic en Aceptar para iniciar el juego).

En términos de peso, la calidad del equipo que hace que el cuerpo humano se sienta cómodo debe estar entre 400-700 g (aunque en comparación con los vasos normales de unos 20 g, esto sigue siendo un monstruo enorme). Pero para lograr la claridad, la frecuencia de actualización, el nivel de interacción, la potencia de cómputo (rendimiento, tamaño y cantidad del chip) que coincidan con sus requisitos de renderizado y las horas de duración básica de la batería mencionadas anteriormente, el peso del dispositivo XR es un factor difícil. proceso de compensación.

En resumen, si XR quiere convertirse en un teléfono móvil de próxima generación y convertirse en una nueva generación de hardware masivo, se requiere un dispositivo con una resolución superior a 8k y una frecuencia de actualización superior a 120 HZ para evitar mareos a los usuarios. Este dispositivo debe tener más de una docena de cámaras, una duración de la batería de 4 horas o más (solo es necesario retirarla durante el almuerzo o la cena), poca o ninguna generación de calor, un peso inferior a 500 g y un precio tan bajo como 500- 1000 dólares estadounidenses. Aunque la fortaleza técnica actual ha mejorado mucho en comparación con la última ola de auge XR en 15-19 años, todavía es difícil cumplir con los estándares anteriores.

Pero aun así, si los usuarios comienzan a experimentar el equipo MR (VR + AR) existente, encontrarán que, aunque la experiencia actual no es perfecta, también es una experiencia inmersiva que las pantallas 2D no pueden igualar. Pero todavía hay mucho margen de mejora en esta experiencia, tomando Oculus Quest 2 como ejemplo, la mayoría de los videos de realidad virtual que se pueden ver son 1440p, que ni siquiera alcanza el límite de resolución de Quest 2 4K, y la frecuencia de actualización es mucho menos de 90p HZ. Sin embargo, los juegos de realidad virtual existentes solo tienen un modelado relativamente pobre y no hay muchas opciones para probar.

Fuente: VRChat

2. Killer App todavía no aparece

El “todavía no” de Killer App tiene razones históricas para quedar atrapado por el hardware: incluso si Meta hace todo lo posible por exprimir los márgenes de beneficio, los auriculares MR valen unos pocos cientos de dólares y la ecología relativamente simple es más rica que la ecología existente y el base de usuarios ha alcanzado una gran escala La consola de juegos todavía no es atractiva. La cantidad de dispositivos para VR está entre 25 y 30 millones, en comparación con los 350 millones para juegos AAA (PS 5, Xbox, Switch, PC). Por lo tanto, la mayoría de los fabricantes han dejado de admitir la realidad virtual, y los pocos juegos que admiten dispositivos de realidad virtual también están “diseñando la plataforma de realidad virtual”, en lugar de “solo admitir dispositivos de realidad virtual”. Además, debido a los problemas mencionados en el primer punto, como píxeles, mareos, poca duración de la batería y gran peso, la experiencia de los dispositivos VR no es mejor que la de los terminales de juegos 3A tradicionales. En cuanto a la ventaja de “inmersión” que los defensores de la realidad virtual intentan enfatizar, debido a la falta de inventario de equipos, los desarrolladores que “disponen los equipos de realidad virtual por cierto” rara vez diseñan la experiencia y los modos de interacción específicamente para la realidad virtual, lo que dificulta lograr el ideal. experiencia.

Por lo tanto, la situación actual es que cuando los jugadores eligen juegos de realidad virtual en lugar de juegos que no son de realidad virtual, no solo “eligen un nuevo juego”, sino que también “renuncian a la experiencia de socializar con la mayoría de sus amigos”, tales escenarios de juego suelen ser Sexualidad y la experiencia inmersiva son mucho mayores que la sociabilidad. Por supuesto, puede mencionar VR Chat, pero si profundiza, encontrará que el 90% de los usuarios no son usuarios de VR, sino jugadores que quieren experimentar la socialización con nuevos amigos en varios Avatares frente a pantallas normales. Por lo tanto, no sorprende que los juegos más populares en el software de realidad virtual sean juegos de audio como Rhythm Light.

Por lo tanto, creemos que el surgimiento de Killer App requiere de los siguientes elementos:

• Grandes mejoras en el rendimiento del hardware y detalles completos. Como se mencionó en “el hardware no está listo”, esta no es una operación simple como “mejorar la pantalla, mejorar el chip, mejorar el altavoz…”, sino el resultado de la cooperación integral del chip, accesorios, Diseño de interacción y sistema operativo, y esto es exactamente en lo que Apple es bueno: en comparación con el iPod y el iPhone hace más de diez años, Apple ha completado la colaboración de múltiples sistemas operativos de dispositivos con décadas de acumulación.
• La víspera del estallido de la propiedad del equipo de usuario. Al igual que el análisis anterior de la mentalidad de los desarrolladores y usuarios, el problema del “huevo o la gallina” es que es difícil que aparezca la aplicación Killer cuando la MAU de los dispositivos XR es solo de unos pocos millones. En el apogeo de “The Legend of Zelda: Breath of the Wild”, las ventas de cartuchos de juego en los Estados Unidos fueron incluso más altas que las de Switch. Este es "un ejemplo excelente de cómo el hardware incipiente entra en adopción masiva. Compre para experimentar XR People con el dispositivo se decepcionará gradualmente debido al contenido de experiencia limitado, hablando de cómo su pantalla montada en la cabeza se ha convertido en polvo, pero la mayoría de los jugadores que se sienten atraídos por Zelda explorarán más otros juegos en el ecosistema Switch y se quedarán.

Fuente: El borde

• Y, hábitos operativos unificados y compatibilidad de actualización de dispositivos relativamente estable. El primero es fácil de entender: con mango y sin mango, trae dos tipos de hábitos de comportamiento y experiencia para que los usuarios interactúen con la máquina, y esto es lo que distingue a Apple Vision Pro de otros dispositivos VR en el mercado. Esto último se puede ver en la iteración del hardware de Oculus: un gran aumento en el rendimiento del hardware dentro de la misma generación limitará la experiencia del usuario. Meta Quest Pro, que se lanzará en 2022, tiene una mejora sustancial en el rendimiento del hardware en comparación con Oculus Quest 2 (también conocido como Meta Quest 2), que se lanzará en 2020: la resolución de Quest Pro se ha incrementado desde la pantalla 4K de Quest 2 a 5,25 K, color La relación de contraste se ha aumentado en un 75 % y la frecuencia de actualización se ha incrementado de los 90 HZ originales a 120 HZ. Agregar 8 cámaras externas a las 4 cámaras de Quest 2 para comprender el entorno externo en VR, convertir imágenes ambientales en blanco y negro en color, mejorar significativamente el seguimiento de las manos y agregar el seguimiento del departamento de características faciales y oculares. Al mismo tiempo, Quest Pro también utiliza “renderizado foveado” para concentrar la potencia informática en el lugar donde los globos oculares miran y debilitar la fidelidad de otras partes, ahorrando así potencia informática y consumo de energía. Como se mencionó anteriormente, Quest Pro es mucho más poderoso que Quest 2, pero probablemente menos del 5% de los usuarios de Quest Pro usan Quest 2. Esto significa que los desarrolladores desarrollarán juegos para ambos dispositivos al mismo tiempo, lo que limitará en gran medida el uso de las ventajas de Quest Pro y, a su vez, reducirá el atractivo de Quest Pro para los usuarios. La historia rima, la misma historia ha sucedido una y otra vez en las consolas de juegos. Es por eso que los fabricantes de consolas actualizan el hardware y el software cada 6 u 8 años. Los usuarios que compraron la primera generación de Switch no se preocuparán por el Switch OLED de seguimiento y otros hardware Trayendo la incompatibilidad del software de juego recién lanzado, pero los usuarios que compran la serie Wii no pueden jugar juegos en el ecosistema Switch. Para los desarrolladores de software que se enfocan en juegos de consola, los juegos que producen no son para teléfonos móviles, que tienen una base de usuarios enorme (350 millones frente a miles de millones) y dependencia del usuario (inactivo en casa frente a 24/7), requiere una experiencia de hardware estable dentro de varios ciclos de desarrollo para evitar la desviación excesiva de usuarios o, al igual que los actuales desarrolladores de software de realidad virtual, compatibilidad con versiones anteriores para garantizar una base de usuarios suficiente.

Entonces, ¿puede Vision Pro resolver los problemas anteriores? ¿Cómo cambiará la industria?

Un giro con Vision Pro

En la conferencia de prensa del 7 de junio, se lanzó Apple Vision Pro. De acuerdo con el marco de “Retos de MR encontrados en hardware y software” que analizamos anteriormente, se puede hacer la siguiente analogía:

hardware:

• Visualmente, Vision Pro usa dos pantallas 4K con un total de aproximadamente 6K píxeles, que es la segunda mejor opción para los dispositivos MR actuales. La frecuencia de actualización puede admitir hasta 96 HZ y admite la reproducción de video HDR. Según la experiencia de los bloggers de tecnología, no solo la definición es alta, sino que casi no se siente mareo.
• En términos de audición, Apple ha utilizado audio espacial en Airpods desde 2020, lo que permite a los usuarios escuchar sonidos desde diferentes direcciones para lograr una experiencia de audio estereoscópica. Pero se espera que Vision Pro vaya un paso más allá, utilizando la “tecnología de rayos de audio”, integrando completamente el escaneo LiDAR en el dispositivo, analizando las características acústicas (materiales físicos, etc.) en la habitación y luego creando un “efecto de audio espacial”. que hace juego con la habitación, tiene dirección y profundidad.

• En términos de interacción, los gestos y el seguimiento ocular sin manijas hacen que la experiencia interactiva sea suave como la seda hasta el extremo (de acuerdo con la experiencia de medición real de los medios tecnológicos, la demora apenas se puede sentir, esto no es solo la precisión y el cálculo del sensor velocidad, pero también la introducción del Prejuicio de la trayectoria del ojo. Más sobre eso a continuación.)
• En términos de duración de la batería, la duración de la batería de Vision Pro es de 2 horas, que es básicamente la misma que la de Meta Quest Pro (no es sorprendente, y también es el punto donde se critica actualmente a Vision Pro. Pero debido a que Vision Pro es una fuente de alimentación externa, y una batería de 5000 mA se coloca en el auricular. Una batería pequeña, se puede adivinar que hay espacio para la vida útil de la batería del relé de alimentación de reemplazo).
• En cuanto al peso, según la experiencia de los medios tecnológicos, es de aproximadamente 1 libra (454 g), que es básicamente lo mismo que Pico y Oculus Quest 2, y debería ser más liviano que Meta Quest Pro. Es una buena experiencia en equipos de RM (aunque esto no se cuenta con el peso de la fuente de alimentación encadenada a la cintura). Pero en comparación con las gafas AR puras (como Nreal, Rokid, etc.) con un peso de unos 80 g, siguen siendo pesadas y tapadas. Por supuesto, la mayoría de los anteojos AR puros deben conectarse a otros dispositivos y solo se pueden usar como una pantalla extendida. En contraste, MR con su propio chip y una experiencia inmersiva real puede ser una experiencia completamente diferente.
• Además, en términos de rendimiento del hardware, Vision Pro no solo está equipado con el chip de la serie M2 con el rendimiento más alto para el funcionamiento del sistema y del programa, sino que también agrega un chip R especialmente desarrollado para la pantalla MR, el monitoreo del entorno circundante, el globo ocular y el gesto. monitoreo, etc. 1 chip, utilizado para funciones interactivas y de visualización propietarias de MR.

En términos de software, Apple no solo puede completar un cierto grado de migración con sus millones de ecosistemas de desarrolladores, sino que ya ha tenido una serie de diseños ecológicos con el lanzamiento de AR Kit:

En 2017, Apple lanzó AR Kit: un conjunto de marcos de desarrollo de realidad virtual compatibles con dispositivos iOS que permiten a los desarrolladores crear aplicaciones de realidad aumentada y aprovechar las capacidades de hardware y software de los dispositivos iOS. VR Kit permite que los activos digitales interactúen con el mundo real debajo de la cámara usando la cámara en el dispositivo iOS para crear un mapa del área, usando los datos de CoreMotion para detectar cosas como la mesa, el piso y la posición del dispositivo en espacio físico: por ejemplo, en Pokemon Go, puedes ver Pokémon enterrados en el suelo y estacionados en árboles, en lugar de mostrarse en la pantalla y moverse con la cámara. Los usuarios no necesitan hacer ninguna calibración para esto: es una experiencia AR perfecta.

• En 2017, se lanzó AR Kit, que puede detectar automáticamente la ubicación, la topología y las expresiones faciales del usuario para modelar y capturar expresiones.
• En 2018, se lanzó AR Kit 2, que brinda una mejor experiencia CoreMotion, lo que hace posible jugar juegos AR multijugador, rastrear imágenes 2D y detectar objetos 3D conocidos, como esculturas, juguetes y muebles.
• En 2019, se lanzó AR Kit 3, que agrega más funciones de realidad aumentada que pueden usar People Occlusion para mostrar contenido AR delante o detrás de las personas, y puede rastrear hasta tres caras. Las sesiones colaborativas también se pueden admitir para una nueva experiencia de juego compartido AR. La captura de movimiento se puede utilizar para comprender la posición y el movimiento del cuerpo, y realizar un seguimiento de las articulaciones y los huesos, lo que permite nuevas experiencias de AR que involucran a personas en lugar de solo objetos.
• En 2020, se lanzó AR Kit 4, que puede aprovechar el sensor LiDAR incorporado en el iPhone y iPad 2020 para mejorar el seguimiento y la detección de objetos. ARKit 4 también agrega anclajes de ubicación, que utilizan datos de Apple Maps para ubicar experiencias de realidad aumentada en coordenadas geográficas específicas.
• En 2021, se lanzará AR Kit 5, que permitirá a los desarrolladores crear sombreadores personalizados, generación de mallas de procedimientos, captura de objetos y control de personajes. Además, los objetos se pueden capturar utilizando API integradas, así como LiDAR y cámaras en dispositivos iOS 15. Los desarrolladores pueden escanear un objeto y convertirlo instantáneamente en un archivo USDZ que se puede importar a Xcode y usar como modelo 3D en su escena o aplicación ARKit. Esto mejora enormemente la eficiencia de producción de modelos 3D.
• En 2022, se lanzará AR Kit 6. La nueva versión de ARKit incluye la función “MotionCapture”, que puede rastrear personas en el cuadro de video y proporcionar a los desarrolladores un “esqueleto” de personaje que puede predecir la posición de la cabeza humana y miembros, apoyando así el desarrollo. El usuario puede crear una aplicación para superponer contenido AR en el personaje, u ocultarlo detrás del personaje, para que pueda integrarse de manera más realista con la escena.

Mirando hacia atrás en el diseño de AR Kit que comenzó hace siete años, se puede ver que la acumulación de tecnología AR de Apple no sucedió de la noche a la mañana, sino que integró sutilmente la experiencia AR en dispositivos que se han difundido ampliamente. Se ha completado una cierta cantidad de contenido y acumulación de desarrolladores. Al mismo tiempo, debido a la compatibilidad del desarrollo de AR Kit, los productos desarrollados no solo están dirigidos a los usuarios de Vision Pro, sino que también se adaptan a los usuarios de iPhone y iPad hasta cierto punto. Es posible que los desarrolladores no necesiten estar limitados por el límite máximo de 3 millones de usuarios activos mensuales para desarrollar productos, pero pueden probar y experimentar con cientos de millones de usuarios de iPhone y iPad.

Además, la captura de video 3D de Vision Pro también resuelve parcialmente el problema del contenido MR limitado en la actualidad: la producción de contenido. La mayoría de los videos de realidad virtual existentes son de 1440p, que parecen tener píxeles deficientes en la experiencia de pantalla circular de los auriculares MR. Sin embargo, el disparo de Vision Pro tiene video espacial de píxeles altos y una buena experiencia de audio espacial, lo que puede mejorar en gran medida la MR. experiencia Experiencia de consumo de contenido.

Aunque la configuración anterior es bastante impactante, la imaginación de Apple MR no se detiene allí: el día que se lanzó Apple MR, @sterlingcrispin, un desarrollador que afirmó haber participado en la neurociencia de Apple, dijo:

En general, gran parte del trabajo que hice implicó detectar el estado mental de los usuarios en función de los datos de su cuerpo y cerebro cuando estaban en experiencias inmersivas.

En general, mucho del trabajo que hago consiste en detectar el estado mental de los usuarios a través de sus datos físicos y cerebrales en experiencias inmersivas.

Por lo tanto, un usuario se encuentra en una experiencia de realidad mixta o realidad virtual, y los modelos de IA intentan predecir si se siente curioso, distraído, asustado, prestando atención, recordando una experiencia pasada o algún otro estado cognitivo. Y estos pueden inferirse a través de mediciones como el seguimiento ocular, la actividad eléctrica en el cerebro, los latidos y ritmos cardíacos, la actividad muscular, la densidad sanguínea en el cerebro, la presión arterial, la conductancia de la piel, etc.

El usuario se encuentra en una experiencia de realidad mixta o realidad virtual, y el modelo de IA intenta predecir si es curioso, distraído, temeroso, concentrado, recordando experiencias pasadas u otros estados cognitivos. Estos estados se pueden medir a través del seguimiento ocular, la actividad eléctrica del cerebro, los latidos y el ritmo cardíaco, la actividad muscular, la densidad sanguínea del cerebro, la presión arterial, la conductancia de la piel y más.

Había un montón de trucos involucrados para hacer posibles predicciones específicas, que el puñado de patentes en las que me nombran detallan. Uno de los mejores resultados implicó predecir que un usuario iba a hacer clic en algo antes de que realmente lo hiciera. Eso fue un montón de trabajo y algo de lo que estoy orgulloso. Tu pupila reacciona antes de que hagas clic en parte porque esperas que suceda algo después de que hagas clic. Por lo tanto, puede crear biorretroalimentación con el cerebro de un usuario al monitorear su comportamiento ocular y rediseñar la interfaz de usuario en tiempo real para crear más de esta respuesta anticipatoria de la pupila. Es una interfaz de computadora de cerebro cruda a través de los ojos, pero muy buena. Y preferiría eso a la cirugía cerebral invasiva cualquier día.

Para lograr una predicción particular, utilizamos una serie de trucos que se detallan en varias patentes a mi nombre. Uno de los mejores resultados es predecir cuándo un usuario hará clic en un objeto antes de que realmente haga clic. Es un trabajo duro y estoy orgulloso de ello. Tus alumnos responden antes de que hagas clic, en parte porque esperas que suceda algo después de hacer clic. Por lo tanto, al monitorear el comportamiento del movimiento ocular del usuario y rediseñar la interfaz de usuario en tiempo real, se puede realizar una biorretroalimentación con el cerebro del usuario para crear respuestas pupilares más anticipatorias. Es una cruda interfaz cerebro-computadora a través de los ojos, y es genial. Preferiría esto a la cirugía cerebral invasiva.

Otros trucos para inferir el estado cognitivo consistían en mostrar rápidamente imágenes o sonidos a un usuario en formas que tal vez no perciba y luego medir su reacción.

Otras técnicas para inferir el estado cognitivo incluyen mostrar rápidamente una imagen o un sonido de formas que el usuario puede no darse cuenta y medir su respuesta.

Otra patente entra en detalles sobre el uso del aprendizaje automático y las señales del cuerpo y el cerebro para predecir qué tan concentrado o relajado está, o qué tan bien está aprendiendo. Y luego actualizar los entornos virtuales para mejorar esos estados. Por lo tanto, imagina un entorno inmersivo adaptable que te ayude a aprender, trabajar o relajarte al cambiar lo que ves y escuchas en segundo plano.

Otra patente detalla el uso del aprendizaje automático y las señales del cuerpo y el cerebro para predecir qué tan concentrado, relajado o aprendiendo está, y actualizar el entorno virtual en función de esos estados. Así que imagina un entorno inmersivo adaptable que te ayude a estudiar, trabajar o relajarte cambiando lo que ves y escuchas de fondo.

Estas tecnologías, de gran relevancia para la neurociencia, pueden marcar una nueva forma de sincronización entre las máquinas y la voluntad humana.

Por supuesto, Vision Pro no está exento de fallas. Por ejemplo, su altísimo precio de $ 3499 es más del doble que Meta Quest Pro y más de siete veces que Oculus Quest 2. Al respecto, el CEO de Runway, Siqi Chen, dijo:

podría ser útil recordar que en dólares ajustados a la inflación, el apple vision pro tiene un precio de menos de la mitad del macintosh original de 1984 en el momento del lanzamiento (más de $ 7 K en dólares de hoy)

Como recordará, el Apple Vision Pro tenía un precio de menos de la mitad de lo que costaba el Macintosh cuando se introdujo en 1984 (equivalente a más de $7000 en la actualidad) en dólares estadounidenses ajustados a la inflación.

Bajo tal analogía, el precio de Apple Vision Pro no parece demasiado escandaloso… Sin embargo, el volumen de ventas de la primera generación de Macintosh fue de solo 372,000 unidades.Es difícil imaginar que Apple, que ha trabajado duro en MR, puede aceptar una situación vergonzosa similar— —Es posible que la realidad no cambie mucho en unos pocos años. AR no necesariamente necesita anteojos, y es difícil popularizar Vision Pro en un corto período de tiempo. Es probable que solo se use como una herramienta para que los desarrolladores experimenten y prueben, una herramienta de producción para creadores y entusiastas digitales, juguetes caros.

Fuente: Tendencia de Google

Sin embargo, podemos ver que el equipo MR de Apple ha comenzado a agitar el mercado, cambiando el atractivo de los usuarios comunes de productos digitales a MR y haciendo que el público se dé cuenta de que MR es más maduro y ya no es un ppt/productos de video de presentación. Permita que los usuarios se den cuenta de que, además de las tabletas, los televisores y los teléfonos móviles, existe la opción de usar pantallas inmersivas; permita que los desarrolladores se den cuenta de que MR puede convertirse realmente en una nueva tendencia en el hardware de próxima generación; permita que los capitalistas de riesgo se den cuenta de que esto puede ser un campo de inversión con un techo muy alto.

Web 3 y ecología relacionada

1. Representación 3D + concepto de IA Objetivo: RNDR

Introducción a RNDR

En los últimos seis meses, RNDR ha sido un meme que combina los tres conceptos de Metaverse, AI y MR, y ha liderado el mercado muchas veces.

El proyecto detrás de RNDR es Render Network, un protocolo para el renderizado distribuido utilizando una red descentralizada. OTOY.Inc, la empresa detrás de Render Network, se fundó en 2009 y su software de renderizado, OctaneRender, está optimizado para el renderizado de GPU. Para los creadores comunes, el renderizado local requiere muchas máquinas, lo que genera una demanda de renderizado en la nube, pero si alquila servidores de AWS, Azure y otros fabricantes para el renderizado, el costo también puede ser mayor: así nació The Render Network. La renderización no se limita a las condiciones del hardware. Conecta a los creadores y usuarios normales con GPU inactivas, lo que permite a los creadores renderizar de manera económica, rápida y eficiente, y los usuarios de nodos pueden usar GPU inactivas para ganar dinero de bolsillo.

Para Render Network, los participantes tienen dos identidades:

• Creador: publique una tarea y use moneda legal para comprar crédito o RNDR para el pago. (Octane X para tareas de publicación está disponible en Mac y iPad, 0.5-5% de la tarifa cubrirá los costos de red).
• Proveedor de nodos (propietario de GPU inactivo): los propietarios de GPU inactivos pueden postularse para convertirse en proveedores de nodos y decidir si obtienen coincidencias de prioridad en función de la reputación de las tareas completadas anteriormente. Una vez que el nodo termine de renderizarse, el autor verá el archivo renderizado y lo descargará. Una vez descargada, la tarifa bloqueada en el contrato inteligente se enviará a la billetera del proveedor del nodo.

La tokenomics de RNDR también se cambió en febrero de este año, lo cual es una de las razones de su aumento de precio (pero hasta que se publicó el artículo, Render Network no ha aplicado las nuevas tokenomics a la red, y aún no ha dado el lanzamiento específico tiempo):

Anteriormente, en la red, el poder adquisitivo de $RNDR era el mismo que el de Crédito, y 1 crédito = 1 euro. Cuando el precio de $RNDR es inferior a 1 euro, es más rentable comprar $RNDR que comprar Crédito con moneda fiduciaria, pero cuando el precio de $RNDR sube a más de 1 euro, porque todo el mundo tiende a comprar con moneda fiduciaria moneda, $RNDR perderá su condición de caso de uso. (Aunque los ingresos del acuerdo pueden usarse para recomprar $RNDR, otros jugadores en el mercado no tienen incentivos para comprar $RNDR).

El modelo económico modificado adopta el modelo “BME” (Burn-Mint-Emission) de Helium. Cuando los creadores compran servicios de renderizado, independientemente de si usan moneda fiduciaria o $RNDR, destruirán $RNDR equivalente al 95% del valor de la moneda fiduciaria, y el 5% restante Renta que fluye a la Fundación para su uso como motor. Cuando el nodo brinda servicios, ya no recibe directamente los ingresos del creador por la compra de servicios de prestación, sino que recibe recompensas de tokens recién acuñadas. La base de las recompensas no solo se basa en los indicadores de finalización de tareas, sino también en otros factores integrales, como la satisfacción del cliente.

Vale la pena señalar que para cada nueva época (período de tiempo específico, no se ha especificado la duración específica), se acuñarán nuevos $RNDR, y la cantidad de acuñación está estrictamente limitada y disminuirá con el tiempo, independientemente de la cantidad de tokens. quemado (detalles Ver el documento de lanzamiento para el libro blanco oficial). Por lo tanto, traerá cambios en la distribución de beneficios a los siguientes Interesados:

• Creador/Usuario del servicio de Red: En cada época se devolverá parte del RNDR consumido por el creador, y la proporción irá decreciendo en el tiempo.
• Corredores de nodos: los corredores de nodos serán recompensados en función de factores como la carga de trabajo completada y la actividad en línea en tiempo real.
• Proveedores de liquidez: los proveedores de liquidez de Dex también serán recompensados para garantizar suficientes $RNDR para quemar.

Fuente:

En comparación con el modo de recompra de ingresos (irregular) anterior, en el nuevo modo, cuando la demanda de tareas de renderizado es insuficiente, los mineros pueden obtener más ingresos que antes, y el precio total de la tarea correspondiente a la demanda de tareas de renderizado es mayor que el liberado. $RNDR Cuando aumenta la cantidad total de recompensas, los mineros recibirán menos ingresos que el modelo original (fichas quemadas > fichas recién acuñadas), y las fichas $RNDR también entrarán en un estado deflacionario.

Aunque $RNDR ha disfrutado de un aumento gratificante en los últimos seis meses, la situación comercial de Render Network no ha aumentado significativamente como el precio de la moneda: la cantidad de nodos no ha fluctuado significativamente en los últimos dos años, y el $RNDR mensual asignado a nodos no ha aumentado significativamente, pero la representación La cantidad de tareas sí ha aumentado; se puede ver que las tareas asignadas por los creadores a la red se han movido gradualmente de una gran cantidad única a múltiples cantidades pequeñas).

Aunque no puede mantenerse al día con el aumento de cinco veces en los precios de las divisas en un año, el GMV de Render Network sí ha dado paso a un crecimiento relativamente grande. En 2022, el GMV (Valor bruto de la mercancía, valor total de transacción) aumentará en 70% en comparación con el año pasado. De acuerdo con la cantidad total de $RNDR asignada a los nodos en Dune Kanban, el GMV en la primera mitad de 2023 es de aproximadamente $1,19 millones, lo que básicamente no representa un aumento en comparación con el mismo período en 2022. Tal GMV obviamente no es suficiente para el mCap de $ 700 millones.

Fuente: Impacto potencial del lanzamiento del RNDR

Introducción del impacto de Vision Pro en RNDR

En un artículo de Medium publicado el 10 de junio, Render Network afirma que las capacidades de renderizado de Octane para M 1 y M 2 son únicas; dado que Vision Pro también usa el chip M 2, el renderizado en Vision Pro no será lo mismo que un chip normal M 2. La representación de escritorio es diferente.

Pero la pregunta es: ¿por qué publicar tareas de renderizado en un dispositivo con una duración de batería de 2 horas que se usa principalmente para experimentar y jugar, no como una herramienta de productividad? Si se reduce el precio de Vision Pro, se mejora considerablemente la duración de la batería, se reduce el peso y se logra realmente la adopción masiva, puede ser hora de que Octane desempeñe un papel…

Se puede confirmar que la migración de activos digitales de dispositivos planos a dispositivos MR provocará un aumento en la demanda de infraestructura. Al anunciar la cooperación con Apple para estudiar cómo crear un motor de juego Unity que sea más adecuado para Vision Pro, el precio de las acciones subió un 17 % en el día, lo que también muestra el sentimiento optimista del mercado. Con la cooperación entre Disney y Apple, la transformación 3D del contenido tradicional de cine y televisión puede marcar el comienzo de un crecimiento de demanda similar. Render Network, que se especializa en renderizado de películas y televisión, lanzó NeRFs, una tecnología de renderizado 3D combinada con IA, en febrero de este año, utilizando computación de inteligencia artificial y renderizado 3D para crear activos 3D inmersivos en tiempo real que se pueden ver en dispositivos MR. en el Apple AR Kit Con soporte, cualquiera puede realizar Photoscan en objetos con una configuración más alta para generar activos 3D, mientras que la tecnología NeRF usa renderizado agregado por IA para renderizar el Photoscan 3D simple en diferentes ángulos que pueden refractar diferentes luces Activos 3D inmersivos: esto El tipo de renderizado espacial será una herramienta importante para la producción de contenido de dispositivos MR, proporcionando una demanda potencial para Render Network.

Pero, ¿esta necesidad será satisfecha por el RNDR? Mirando su GMV de 2 millones de dólares estadounidenses en 2022, es una gota en el océano en comparación con el costo de la industria del cine y la televisión. En resumen, RNDR puede, por supuesto, continuar usando el meme de la pista “metaverse, XR, AI” para crear otro precio brillante cuando la pista está caliente, pero aún es difícil generar ingresos que coincidan con la valoración.

2. Metaverso: Otherside, Sandbox, Decentraland, HighStreet, etc.

Aunque creo que los cambios fundamentales sustanciales son limitados: los temas relacionados con MR parecen ser inseparables de estos grandes proyectos de metaverso, Monkey’s Otherside, Animoca’s The Sandbox, el Metaverse Decentraland de cadena de bloques más antiguo y Highstreet que quiere ser Shopify en el mundo de la realidad virtual ( Consulte la sección 4. Análisis comercial: análisis de la industria y potencial para obtener un análisis detallado de la pista del metaverso)

Pero como se analizó anteriormente en “La aplicación Killer aún no ha aparecido”, la mayoría de los desarrolladores compatibles con VR existentes no “solo admiten VR” (incluso si solo admiten VR y son los líderes de la industria, al nivel de un millón en el Segmento de mercado MAU, no es un nivel competitivo para alcanzar el nivel superior), y los productos existentes no se han adaptado cuidadosamente a los hábitos de los usuarios y las interacciones operativas de MR. Los proyectos que aún no se han lanzado están en realidad en la línea de salida, no lejos de todos los demás grandes fabricantes y empresas emergentes que ven el potencial de Vision Pro: después de que Unity y Vision Pro hayan hecho una mejor combinación, el desarrollo de juegos ecológicos de MR Se espera que el costo de aprendizaje se reduzca, y la experiencia acumulada en un mercado relativamente estrecho en el pasado es difícil de reutilizar en un producto que está a punto de pasar a la adopción masiva.

Por supuesto, si queremos hablar de las ventajas de ser el primero en actuar, los proyectos que ya han implementado la realidad virtual pueden, por supuesto, tener ventajas débiles en el progreso del desarrollo, la tecnología y la acumulación de talento.

Una cosa más

Si no ha visto el siguiente video, este será su sentimiento más intuitivo sobre el mundo de MR: conveniente e inmersivo, pero caótico y desordenado. Lo virtual y lo real se fusionan tan a la perfección que las personas mimadas por la realidad virtual ven “perder su identidad en el dispositivo” como algo apocalíptico. Los detalles en el video todavía nos parecen un poco de ciencia ficción e incomprensibles ahora, pero es probable que este sea el futuro al que nos enfrentaremos en unos años.

Esto me recuerda a otro video, en 2011, es decir, hace 12 años, Microsoft lanzó Windows Phone 7 (como un Gen Z con poca memoria de esa época, es difícil pensar que Microsoft ha trabajado mucho en teléfonos móviles), y hizo un anuncio satírico sobre los teléfonos inteligentes “¿En serio?”: Las personas en el anuncio sostienen sus teléfonos con fuerza todo el tiempo, andan en bicicleta mientras miran sus teléfonos, toman un baño de sol en la playa mientras miran sus teléfonos, toman una ducha con sus teléfonos apretados En el banquete, me caí por las escaleras porque miré el teléfono móvil, e incluso dejé caer el teléfono móvil en el urinario debido a la distracción… La intención original de Microsoft era mostrar a los usuarios que “el teléfono móvil lanzado por Microsoft ahorrará nosotros de la adicción al teléfono móvil” - esto Por supuesto que fue un intento fallido, y el nombre de este anuncio “¿En serio?” podría incluso cambiarse a “Realidad”. El “sentido de presencia” y el diseño intuitivo de interacción de los teléfonos inteligentes son más adictivos que la “versión móvil antihumana de la computadora con Windows”, al igual que la realidad de la combinación de virtual y real es más adictiva que la pura realidad.

¿Cómo captar tal futuro? Tenemos varias direcciones que estamos explorando:

• Experiencias inmersivas y creación de narraciones: Video First, filmar películas “con profundidad 3D” nunca ha sido tan fácil después del lanzamiento de Vision Pro, que cambiará la forma en que las personas consumen contenido digital: de “apreciación a distancia” a “experiencia inmersiva”. Además de la filmación de videos, el “espacio 3D con experiencia de contenido” puede ser otra pista digna de atención. Esto no significa construir aleatoriamente la misma escena de la biblioteca de plantillas, o algunos espacios aparentemente explorables extraídos del juego, sino un espacio con una experiencia de “contenido nativo interactivo y 3D más amigable”. Tal espacio puede ser un apuesto instructor de piano que también se sienta en el banco del piano, resalta las teclas correspondientes y te alienta suavemente cuando estás deprimido; puede ser un duende que esconde la clave del juego para pasar al siguiente nivel en la esquina de tu room; También puede ser una novia virtual empática que camina con los jugadores… La economía del creador creada aquí puede usar la capa inferior de la cadena de bloques para desconfiar, liquidación automática, contenido digital basado en activos y transacciones de bajo desgaste. Los creadores pueden usarlos mejor para interactuar con los fanáticos sin intermediación, sin la molestia de registrar una empresa y configurar Stripe para recibir pagos, y sin darle a la plataforma una participación del 10% (Substack) -70% (Roblox), o incluso Preocuparse por si la plataforma quebrará y le quitará su arduo trabajo… Una billetera, una plataforma de contenido componible y almacenamiento descentralizado pueden resolver el problema. Se llevarán a cabo mejoras similares en los juegos y espacios sociales, e incluso se puede decir que los límites entre juegos, películas y espacios sociales se volverán cada vez más borrosos: cuando la experiencia ya no sea una gran pantalla suspendida a unos metros de distancia, sino cerca. frente a ti, con profundidad, interacción de audio con distancia y sentido espacial, el jugador ya no es una audiencia “observadora”, sino un personaje que participa en la escena, e incluso la acción afectará el entorno del mundo virtual (por ejemplo, si levantas la mano en la selva, las mariposas volarán hasta la punta de tu dedo).
• Infraestructura y comunidad de activos digitales en 3D: la función de filmación en 3D de Vision Pro reducirá en gran medida la dificultad de la creación de videos en 3D, dando así nacimiento a un nuevo mercado de producción y consumo de contenido. La infraestructura ascendente y descendente correspondiente, como el comercio y la edición de materiales, puede seguir estando dominada por los gigantes existentes, o puede ser abierta por empresas emergentes como AIGC.
• Actualizaciones de hardware/software para mejorar la experiencia inmersiva: ya sea la “observación más detallada del cuerpo humano para crear un entorno adaptable” que Apple está estudiando, o la adición de experiencias táctiles, gustativas y otras experiencias inmersivas, es una pista con un potencial considerable.

Por supuesto, existe una alta probabilidad de que los emprendedores en este campo tengan una comprensión más profunda, un pensamiento y una exploración más creativa que nosotros. Bienvenido DM @0 x scarlettw para comunicarse y explorar la posibilidad de la era de la computación espacial.

Agradecimientos y referencias:

Gracias a @fanyayun, socio de Mint Ventures, y @xuxiaopengmint, socio de investigación, por sus consejos, revisión y revisión durante la redacción de este artículo. El marco de análisis XR proviene de la serie de artículos de @ballmatthew, Apple WWDC y cursos para desarrolladores, y la experiencia del autor con varios dispositivos XR en el mercado.

• fc 6336 b 5 a 0337 d 489 d 6 eaf 7 ae 486 e 621
• 0 x 30 bF 18409211 FB 048 b 8 Abf 44 c 27052 c 93 cF 329 F 2 /6xR2nFi- Q 5 WdXIDZpEga 4 xS 3 m 3 AZ 61 hXyu 6 dzIEBb_E