Apple Vision Pro lança repensando a lua cheia: XR, RNDR e o futuro da computação espacial

Autor: Scarlett Wu

Nas primeiras horas da WWDC (Apple Worldwide Developers Conference) em 6 de junho, também foi o quinto dia depois que descobri que estava com COVID-19. Adiado novamente?

Então, quando Cook apareceu às duas da manhã, ele acenou “Mais uma coisa”, e meus amigos e eu comemoramos juntos deste lado da tela:

O Macintosh introduziu a computação pessoal, o iPhone introduziu a computação portátil e o Apple Vision Pro apresentará a computação espacial

O computador Macintosh iniciou a era do computador pessoal, o iPhone iniciou a era da Internet móvel e o Apple Vision Pro iniciou a era da computação espacial.

Como um entusiasta da tecnologia de ponta, torço pelos novos brinquedos que posso ter no próximo ano, mas como um investidor da Web 3 focado em jogos, metaverso e IA, esse é um sinal de uma nova era que me faz estremecer.

Você pode se perguntar: “O que a atualização do hardware de RM tem a ver com a Web 3?” Bem, vamos começar com a Tese da Mint Ventures na trilha do metaverso.

Nosso metaverso, ou a Tese do mundo Web 3

O prêmio do ativo no mundo blockchain vem de:

1. A camada inferior de transações confiáveis traz a redução dos custos de transação: a confirmação de direitos de ativos e proteção de propriedade de bens físicos são baseadas na confirmação compulsória de direitos pela agência de violência da máquina estatal, enquanto a confirmação de direitos de ativos no mundo virtual baseia-se no “consenso de dados “Confiança que não pode (ou não deve) ser adulterada”, e no reconhecimento do próprio ativo após a confirmação do título. Embora você possa clicar com o botão direito do mouse para copiar e colar, o BAYC ainda tem o preço de uma casa nas cidades de nível 18. Isso não ocorre porque as imagens copiadas e coladas são realmente diferentes das imagens dos metadados NFT, mas com base na premissa de que o mercado tem um consenso sobre “não copiabilidade” Existe a possibilidade de securitização.
2. Um alto grau de securitização de ativos traz um prêmio de liquidez
3. A transação sem permissão correspondente ao mecanismo de consenso descentralizado traz “prêmio sem permissão”

Bens no mundo virtual são mais fáceis de securitizar do que bens físicos:

• Pela história da popularização do pagamento de ativos digitais, percebe-se que o hábito das pessoas de pagar por conteúdo virtual não se desenvolveu da noite para o dia, mas é inegável que o pagamento por ativos virtuais penetrou na vida do público. Em abril de 2003, o advento da iTunes Store fez com que as pessoas descobrissem que, além de baixar músicas para o Walkman na Internet, onde a pirataria é desenfreada, também existe a opção de comprar música digital genuína para apoiar criadores favoritos; em 2008, o A App Store foi lançada, uma compra única Tornou-se popular em todo o mundo e a função de compra no aplicativo subsequente continuou a contribuir para a receita de ativos digitais da Apple.
• Há também uma linha cinza de cobra de grama enterrada nas mudanças no modelo de pagamento da indústria de jogos. A versão original da indústria de jogos era Arcade Game. O modelo de pagamento na era arcade era “pagar pela experiência” (semelhante aos filmes), e o modelo de pagamento na era dos consoles era “pagar por cassetes/discos” (semelhante aos filmes e álbuns de música). A venda de jogos puramente digitais começou. Ao mesmo tempo, surgiram mitos do mercado de jogos digitais do Steam e das compras no jogo que permitiam que alguns jogos alcançassem receita. A história das atualizações do modelo de pagamento de jogos também é uma história de redução dos custos de distribuição, de máquinas de fliperama a consoles, a plataformas de distribuição digital de jogos onde todos podem fazer login com computadores pessoais e telefones celulares e o próprio jogo em que os jogadores já estão imersos. O tamanho do corpo do jogo A tendência é que o custo da distribuição técnica seja cada vez menor e o público cada vez mais amplo; enquanto os ativos do jogo mudaram de “uma parte da experiência” para “mercadorias compráveis”. (Embora a pequena tendência na última década tenha se transformado em um aumento no custo de distribuição de ativos digitais ano a ano, isso se deve principalmente ao baixo crescimento da Internet, alta concorrência e monopólio de entradas de tráfego em atenção.)

Então, o que vem a seguir? Ativos negociáveis do mundo virtual serão um tema sobre o qual estamos sempre otimistas.

Com a melhoria da experiência do mundo virtual, o tempo de imersão das pessoas no mundo virtual se tornará cada vez mais longo, o que trará uma mudança na atenção. A mudança de atenção também trará uma mudança no prêmio de avaliação de forte apego a entidades para ativos virtuais. O lançamento do Apple Vision Pro mudará completamente a experiência dos humanos interagindo com o mundo virtual, trazendo assim um aumento no tempo de imersão do mundo virtual e uma melhoria substancial na experiência de imersão.

Fonte: @FEhrsam

*Nota: Esta é a nossa definição variante da estratégia de preços. Na estratégia de preços premium, a marca define o preço em uma faixa de preço muito superior ao custo e preenche a história e a experiência da marca na diferença entre o preço e o custo. Além disso, precificação de custo, precificação competitiva, relação entre oferta e demanda, etc. também são fatores que serão considerados na precificação de commodities, e apenas a precificação premium será expandida aqui. *

História e presente da indústria de RM

A exploração de XR (Extended Reality, incluindo VR e AR) na sociedade moderna começou há mais de dez anos:

• Em 2010, o Magic Leap foi formado. Em 2015, o incrível anúncio do Magic Leap para o salto da baleia no estádio causou sensação em todo o mundo da tecnologia, mas quando o produto foi lançado oficialmente em 2018, foi vaiado por causa da experiência extremamente ruim do produto. A empresa levantou US$ 500 milhões em 2021 com uma avaliação pós-dinheiro de US$ 2,5 bilhões, fazendo com que a empresa valesse 30% menos do que a soma de seus financiamentos - US$ 3,5 bilhões. Em janeiro de 2022, foi relatado que o fundo soberano da Arábia Saudita havia obtido o controle majoritário por meio de um acordo de capital e dívida de $ 450 milhões, e a avaliação real da empresa caiu para menos de $ 1 bilhão.
• Em 2010, a Microsoft começou a desenvolver o Hololens, lançou o primeiro dispositivo AR em 2016 e lançou o segundo em 2019. O preço é de $ 3.000, mas a experiência real não é boa.
• Em 2011, o protótipo do Google Glass foi lançado. O primeiro produto foi lançado em 2013. Ele já foi um grande sucesso e recebeu grandes expectativas. No entanto, devido a problemas de privacidade da câmera e experiência ruim do produto, acabou desanimado e o total o volume de vendas foi de apenas alguns milhões de unidades. A versão corporativa foi lançada em 2019 e a nova versão beta foi testada em campo em 2022, e a resposta foi medíocre. Em 2014, a plataforma de desenvolvimento Carboard VR e o SDK do Google foram lançados. Em 2016, foi lançado o Daydream VR, que atualmente é a plataforma de realidade virtual mais usada para Android.
• Em 2011, a Sony PlayStation começou a desenvolver sua plataforma VR. Em 2016, o PSVR fez sua estreia. Embora devido à confiança no PlayStation, os usuários compraram com mais entusiasmo quando foi lançado, mas a resposta posterior não foi boa.
• Em 2012, a Oculus foi fundada e adquirida pelo Facebook em 2014. O Oculus Rift foi lançado em 2016, totalizando 4 modelos sucessivamente lançados. O foco principal é a portabilidade e preço mais baixo. É um dispositivo com uma participação de mercado relativamente alta no mercado.
• Em 2014, a Snap adquiriu a Vergence Labs, empresa fundada em 2011 com foco em óculos AR, que se tornou o protótipo do Snap Spectacles. Foi lançado pela primeira vez em 2016 e 3 dispositivos atualizados foram lançados sucessivamente. Como a maioria dos produtos mencionados acima, o Snap Spectacles atraiu muita atenção no início, as pessoas fizeram fila em frente à loja, mas poucos usuários acompanharam, o Snap fechou a divisão de hardware da empresa em 2022 e voltou a focar em produtos baseados em smartphones .AR.
• Por volta de 2017, a Amazon começou a desenvolver óculos AR baseados em Alexa, os primeiros Echo Frames foram lançados em 2019 e a segunda versão foi lançada em 2021.

Quando olhamos para trás na história do XR, podemos ver que a expansão e cultivo desta indústria está muito além das expectativas de todos no mercado, seja um gigante da tecnologia com muito dinheiro e muitos cientistas, ou uma empresa start-up inteligente e capaz que arrecadou centenas de milhões de dólares e se concentra em XR. Desde o lançamento do produto de realidade virtual Oculus Rift em 2016, todas as marcas de realidade virtual, como Samsung’s Gear, Byte’s Pico, Valve’s Index, Sony’s Playstation VR e HTC’s Vive, venderam menos de 45 milhões de unidades. Como os dispositivos VR mais usados ainda são jogos, os dispositivos AR que as pessoas estão dispostas a usar ocasionalmente não apareceram antes do lançamento do Vision Pro. De acordo com os dados do SteamVR, pode-se inferir aproximadamente que os usuários ativos mensais de dispositivos VR pode ter apenas um pequeno milhão.

Por que os dispositivos XR não estão ganhando popularidade? A experiência de fracasso de inúmeras empresas iniciantes e o resumo de instituições de investimento podem dar algumas respostas:

1. O hardware não está pronto

Visualmente, os dispositivos VR têm um ângulo de visão mais amplo e estão mais próximos dos globos oculares. Mesmo com os dispositivos mais avançados, os pixels na tela ainda são difíceis de ignorar. 4K para um olho ou 8K para ambos os olhos é necessário para imersão total. Além disso, a taxa de atualização também é um elemento central na manutenção da experiência visual. Geralmente, acredita-se no mercado que, para obter o efeito anti-tontura, os dispositivos XR precisam de 120 HZ ou até 240 HZ por segundo para manter uma experiência semelhante ao mundo real. E a taxa de atualização, sob o mesmo poder computacional, é um elemento que precisa ser balanceado com o nível de renderização: o Fortnite suporta resolução 4k a uma taxa de atualização de 60 HZ, mas suporta apenas resolução de 1440p a uma taxa de atualização de 120 HZ.

Porque em comparação com a intuição visual, a audição parece ser inútil em pouco tempo, e a maioria dos dispositivos de RV não trabalhou muito nesse detalhe. Mas imagine que em um espaço, não importa se é uma pessoa à esquerda ou à direita, a voz de quem fala é transmitida do topo da cabeça de forma constante, o que reduzirá muito a sensação de imersão. E quando o Avatar digital no espaço AR é fixado na sala, quando o jogador caminha do quarto para a sala, o volume da fala do Avatar é o mesmo, o que vai reduzir sutilmente o realismo do espaço.

Em termos de interação, os dispositivos VR tradicionais são equipados com alças de controle e, por exemplo, o HTC Vive precisa instalar câmeras em casa para confirmar o status do movimento do jogador. Embora o Quest Pro tenha rastreamento ocular, ele possui alta latência e sensibilidade média. É usado principalmente para aprimoramento de renderização local, e a operação interativa real ainda é dominada por alças. Ao mesmo tempo, a Oculus também instalou 4-12 câmeras no fone de ouvido para confirmar o estado da cena do usuário e alcançar um certo grau de experiência de interação por gestos (por exemplo, no mundo VR, use a mão esquerda para pegar um virtual telefone e o dedo indicador direito está vazio. Clique em OK para iniciar o jogo).

Em termos de peso, a qualidade do equipamento que faz com que o corpo humano se sinta confortável deve situar-se entre os 400-700 g (embora em comparação com os copos normais de cerca de 20 g, este ainda seja um monstro enorme). Mas, a fim de alcançar a clareza acima mencionada, taxa de atualização, nível de interação, poder de computação (desempenho do chip, tamanho e quantidade) compatível com seus requisitos de renderização e horas de requisitos básicos de duração da bateria, o peso do dispositivo XR é difícil processo de troca.

Resumindo, se o XR pretende se tornar um celular de última geração e se tornar uma nova geração de hardware de massa, é necessário um dispositivo com resolução acima de 8k e taxa de atualização superior a 120 HZ para evitar tonturas para os usuários. Este dispositivo deve ter mais de uma dúzia de câmeras, bateria com duração de 4 horas ou mais (só precisa ser removida durante o intervalo do almoço/jantar), nenhuma ou pouca geração de calor, peso inferior a 500 g e preço tão baixo quanto 500- 1000 dólares americanos. Embora a força técnica atual tenha melhorado muito em comparação com a última onda do boom XR em 15-19 anos, ainda é difícil atender aos padrões acima.

Mas, mesmo assim, se os usuários começarem a experimentar o equipamento MR (VR + AR) existente, descobrirão que, embora a experiência atual não seja perfeita, também é uma experiência imersiva que as telas 2D não podem igualar. Mas ainda há um espaço considerável para melhorias nesta experiência tomando Oculus Quest 2 como exemplo, a maioria dos vídeos VR que podem ser assistidos são 1440p, o que não atinge nem o limite de resolução do Quest 2 4K, e a taxa de atualização é muito menos do que 90p HZ. No entanto, os jogos de VR existentes têm apenas uma modelagem relativamente ruim e não há muitas opções para tentar.

Fonte: VRChat

2. Killer App ainda não aparece

O “ainda não” do Killer App tem razões históricas para ficar preso ao hardware - mesmo que a Meta faça o possível para espremer as margens de lucro, os fones de ouvido MR valem algumas centenas de dólares e a ecologia relativamente simples são mais ricos do que a ecologia existente e o base de usuários atingiu uma grande escala O console de jogos ainda não é atraente. O número de dispositivos para VR está entre 25-30 milhões, em comparação com 350 milhões para jogos AAA (PS 5, Xbox, Switch, PC). Portanto, a maioria dos fabricantes desistiu de oferecer suporte a VR, e os poucos jogos que oferecem suporte a dispositivos VR também estão “desenvolvendo a plataforma VR a propósito”, em vez de “suportar apenas dispositivos VR”. Além disso, devido aos problemas mencionados no primeiro ponto, como pixels, tontura, pouca duração da bateria e peso elevado, a experiência dos dispositivos VR não é melhor do que a dos terminais de jogos 3A tradicionais. Quanto à vantagem de “imersão” que os defensores da RV tentam enfatizar, devido à falta de inventário de equipamentos, os desenvolvedores que “implantam acidentalmente equipamentos de RV” raramente projetam modos de experiência e interação especificamente para RV, dificultando a obtenção da experiência ideal.

Portanto, a situação atual é que, quando os jogadores escolhem jogos VR em vez de jogos não VR, eles não apenas “escolhem um novo jogo”, mas também “desistem da experiência de socializar com a maioria de seus amigos”. e a experiência imersiva são muito maiores do que a sociabilidade. Claro, você pode mencionar o VR Chat, mas se você se aprofundar, descobrirá que 90% dos usuários não são usuários de VR, mas jogadores que desejam socializar com novos amigos em vários avatares na frente de telas comuns. Portanto, não é surpresa que os jogos mais populares em software de realidade virtual sejam jogos de áudio como Rhythm Light.

Portanto, acreditamos que o surgimento do Killer App requer os seguintes elementos:

• Grandes melhorias no desempenho do hardware e detalhes gerais. Conforme mencionado em “hardware não está pronto”, esta não é uma operação simples como “melhorar a tela, melhorar o chip, melhorar o alto-falante…”, mas o resultado da cooperação total de chips, acessórios, interação design e sistema operacional - e é exatamente nisso que a Apple é boa: em comparação com o iPod e o iPhone há mais de dez anos, a Apple concluiu a colaboração de vários sistemas operacionais de dispositivos com décadas de acúmulo.
• A véspera do surto de propriedade do equipamento do usuário. Assim como a análise acima da mentalidade de desenvolvedores e usuários, o problema do “ovo ou galinha” é que é difícil para o Killer App aparecer quando o MAU dos dispositivos XR é de apenas alguns milhões. No auge de “The Legend of Zelda: Breath of the Wild”, as vendas de cartuchos de jogos nos Estados Unidos foram ainda maiores do que a propriedade do Switch - este é "um excelente caso de como o hardware nascente entra na adoção em massa. Compre para experimentar o XR People com o dispositivo ficará gradualmente desapontado por causa do conteúdo de experiência limitada, falando sobre como seu head-mounted display caiu em pó, mas a maioria dos jogadores que são atraídos por Zelda irão explorar mais outros jogos no ecossistema do Switch. jogo e ficar.

Fonte: The Verge

• E, hábitos operacionais unificados e compatibilidade de atualização de dispositivo relativamente estável. O primeiro é fácil de entender - com alça e sem alça, traz dois tipos de hábitos de comportamento e experiência para os usuários interagirem com a máquina, e é isso que distingue o Apple Vision Pro de outros dispositivos VR no mercado. O último pode ser visto na iteração do hardware Oculus - um grande aumento no desempenho do hardware na mesma geração limitará a experiência do usuário. O Meta Quest Pro, que será lançado em 2022, tem uma melhoria substancial no desempenho do hardware em comparação com o Oculus Quest 2 (também conhecido como Meta Quest 2), que será lançado em 2020: a resolução do Quest Pro foi aumentada em relação à tela 4K do Quest 2 para 5,25K, cor A taxa de contraste foi aumentada em 75% e a taxa de atualização foi aumentada dos 90 HZ originais para 120 HZ. Adicionando 8 câmeras externas às 4 câmeras do Quest 2 para entender o ambiente externo em VR, transformando imagens ambientais em preto e branco em cores, melhorando significativamente o rastreamento de mãos e adicionando rastreamento de departamento de recursos faciais e oculares. Ao mesmo tempo, o Quest Pro também usa “renderização foveada” para concentrar o poder de computação no local onde os globos oculares estão olhando e enfraquecer a fidelidade de outras partes, economizando assim o poder de computação e o consumo de energia. Como mencionado acima, o Quest Pro é muito mais poderoso que o Quest 2, mas provavelmente menos de 5% dos usuários do Quest Pro usam o Quest 2. Isso significa que os desenvolvedores desenvolverão jogos para ambos os dispositivos ao mesmo tempo - o que limitará muito o uso das vantagens do Quest Pro e, por sua vez, reduzirá a atratividade do Quest Pro para os usuários. History Rhymes, a mesma história aconteceu repetidas vezes em consoles de jogos. É por isso que os fabricantes de consoles atualizam hardware e software a cada 6-8 anos. Os usuários que compraram a primeira geração do Switch não se preocuparão com o Switch OLED seguinte e outros hardware. Trazendo a incompatibilidade do software de jogo recém-lançado, mas os usuários que compram a série Wii não podem jogar no ecossistema do Switch. Para desenvolvedores de software voltados para jogos de console, os jogos que eles produzem não são para telefones celulares, que têm uma enorme base de usuários (350 milhões contra bilhões) e dependência do usuário (ocioso em casa contra 24 horas por dia, 7 dias por semana), requer uma experiência de hardware estável dentro vários ciclos de desenvolvimento para evitar o desvio excessivo de usuários ou, assim como os atuais desenvolvedores de software de RV, compatibilidade com versões anteriores para garantir uma base de usuários suficiente.

Então, o Vision Pro pode resolver os problemas acima? Como isso vai mudar a indústria?

Uma reviravolta com o Vision Pro

Na coletiva de imprensa de 7 de junho, foi lançado o Apple Vision Pro. De acordo com a estrutura de “Desafios de RM encontrados em hardware e software” que analisamos acima, a seguinte analogia pode ser feita:

hardware:

• Visualmente, o Vision Pro usa duas telas 4K com um total de cerca de 6K pixels, que é a segunda melhor correspondência para os dispositivos de ressonância magnética atuais. A taxa de atualização pode suportar até 96 Hz e suporta reprodução de vídeo HDR.De acordo com a descrição do experiente blogueiro de tecnologia, não apenas a definição é alta, mas quase nenhuma tontura é sentida.
• Em termos de audição, a Apple usa áudio espacial em Airpods desde 2020, o que permite aos usuários ouvir sons de diferentes direções para obter uma experiência de áudio estereoscópica. Mas espera-se que o Vision Pro vá um passo além, usando “tecnologia de raios de áudio”, integrando totalmente a varredura LiDAR no dispositivo, analisando as características acústicas (materiais físicos, etc.) na sala e, em seguida, criando um “efeito de áudio espacial” que combina com a sala, tem direção e profundidade.

• Em termos de interação, gestos e rastreamento ocular sem alças tornam a experiência interativa suave ao extremo (de acordo com a experiência de medição real da mídia tecnológica, o atraso dificilmente pode ser sentido, o que não é apenas a precisão e o cálculo do sensor velocidade, mas também a introdução do Prejulgamento do caminho do olho. Mais sobre isso abaixo.)
• Em termos de duração da bateria, a duração da bateria do Vision Pro é de 2 horas, que é basicamente a mesma do Meta Quest Pro (não é incrível, e também é o ponto em que o Vision Pro é criticado atualmente. Mas porque o Vision Pro é uma fonte de alimentação externa e uma bateria de 5000 mA é colocada no fone de ouvido Uma bateria pequena, pode-se supor que há espaço para substituição da vida útil da bateria do relé de energia).
• Em termos de peso, de acordo com a experiência da mídia tecnológica, é cerca de 1 libra (454 g), que é basicamente o mesmo do Pico e Oculus Quest 2, e deve ser mais leve que o Meta Quest Pro. É uma boa experiência em equipamentos de RM (embora isso não seja contado com o peso da fonte de alimentação acorrentada na cintura). Mas em comparação com óculos AR puros (como Nreal, Rokid, etc.) com um peso de cerca de 80 g, eles ainda são pesados \u200b\u200be abafados. Obviamente, os óculos AR mais puros precisam ser conectados a outros dispositivos e só podem ser usados como uma tela estendida. Em contraste, o MR com chip próprio e uma experiência imersiva real pode ser uma experiência completamente diferente.
• Além disso, em termos de desempenho de hardware, o Vision Pro não está apenas equipado com o chip da série M2 com o mais alto desempenho para operação do sistema e do programa, mas também adiciona um chip R especialmente desenvolvido para tela de ressonância magnética, monitoramento do ambiente circundante, globo ocular e gesto monitoramento, etc. 1 chip, usado para exibição proprietária de MR e funções interativas.

Em termos de software, a Apple não só pode completar um certo grau de migração com seu ecossistema de milhões de desenvolvedores, como também já possui uma série de layouts ecológicos com o lançamento do AR Kit:

Em 2017, a Apple lançou o AR Kit: um conjunto de estruturas de desenvolvimento de realidade virtual compatíveis com dispositivos iOS que permitem aos desenvolvedores criar aplicativos de realidade aumentada e aproveitar os recursos de hardware e software dos dispositivos iOS. O VR Kit permite que ativos digitais interajam com o mundo real sob a câmera usando a câmera no dispositivo iOS para criar um mapa da área, usando dados CoreMotion para detectar coisas como a mesa, o chão e a posição do dispositivo em espaço físico — por exemplo, seu Em Pokémon Go, você pode ver Pokémon enterrados no solo e estacionados em árvores, em vez de serem exibidos na tela e se moverem com a câmera. Os usuários não precisam fazer nenhuma calibração para isso - é uma experiência AR perfeita.

• Em 2017, foi lançado o AR Kit, que pode detectar automaticamente a localização, topologia e expressões faciais do usuário para modelagem e captura de expressões.
• Em 2018, o AR Kit 2 foi lançado, trazendo uma melhor experiência CoreMotion, possibilitando jogar jogos multijogador AR, rastrear imagens 2D e detectar objetos 3D conhecidos, como esculturas, brinquedos e móveis.
• Em 2019, o AR Kit 3 foi lançado, adicionando mais recursos de realidade aumentada que podem usar a oclusão de pessoas para exibir conteúdo AR na frente ou atrás das pessoas e pode rastrear até três rostos. Sessões colaborativas também podem ser suportadas para uma nova experiência de jogo AR compartilhada. A captura de movimento pode ser usada para entender a posição e o movimento do corpo e rastrear articulações e ossos, permitindo novas experiências AR que envolvem pessoas em vez de apenas objetos.
• Em 2020, foi lançado o AR Kit 4, que pode aproveitar o sensor LiDAR integrado no iPhone e iPad 2020 para melhorar o rastreamento e a detecção de objetos. O ARKit 4 também adiciona âncoras de localização, que usam dados do Apple Maps para colocar experiências de realidade aumentada em coordenadas geográficas específicas.
• Em 2021, o AR Kit 5 será lançado, permitindo que os desenvolvedores criem shaders personalizados, geração de malha processual, captura de objetos e controle de personagens. Além disso, os objetos podem ser capturados usando APIs integradas, bem como LiDAR e câmeras em dispositivos iOS 15. Os desenvolvedores podem digitalizar um objeto e convertê-lo instantaneamente em um arquivo USDZ que pode ser importado para o Xcode e usado como um modelo 3D em sua cena ou aplicativo ARKit. Isso melhora muito a eficiência da produção de modelos 3D.
• Em 2022, será lançado o AR Kit 6. A nova versão do ARKit inclui a função “MotionCapture”, que pode rastrear pessoas no quadro de vídeo e fornecer aos desenvolvedores um “esqueleto” de personagem que pode prever a posição da cabeça humana e membros, apoiando assim o desenvolvimento O usuário pode criar um aplicativo para sobrepor o conteúdo AR no personagem ou ocultá-lo atrás do personagem, para que possa ser integrado de forma mais realista à cena.

Olhando para o layout do AR Kit que começou há sete anos, pode-se ver que o acúmulo de tecnologia AR da Apple não aconteceu da noite para o dia, mas integrou sutilmente a experiência AR em dispositivos que foram amplamente difundidos. Quando o Vision Pro foi lançado, a Apple Uma certa quantidade de conteúdo e acumulação de desenvolvedor foi concluída. Ao mesmo tempo, devido à compatibilidade do desenvolvimento do AR Kit, os produtos desenvolvidos não são apenas voltados para usuários do Vision Pro, mas também se adaptam aos usuários de iPhone e iPad até certo ponto. Os desenvolvedores podem não precisar ser limitados pelo teto de 3 milhões de usuários ativos mensais para desenvolver produtos, mas potencialmente testar e experimentar com centenas de milhões de usuários de iPhone e iPad.

Além disso, a captura de vídeo 3D do Vision Pro também resolve parcialmente o problema do conteúdo de RM limitado hoje: produção de conteúdo. A maioria dos vídeos VR existentes são 1440p, que parecem ter pixels ruins na experiência de tela circular dos monitores montados na cabeça MR. No entanto, a filmagem do Vision Pro tem vídeo espacial de alto pixel e boa experiência de áudio espacial, o que pode muito melhorar a experiência de RM Experiência de consumo de conteúdo.

Embora a configuração acima seja bastante chocante, a imaginação do Apple MR não para por aí: No dia em que o Apple MR foi lançado, @sterlingcrispin, um desenvolvedor que afirmou ter participado da neurociência da Apple, disse:

Geralmente, como um todo, muito do trabalho que fiz envolveu a detecção do estado mental dos usuários com base em dados de seu corpo e cérebro quando eles estavam em experiências imersivas.

Em geral, muito do trabalho que faço envolve a detecção do estado mental dos usuários por meio de seus dados físicos e cerebrais em experiências imersivas.

Então, um usuário está em uma realidade mista ou experiência de realidade virtual, e os modelos de IA estão tentando prever se você está se sentindo curioso, divagando, com medo, prestando atenção, lembrando de uma experiência passada ou algum outro estado cognitivo. E isso pode ser inferido por meio de medições como rastreamento ocular, atividade elétrica no cérebro, batimentos e ritmos cardíacos, atividade muscular, densidade sanguínea no cérebro, pressão arterial, condutância da pele, etc.

O usuário está em uma experiência de realidade mista ou realidade virtual, e o modelo de IA tenta prever se ele está curioso, distraído, medroso, focado, lembrando-se de experiências passadas ou outros estados cognitivos. Esses estados podem ser medidos por meio de rastreamento ocular, atividade elétrica cerebral, batimentos cardíacos e ritmo, atividade muscular, densidade sanguínea cerebral, pressão sanguínea, condutância da pele e muito mais.

Havia muitos truques envolvidos para tornar possíveis previsões específicas, sobre as quais o punhado de patentes que menciono entra em detalhes. Um dos resultados mais legais envolveu a previsão de que um usuário clicaria em algo antes que ele realmente o fizesse. Foi uma tonelada de trabalho e algo de que me orgulho. Seu aluno reage antes de clicar em parte porque você espera que algo aconteça depois de clicar. Assim, você pode criar biofeedback com o cérebro de um usuário, monitorando seu comportamento ocular e redesenhando a IU em tempo real para criar mais dessa resposta antecipatória da pupila. É uma interface grosseira de cérebro-computador através dos olhos, mas muito legal. E eu preferiria isso a uma cirurgia cerebral invasiva qualquer dia.

Para alcançar uma determinada previsão, usamos uma série de truques que estão detalhados em várias patentes em meu nome. Um dos resultados mais legais é prever quando um usuário clicará em um objeto antes de realmente clicar. É um trabalho difícil e tenho orgulho disso. Seus alunos respondem antes de você clicar, em parte porque você espera que algo aconteça depois de clicar. Portanto, ao monitorar o comportamento do movimento ocular do usuário e redesenhar a interface do usuário em tempo real, o biofeedback com o cérebro do usuário pode ser realizado para criar respostas pupilares mais antecipatórias. É uma interface grosseira cérebro-computador através dos olhos, e é bem legal. Eu preferiria isso a uma cirurgia cerebral invasiva.

Outros truques para inferir o estado cognitivo envolviam a apresentação rápida de imagens ou sons para um usuário de maneiras que eles talvez não percebessem e, em seguida, medissem sua reação a isso.

Outras técnicas para inferir o estado cognitivo incluem piscar rapidamente uma visão ou som de maneiras que o usuário pode não estar ciente e medir sua resposta a isso.

Outra patente entra em detalhes sobre o uso de aprendizado de máquina e sinais do corpo e do cérebro para prever o quão focado ou relaxado você está, ou quão bem você está aprendendo. E, em seguida, atualizando ambientes virtuais para aprimorar esses estados. Portanto, imagine um ambiente imersivo adaptativo que o ajude a aprender, trabalhar ou relaxar, alterando o que você está vendo e ouvindo em segundo plano.

Outra patente detalha o uso de aprendizado de máquina e sinais do corpo e do cérebro para prever o quão focado, relaxado ou aprendendo você está e atualizar o ambiente virtual com base nesses estados. Então imagine um ambiente imersivo adaptativo que ajuda você a estudar, trabalhar ou relaxar mudando o que você vê e ouve em segundo plano.

Essas tecnologias, altamente relevantes para a neurociência, podem marcar uma nova forma de sincronização entre máquinas e vontade humana.

Obviamente, o Vision Pro tem falhas. Por exemplo, seu preço altíssimo de $ 3.499 é mais que o dobro do Meta Quest Pro e mais de sete vezes o do Oculus Quest 2. A esse respeito, o CEO da Runway, Siqi Chen, disse:

pode ser útil lembrar que em dólares ajustados pela inflação, o apple vision pro custa menos da metade do macintosh original de 1984 no lançamento (mais de $ 7 mil em dólares de hoje)

Como você deve se lembrar, o preço do Apple Vision Pro era inferior à metade do preço do Macintosh quando foi lançado em 1984 (equivalente a mais de US$ 7.000 hoje) em dólares americanos ajustados pela inflação.

Sob tal analogia, o preço do Apple Vision Pro não parece muito escandaloso… No entanto, o volume de vendas da primeira geração do Macintosh foi de apenas 372.000 unidades. É difícil imaginar que a Apple, que trabalhou duro no MR, pode aceitar uma situação embaraçosa semelhante— —A realidade pode não mudar muito em alguns anos. AR não precisa necessariamente de óculos e é difícil popularizar o Vision Pro em um curto período de tempo. É provável que seja usado apenas como uma ferramenta para os desenvolvedores experimentarem e testarem, uma ferramenta de produção para criadores e entusiastas digitais brinquedos caros.

Fonte: Google Trend

No entanto, podemos ver que o equipamento MR da Apple começou a agitar o mercado, mudando o apelo dos usuários comuns para produtos digitais para MR e fazendo o público perceber que o MR é mais maduro e não mais um produto de vídeo ppt/apresentação. Permita que os usuários percebam que, além de tablets, TVs e telefones celulares, existe a opção de usar telas imersivas; permita que os desenvolvedores percebam que o MR pode realmente se tornar uma nova tendência em hardware de próxima geração; permita que os VCs percebam que isso pode ser um campo de investimento com teto muito alto.

Web 3 e ecologia relacionada

1. Renderização 3D + Alvo do conceito de IA: RNDR

Introdução ao RNDR

Nos últimos seis meses, o RNDR tem sido um meme que combina os três conceitos de Metaverse, AI e MR, e liderou o mercado várias vezes.

O projeto por trás do RNDR é Render Network, um protocolo para renderização distribuída usando uma rede descentralizada. A OTOY.Inc, a empresa por trás da Render Network, foi fundada em 2009 e seu software de renderização, OctaneRender, é otimizado para renderização de GPU. Para criadores comuns, a renderização local ocupa muitas máquinas, o que cria uma demanda por renderização em nuvem, mas se você alugar servidores da AWS, Azure e outros fabricantes para renderização, o custo também pode ser maior - assim nasceu a Render Network A renderização não se limita às condições de hardware. Ela conecta criadores e usuários comuns com GPUs ociosas, permitindo que os criadores renderizem de forma barata, rápida e eficiente, e os usuários do nó podem usar GPUs ociosas para ganhar dinheiro.

Para Render Network, os participantes têm duas identidades:

• Criador: Publique uma tarefa e use moeda legal para comprar Crédito ou RNDR para pagamento. (Octane X para tarefas de publicação está disponível no Mac e iPad, 0,5-5% da taxa cobrirá os custos de rede.)
• Provedor de nó (proprietário de GPU ocioso): proprietários de GPU ociosos podem se inscrever para se tornar um provedor de nó e decidir se desejam obter correspondência de prioridade com base na reputação de tarefas concluídas anteriormente. Depois que o nó terminar de renderizar, o autor visualizará o arquivo renderizado e fará o download dele. Depois de baixado, a taxa bloqueada no contrato inteligente será enviada para a carteira do provedor do nó.

A tokenomics da RNDR também foi alterada em fevereiro deste ano, o que é um dos motivos de seu aumento de preço (mas até a publicação do artigo, a Render Network não aplicou a nova tokenomics na rede, e ainda não deu o lançamento específico tempo):

Anteriormente, na rede, o poder de compra de $RNDR era igual ao do Crédito, e 1 crédito = 1 euro. Quando o preço do $RNDR é inferior a 1 euro, é mais rentável comprar $RNDR do que comprar Crédito com moeda fiduciária, mas quando o preço do $RNDR sobe para mais de 1 euro, porque todos tendem a comprar com moeda fiduciária, $RNDR perderá sua condição de caso de uso. (Embora a receita do contrato possa ser usada para recomprar $ RNDR, outros participantes do mercado não têm incentivo para comprar $ RNDR.)

O modelo econômico alterado adota o modelo “BME” (Burn-Mint-Emission) de Helium. Quando os criadores compram serviços de prestação, independentemente de usarem moeda fiduciária ou $ RNDR, eles destroem $ RNDR equivalente a 95% do valor da moeda fiduciária, e os 5% restantes de Renda que flui para a Fundação para uso como motor. Quando o nó fornece serviços, ele não recebe mais diretamente a receita do criador pela compra de serviços de prestação, mas recebe recompensas de token recém-cunhadas. As recompensas não são baseadas apenas nos indicadores de conclusão da tarefa, mas também incluem outros fatores abrangentes, como a satisfação do cliente.

Vale a pena notar que para cada nova época (período de tempo específico, a duração específica não foi especificada), novos $ RNDR serão cunhados, e a quantidade de cunhagem é estritamente limitada e diminuirá com o tempo, independentemente do número de tokens queimado (detalhes Consulte o documento de lançamento para o whitepaper oficial). Assim, trará mudanças na distribuição de benefícios para os seguintes Stakeholders:

• Criador/Usuário do serviço de rede: A cada época, parte do RNDR consumido pelo criador será devolvido, e a proporção diminuirá gradativamente com o tempo.
• Node runners: Node runners serão recompensados com base em fatores como carga de trabalho concluída e atividade online em tempo real.
• Provedores de liquidez: os provedores de liquidez da Dex também serão recompensados para garantir $ RNDR suficientes para a queima.

Fonte:

Comparado com o modo de recompra de renda anterior (irregular), no novo modo, quando a demanda por tarefas de renderização é insuficiente, os mineradores podem obter mais renda do que antes e o preço total da tarefa correspondente à demanda por tarefas de renderização é maior do que o liberado $ RNDR Quando a quantidade total de recompensas é aumentada, os mineradores receberão menos renda do que o modelo original (tokens queimados > tokens recém-cunhados) e os tokens $ RNDR também entrarão em um estado deflacionário.

Embora o $RNDR tenha desfrutado de um aumento gratificante nos últimos seis meses, a situação comercial da Render Network não aumentou significativamente como o preço da moeda: o número de nós não flutuou significativamente nos últimos dois anos e o $RNDR mensal alocado para nós não aumentou significativamente, mas a renderização O número de tarefas realmente aumentou - pode-se ver que as tarefas atribuídas pelos criadores à rede gradualmente passaram de uma única grande quantidade para várias pequenas quantidades).

Embora não consiga acompanhar o aumento de cinco vezes nos preços das moedas em um ano, o GMV da rede de renderização de fato inaugurou um crescimento relativamente grande. Em 2022, o GMV (Gross Merchandise Value, valor total da transação) aumentará em 70% em relação ao ano passado. De acordo com o valor total de $ RNDR alocado para nós no Dune Kanban, o GMV no primeiro semestre de 2023 é de cerca de $ 1,19 M, o que basicamente não é um aumento em comparação com o mesmo período de 2022. Esse GMV obviamente não é suficiente para o mCap de $ 700 milhões.

Fonte: Potencial impacto do lançamento do RNDR

Introdução do impacto do Vision Pro no RNDR

Em um artigo do Medium publicado em 10 de junho, a Render Network afirma que os recursos de renderização da Octane para M 1 e M 2 são únicos - como o Vision Pro também usa o chip M 2, a renderização no Vision Pro não será a mesma de um chip normal M 2. A renderização da área de trabalho é diferente.

Mas a questão é: por que publicar tarefas de renderização em um dispositivo com bateria de 2 horas que é usado principalmente para experiência e diversão, não uma ferramenta de produtividade? Se o preço do Vision Pro for reduzido, a duração da bateria for significativamente melhorada, o peso for reduzido e a adoção em massa for realmente realizada, talvez seja hora de a Octane desempenhar um papel…

Pode-se confirmar que a migração de ativos digitais de dispositivos planos para dispositivos de RM trará de fato um aumento na demanda por infraestrutura. Anunciando a cooperação com a Apple para estudar como criar um mecanismo de jogo Unity mais adequado para o Vision Pro, o preço das ações subiu 17% no dia, o que também mostra o sentimento otimista do mercado. Com a cooperação entre a Disney e a Apple, a transformação 3D do conteúdo tradicional de cinema e televisão pode levar a um crescimento de demanda semelhante. A Render Network, especializada em renderização de filmes e televisão, lançou NeRFs, uma tecnologia de renderização 3D combinada com IA, em fevereiro deste ano, usando computação de inteligência artificial e renderização 3D para criar ativos 3D imersivos em tempo real que podem ser visualizados em dispositivos de ressonância magnética – no Apple AR Kit Com suporte, qualquer pessoa pode executar Photoscan em objetos com uma configuração superior para gerar recursos 3D, enquanto a tecnologia NeRF usa renderização adicionada por IA para renderizar o simples Photoscan 3D em diferentes ângulos que podem refratar diferentes ativos 3D imersivos de luz - isso Esse tipo de renderização espacial será uma ferramenta importante para a produção de conteúdo de dispositivos de RM, fornecendo demanda potencial para a Rede de Renderização.

Mas essa necessidade será atendida pela RNDR? Olhando para seu GMV de 2 milhões de dólares americanos em 2022, é uma gota no oceano em comparação com o custo da indústria cinematográfica e televisiva. Para resumir, é claro que o RNDR pode continuar a usar o meme da faixa “metaverso, XR, AI” para criar outro preço brilhante quando a faixa está quente, mas ainda é difícil gerar receita que corresponda à avaliação.

2. Metaverse – Otherside, Sandbox, Decentraland, HighStreet, etc.

Embora eu ache que as mudanças fundamentais substanciais são limitadas - tópicos relacionados a MR parecem ser inseparáveis desses grandes projetos de metaverso, Monkey’s Otherside, Animoca’s The Sandbox, o mais antigo blockchain Metaverse Decentraland, e Highstreet que quer ser Shopify no mundo VR. ( Consulte a seção 4. Análise de negócios - Análise e potencial da indústria para obter uma análise detalhada da trilha do metaverso)

Mas, conforme analisado acima em “Killer App ainda não apareceu”, a maioria dos desenvolvedores de suporte a VR existentes não “suportam apenas VR” (mesmo que suportem apenas VR e sejam os líderes do setor, no nível de um milhão no segmento de mercado MAU, não é um nível competitivo para atingir o nível superior), e os produtos existentes não foram cuidadosamente adaptados aos hábitos do usuário e interações de operação da MR. Os projetos que ainda não foram lançados estão na linha de partida, não muito longe de todos os outros grandes fabricantes e empresas iniciantes que veem o potencial do Vision Pro: após a melhor combinação de Unity e Vision Pro, o desenvolvimento de jogos ecológicos MR espera-se que o custo do aprendizado seja reduzido, e a experiência acumulada em um mercado relativamente restrito no passado é difícil de reutilizar em um produto que está prestes a ser adotado em massa.

Obviamente, se quisermos falar sobre as vantagens do pioneirismo, os projetos que já implantaram a RV podem, é claro, ter um progresso de desenvolvimento fraco, vantagens tecnológicas e de acumulação de talentos.

Mais uma coisa

Se você ainda não assistiu ao vídeo a seguir, essa será sua sensação mais intuitiva sobre o mundo da RM: conveniente e imersivo, mas caótico e desordenado. O virtual e o real estão se fundindo de forma tão perfeita que as pessoas estragadas pela realidade virtual veem “perder sua identidade no dispositivo” como apocalíptico. Os detalhes no vídeo ainda parecem um pouco sci-fi e incompreensíveis para nós agora - mas é provável que este seja o futuro que enfrentaremos em alguns anos.

Isso me lembra outro vídeo. Em 2011, ou seja, há 12 anos, a Microsoft lançou o Windows Phone 7 (como um Gen Z com pouca memória daquela época, é difícil pensar que a Microsoft também trabalhou muito nos celulares), e fez um anúncio satírico sobre smartphones “Sério?”: As pessoas no anúncio seguram seus telefones com força o tempo todo, andam de bicicleta enquanto olham para seus telefones, tomam banho de sol na praia enquanto olham para seus telefones, tomam banho com seus telefones firmemente No banquete, caí da escada porque observei o celular e até deixei cair o celular no mictório por causa da distração … A intenção original da Microsoft era mostrar aos usuários que “o celular lançado pela Microsoft economizará nós do vício em celular” - claro que foi uma tentativa fracassada, e o nome desse anúncio “Sério?” poderia até ser alterado para “Realidade”. O “senso de presença” e o design de interação intuitiva dos smartphones são mais viciantes do que a anti-humana “versão móvel do computador Windows”, assim como a realidade da combinação de virtual e real é mais viciante do que a pura realidade.

Como compreender tal futuro? Temos várias direções que estamos explorando:

• Experiências imersivas e criação de storytelling: primeiro vídeo, gravar filmes “com profundidade 3D” nunca foi tão fácil após o lançamento do Vision Pro, que mudará a forma como as pessoas consomem conteúdo digital - de “apreciação à distância” para “experiência imersiva”. Além da gravação de vídeo, “espaço 3D com experiência de conteúdo” pode ser outra faixa digna de atenção. Isso não significa construir aleatoriamente a mesma cena da biblioteca de modelos, ou alguns espaços aparentemente exploráveis extraídos do jogo, mas um espaço com experiência “interativa, nativa e 3D mais amigável”. Esse espaço pode ser um belo instrutor de piano que também se senta no banco do piano, destaca as teclas correspondentes e o encoraja gentilmente quando você está deprimido; pode ser um elfo que esconde a tecla do jogo para o próximo nível no canto do seu quarto; Também pode ser uma namorada virtual empática que anda com os jogadores… A economia criadora criada aqui pode usar a camada inferior do blockchain para desconfiança, liquidação automática, conteúdo digital baseado em ativos e transações de baixo desgaste. Os criadores podem usá-los melhor para interagir com os fãs sem intermediação, sem o incômodo de registrar uma empresa e configurar o Stripe para receber pagamentos e sem dar à plataforma um compartilhamento de 10% (Substack)-70% (Roblox), ou mesmo Preocupado com se a plataforma irá à falência e tirará seu trabalho duro… Uma carteira, uma plataforma de conteúdo combinável e armazenamento descentralizado podem resolver o problema. Atualizações semelhantes ocorrerão em jogos e espaços sociais, e pode-se até dizer que as fronteiras entre jogos, filmes e espaços sociais se tornarão cada vez mais tênues: quando a experiência não for mais uma tela grande suspensa a poucos metros de distância, mas próxima à sua frente, com profundidade, interação de áudio com distância e sensação de espaço, o jogador não é mais um público “assistindo”, mas um personagem que participa da cena, e até mesmo a ação afetará o ambiente do mundo virtual (por exemplo , se você levantar a mão na selva, borboletas voarão até a ponta do dedo).
• Infra e comunidade de ativos digitais 3D: a função de filmagem 3D do Vision Pro reduzirá muito a dificuldade de criação de vídeo 3D, dando origem a um novo mercado de produção e consumo de conteúdo. A infra-estrutura upstream e downstream correspondente, como comércio e edição de material, pode continuar a ser dominada por gigantes existentes ou pode ser aberta por empresas iniciantes como a AIGC.
• Atualizações de hardware/software para aprimorar a experiência imersiva: seja a “observação mais detalhada do corpo humano para criar um ambiente adaptativo” da Apple que a Apple está estudando ou adicionando experiências imersivas como toque e sabor, é uma faixa com considerável potencial.

Claro, há uma grande probabilidade de que os empreendedores neste campo tenham uma compreensão mais profunda, pensamento e exploração mais criativa do que nós - bem-vindo DM @0 x scarlettw para comunicar e explorar a possibilidade da era da computação espacial.

Agradecimentos e Referências:

Obrigado a @fanyayun, sócia da Mint Ventures, e @xuxiaopengmint, sócia de pesquisa, por seus conselhos, revisão e revisão durante a redação deste artigo. A estrutura de análise XR vem da série de artigos de @ballmatthew, Apple WWDC e cursos para desenvolvedores, e da experiência do autor com vários dispositivos XR no mercado.

• fc 6336 b 5 a 0337 d 489 d 6 eaf 7 ae 486 e 621
• 0 x 30 bF 18409211 FB 048 b 8 Abf 44 c 27052 c 93 cF 329 F 2 /6xR2nFi- Q 5 WdXIDZpEga 4 xS 3 m 3 AZ 61 hXyu 6 dzIEBb_E