A câmera voltada para o mundo que esperamos

O Google está lançando as funções de vídeo visual ASTRA do Gemini Live super lentamente, mas está começando a se expandir. Aqui está o que é usar e o que você precisa saber.

A empresa está sugerindo que a chegada dos controles de câmera e compartilhamento de tela faz parte de um “Abril de 2025 Pixel Drop” Mas um conjunto de recursos não programado parece estranho, uma vez que a função funcionará em praticamente qualquer telefone Android.

Quando você inicia o aplicativo Gemini no seu telefone Android, um pop-up indica que os recursos movidos a Astra do Gemini Live estão prontos para testar. O mini pop-up diz que você pode “conversar sobre idéias, aprender sobre seu ambiente” ou “obter ajuda com o que está na sua tela”. O último refere-se à função de compartilhamento de tela, que é como uma versão do círculo para pesquisar.

Anúncio – Role para obter mais conteúdo

Gêmeos Live Astra: Como acessar

Para acessar qualquer um dos novos modos visuais, você precisará de um plano de assinatura avançado do Google One AI. Se você possui um Pixel 9 Pro, Pro XL, Pro Fold ou alguns modelos Galaxy S25, receberá uma avaliação gratuita substancial dessa camada paga. O estudo é de 12 meses nos modelos Pixel 9 Pro e 6 meses em dispositivos S25.

O Google nos deu algumas maneiras de acessar os novos controles. O mais fácil é através do aplicativo dedicado Gemini. Quando você lança o Gemini Live, a interface do usuário de chamada usual ganha alguns botões extras. Há um botão de câmera e um ícone de apresentação.

Você pode usar sua voz com a frase de despertar “Hey, Google”. Acima da barra pop-up compacta Gemini, você verá um botão “Compartilhar com LIVE” que iniciará o compartilhamento de tela de IA. Você ainda não pode selecionar um único aplicativo. Em vez disso, você precisa compartilhar toda a sua tela. Isso pode ser intrusivo para algumas pessoas. Um chip de barra de status indicará que isso é ativo. Tocar permite que você feche ou termine sua sessão rapidamente.

Como é usar?

A inicialização e a introdução iniciais são muito rápidas, mas o visor é aberto e é muito fácil de decifrar. Ele imita um pouco a interface do usuário da câmera Pixel, por isso é instantaneamente familiar para alguém que usa os telefones do Google por um tempo. Você não precisa usar a câmera traseira. Há uma alternância para mudar para a câmera selfie, se você deseja colocar a si mesmo ou ao seu plano de fundo no quadro e fazer perguntas ou conselhos.

Ao usar o modo Astra Live Live, achei que o foco na câmera é um pouco meticulado, pois a troca de lentes automaticamente pode ser irritante de perto. Ele aconselha você a ficar quieto ou manter o assunto o mais imóvel possível. Eu posso atestar isso, mas apesar de alguns sujeitos não estarem em foco, Gêmeos é rápida em determinar o que é algo ou produzir informações sem muita dificuldade.

Não ser capaz de aumentar o zoom, mesmo com lentes telefoto dedicadas no seu telefone, também parece míope. Se você quiser apontar algo no mundo, precisará se aproximar muito, ou espera que Gêmeos possa descobrir o que está apontando.

Para consultas simples ou básicas, é perfeitamente adequado. No entanto, os casos de melhor uso são para perguntas mais profundas, como ajuda ou conselhos sobre objetos, áreas e locais, em vez de perguntar coisas simples que você provavelmente poderia procurar por si mesmo.

Um excelente exemplo é obter a data calorífica sobre itens alimentares ou informações de alérgenos. Eu até tentei algumas traduções em tempo real, mas, embora pareçam bastante precisas, o Gemini Live não fornece ou mostra texto na tela. Você só recebe pistas e respostas de áudio. O Google Lens se sobrepõe ao texto traduzido, por isso pode ser uma opção melhor para traduzir sinais, texto e muito mais.

No momento, você deve esperar até fechar uma sessão antes de poder “ver” algumas das respostas baseadas em texto. Então você obtém um registro de bate -papo do que foi dito, o que Gemini respondeu e quaisquer ações que você possa executar. Isso pode ser um pouco melhor implementado, mas por enquanto está tudo bem. Em conjunto com outros aplicativos, como o Google Maps e vários outros serviços, você provavelmente pode usar isso como uma opção de ajuda para aprendizado visual ou opção de tutorial.

Eu testei as funções de vídeo do estilo Astra do Gemini Live em o pixel 9 pro xlE embora nem sempre fosse instantâneo, parecia muito suave, e as respostas quase sempre foram rápidas o suficiente para se sentir fluidas.

O compartilhamento de tela parece um pouco menos “natural” do que usar uma câmera. Como você não recebe feedback visual, apenas pistas e informações de áudio, elas não parecem integradas da mesma maneira. Obter resumos de páginas da web é sobre a extensão da usabilidade do recurso ou obter mais informações sem deixar uma página ou tela. Eu apostaria que isso mudará à medida que obtivemos mais integrações. Pense na capacidade de adicionar coisas às listas de compras com URLs ou informações de voo ao seu calendário ao fazer planos de viagem. Ainda não podemos fazer nada disso.

Precisão e outras considerações

Como quase todas as plataformas de IA, Gemini não é um sistema perfeito. De fato, pode entender as coisas em muitos cenários. Onde é bem é com a recuperação de informações.

Descobri que certos itens causaram problemas em que Gemini não era capaz de me fornecer informações precisas. Isso vai ser bom para as coisas que você conhece, e você pode efetivamente interromper e correr o curso da IA ​​rebelde. O problema aqui é que as alucinações sobre coisas que você talvez não saiba tão bem pode levar a problemas.

Por exemplo, perguntei sobre um cartucho de jogo Gameboy, e Gemini identifiquei mal o carrinho e me dei informações incorretas sobre o título e a jogabilidade. Certifique -se de ter uma visão clara de algo dentro do visor, ajuda a mitigar isso. Apenas ajustar onde eu “filtei” resolveu instantaneamente o problema sem intervenção. Você simplesmente não pode confiar nas informações cegamente nesta fase. Gêmeos ainda é propenso a erros e variam de menor a maior em igual medida.

A câmera voltada para o mundo … com advertências

O Android XR e a plataforma AR dependerão muito de Gêmeos como meios para interagir e obter informações sobre o mundo ao nosso redor. O Gemini Live utilizando as funções Astra é o primeiro passo para realizar esse objetivo final. De acordo com as demos mostradas no final do ano passado, podemos estar a alguns anos dos óculos AR fabricados pelo Google, mas essa introdução inicial não é uma maneira ruim de começar as coisas.

Como qualquer produto de IA, tenha cuidado para colocar 100% da sua confiança nas informações divulgadas. Dito isto, isso parece um ótimo começo e uma maneira sólida de interagir com o mundo ao seu redor ou ajudá -lo quando você ficar preso. Ele melhorará com o tempo e melhorará à medida que mais pontos de dados são introduzidos, pelo menos em teoria, é o pior que os modos de vídeo ao vivo de Gemini será – o que não é tão ruim para começar.

Compartilhar sua tela é muito limitado nesta fase e, embora seja uma boa opção secundária, é ainda mais limitada. Se puder se desenvolver para jogar bem com mais de seus outros serviços, será uma ferramenta útil. No momento, é um truque de salão que faz pouco mais do que os gêmeos regulares ao vivo.