O ponto mais importante do Computer Use do Gemini não é que a IA “assume o controle” do computador. É que ela interpreta uma interface, sugere uma ação e depende de um aplicativo cliente para executá-la. Essa separação define como projetar automações confiáveis — e evita o erro de tratar uma previsão do modelo como uma ordem segura.
Segundo o Eurisko.com.br, em 30 de outubro de 2026 o Google anunciou a disponibilidade geral do recurso nas APIs Interactions e GenerateContent. A proposta é permitir que o Gemini analise capturas de tela e sugira operações como clicar, rolar a página ou pressionar teclas. Para quem desenvolve agentes, isso abre possibilidades interessantes, mas também coloca a validação e a execução no centro da arquitetura.
Como funciona o Computer Use do Gemini na prática
O fluxo básico é um ciclo de observação e ação. O cliente captura a interface, envia a imagem ao modelo e recebe uma sugestão de operação. Em seguida, o próprio cliente decide se executa essa operação e, se executar, coleta uma nova captura para a próxima rodada.
- O navegador ou aplicativo apresenta o estado atual da interface.
- O cliente captura a tela e envia a imagem e a tarefa ao Gemini.
- O modelo interpreta os elementos visíveis e propõe uma ação, como clicar em uma coordenada.
- O cliente valida a proposta e a executa usando uma ferramenta como Playwright ou um controlador de dispositivo.
- O cliente observa o novo estado e decide se continua, tenta novamente ou encerra.
O modelo não deve ser confundido com o executor. Ele pode indicar que um clique parece adequado, mas é o código da aplicação que controla o mouse, envia teclas ou opera o navegador. Isso é importante porque a execução envolve permissões, dados sensíveis e consequências que o modelo não consegue desfazer por conta própria.
Computer Use ou automação por DOM: qual escolher?
Para automações em sites, eu começaria avaliando se a tarefa pode ser resolvida diretamente pelo DOM. Playwright, por exemplo, consegue localizar um botão pelo texto, por um seletor acessível ou por um atributo estável. Isso costuma ser mais determinístico do que procurar o botão em uma imagem e clicar em coordenadas.
| Abordagem | Quando faz sentido | Limitação principal |
|---|---|---|
| Playwright ou Selenium pelo DOM | Testes e fluxos em páginas web com elementos acessíveis | Depende de acesso à estrutura da página e seletores razoavelmente estáveis |
| Computer Use com captura de tela | Interfaces visuais, aplicativos sem API ou fluxos que dependem do que aparece na tela | Coordenadas e interpretação visual podem falhar quando a interface muda |
| Appium ou automação nativa | Testes de aplicativos móveis com integração ao ambiente de dispositivo | Exige configuração e manutenção específicas para cada plataforma |
Na minha leitura técnica, Computer Use não substitui Playwright, Selenium ou Appium. Ele amplia o conjunto de interfaces que um agente consegue operar. Eu usaria DOM quando a estrutura estiver disponível e for estável; recorreria à visão quando o DOM não estiver acessível, quando o fluxo depender de uma interface visual ou quando a tarefa envolver aplicações que não expõem uma API conveniente.
Também evitaria tratar a automação visual como um simples “clique inteligente”. Uma imagem não informa necessariamente se um controle está desabilitado, se há um elemento sobreposto ou se o texto está associado ao botão correto. A visão ajuda a interpretar o contexto, mas não elimina a necessidade de verificar o resultado.
Na Prática: como executar ações sugeridas com segurança
Eu separaria o sistema em três componentes: observador, planejador e executor. O observador captura a tela; o planejador consulta o Gemini; e o executor aceita apenas um conjunto pequeno de ações validadas. Assim, o modelo não recebe acesso irrestrito ao computador.
O exemplo abaixo mostra um executor mínimo em Python com Playwright. Ele aceita ações normalizadas pelo seu adaptador de modelo e limita os tipos de operação. O código não representa uma chamada específica à API Gemini: a integração com Interactions ou GenerateContent deve converter a resposta recebida para esse formato antes da execução.
from playwright.sync_api import Page
def executar_acao(page: Page, acao: dict) -> None:
tipo = acao.get("type")
if tipo == "click":
x = int(acao["x"])
y = int(acao["y"])
# Impede cliques fora da área visível do navegador.
tamanho = page.viewport_size
if not tamanho or not (0 <= x < tamanho["width"]):
raise ValueError("Coordenada x fora da tela")
if not (0 <= y < tamanho["height"]):
raise ValueError("Coordenada y fora da tela")
page.mouse.click(x, y)
elif tipo == "scroll":
delta_y = max(-700, min(700, int(acao["delta_y"])))
page.mouse.wheel(0, delta_y)
elif tipo == "type":
texto = str(acao["text"])
if len(texto) > 500:
raise ValueError("Texto excede o limite permitido")
page.keyboard.insert_text(texto)
elif tipo == "press":
tecla = acao["key"]
teclas_permitidas = {"Enter", "Tab", "Escape", "ArrowDown"}
if tecla not in teclas_permitidas:
raise ValueError("Tecla não permitida")
page.keyboard.press(tecla)
else:
raise ValueError(f"Ação não permitida: {tipo}")
# Exemplo de uso:
# executar_acao(page, {"type": "click", "x": 420, "y": 280})
# executar_acao(page, {"type": "type", "text": "consulta de teste"})
Esse exemplo é intencionalmente restrito. Em produção, eu também validaria o domínio atual, registraria cada ação, definiria limites de tentativas e exigiria confirmação humana antes de operações irreversíveis, como enviar um formulário, excluir um registro ou concluir uma compra.
Uma implementação completa precisa ainda capturar o estado depois de cada ação e enviá-lo novamente ao modelo. Não recomendo disparar uma sequência longa de cliques com base em uma única captura: depois do primeiro clique, a página pode carregar, abrir um modal ou mudar de tamanho. A próxima decisão deve considerar a tela atual, não uma imagem antiga.
O que muda para testes e automação de interfaces
Para testes de interface, Computer Use pode ajudar a explorar fluxos que não têm seletores confiáveis ou a reproduzir interações próximas às de uma pessoa. Também pode servir como camada de exploração para encontrar caminhos em aplicações desconhecidas. Ainda assim, testes de regressão críticos devem preferir verificações determinísticas sempre que possível.
Eu não usaria coordenadas como contrato de teste. Uma mudança de resolução, zoom, barra lateral ou banner de consentimento pode deslocar os elementos. Quando a aplicação está sob seu controle, prefira atributos acessíveis e seletores estáveis. Use visão como complemento para exploração, não como substituto automático de uma suíte de testes bem estruturada.
Para agentes que precisam operar sistemas legados, a proposta é mais atraente. Nem todo sistema oferece API, documentação ou elementos de interface fáceis de consultar. Nesses casos, a capacidade de interpretar a tela pode reduzir o trabalho de integração. O custo é aceitar mais variação e investir em observabilidade, limites e tratamento de falhas.
Erros comuns ao implementar Computer Use
- Executar tudo que o modelo sugere: uma resposta do modelo é uma proposta, não uma autorização. Valide a ação com regras do lado do cliente.
- Usar a captura como estado permanente: cada clique pode alterar a página. Faça uma nova captura após ações que mudam a interface.
- Ignorar escala e coordenadas: diferenças de resolução, zoom e tamanho da janela podem tornar um clique válido no papel e errado na tela.
- Dar acesso amplo ao teclado: atalhos podem fechar abas, enviar formulários ou acionar comandos inesperados. Restrinja teclas e contexto.
- Não definir condições de parada: estabeleça máximo de passos, tentativas e tempo total. Sem esses limites, um agente pode repetir a mesma ação indefinidamente.
- Automatizar ações sensíveis sem confirmação: pagamentos, exclusões e mudanças de permissões precisam de aprovação explícita ou controles equivalentes.
- Não registrar o que aconteceu: guarde tarefa, ação proposta, validação, resultado e erros. Sem logs, depurar um agente visual vira adivinhação.
Há ainda uma questão de segurança que merece atenção: o conteúdo da página pode tentar influenciar o agente. Um texto visível instruindo a ignorar regras ou revelar dados deve ser tratado como conteúdo não confiável, não como uma ordem do sistema. A aplicação precisa manter as instruções, permissões e políticas de execução fora do controle da página analisada.
Disponibilidade geral não significa automação sem limites
A disponibilidade geral nas APIs Interactions e GenerateContent, conforme o anúncio citado pelo Eurisko.com.br, facilita testar o recurso em aplicações reais. Mas isso não significa que qualquer fluxo seja seguro, barato ou estável sem engenharia adicional. É preciso avaliar latência, número de chamadas, custo por tarefa e comportamento em interfaces que mudam.
Eu começaria com um caso de baixo risco e escopo estreito. Por exemplo, navegar por uma tela interna de demonstração e preencher campos sem enviar o formulário. Depois, mediria taxa de sucesso, quantidade média de passos, falhas por tipo e necessidade de intervenção humana. Só ampliaria permissões quando os resultados fossem consistentes.
Perguntas frequentes sobre o Computer Use do Gemini
O Gemini executa os cliques diretamente?
Não necessariamente. O modelo interpreta a captura e sugere ações. Um aplicativo cliente, com ferramentas e permissões próprias, é responsável por validar e executar essas operações.
Computer Use substitui Playwright ou Selenium?
Não. Para páginas web com DOM acessível, Playwright ou Selenium costumam oferecer seletores mais determinísticos. Computer Use é útil quando a interação visual é necessária ou quando a estrutura da interface não está disponível.
É seguro permitir que um agente controle o navegador?
Depende das permissões e das proteções implementadas. Restrinja domínios, ações e teclas; registre as operações; limite tentativas; e peça confirmação antes de ações irreversíveis ou sensíveis.
Como reduzir falhas em automações baseadas em capturas de tela?
Capture novamente a interface depois de mudanças, mantenha resolução e zoom controlados, valide coordenadas e verifique se a ação produziu o resultado esperado antes de continuar.
Minha avaliação
O Computer Use aproxima o Gemini de agentes capazes de operar interfaces reais, mas o avanço mais relevante para desenvolvedores é a possibilidade de combinar interpretação visual com execução controlada. A arquitetura segura não entrega o computador ao modelo: ela usa o modelo para propor ações e mantém a aplicação responsável por decidir o que pode acontecer.
Gostou? Me segue no GitHub e deixa um comentário se tiver dúvida ou quiser aprofundar algum ponto.