Teste de aplicativos macOS: crie testes de ponta a ponta para aplicativos Mac e Safari a partir do Windows

Para testar um aplicativo macOS de ponta a ponta a partir do Windows, conecte-se a um Mac de verdade com um visualizador de área de trabalho remota, grave um fluxo nessa janela com o GUI Test Studio, adicione verificações do que o aplicativo mostra e execute o teste a cada build.

O que é um teste de ponta a ponta de um aplicativo macOS?

Muitas equipes de QA trabalham no Windows e ainda assim têm uma versão para Mac do aplicativo a verificar, ou um site cujos visitantes usam o Safari.Normalmente elas testam isso à mão no único Mac do escritório, então os testes de aplicativos macOS acontecem tarde, e raramente a cada build.

Este guia mostra como profissionais de QA e engenheiros de software criam testes funcionais e de ponta a ponta de um aplicativo Mac, ou de um site no Safari, a partir do computador Windows que já usam.Cada teste é gravado uma vez e roda a cada build, sem escrever código.

Por que não é possível testar o Safari diretamente no Windows

A Apple deixou de fazer o Safari para Windows em 2012, e a última versão dele é antiga demais para exibir um site moderno.O Safari, e os aplicativos escritos para macOS, rodam apenas em um Mac.

Ferramentas de teste de interface no macOS: XCUITest, Appium Mac2 e um teste gravado

O caminho da própria Apple é o XCUITest, a parte do XCTest dedicada a testes de interface: os testes são escritos em Swift ou Objective-C, no Xcode, em um Mac.O driver Appium Mac2 controla aplicativos macOS pelo mesmo framework XCTest, então os testes podem ser escritos em outras linguagens, e ele precisa de um Mac com Xcode, como diz o seu guia de primeiros passos.

Um teste programado lê a estrutura do aplicativo, então continua funcionando quando a aparência muda, e precisa de um Mac para cada desenvolvedor que escreve um.Um teste gravado vê a tela como um usuário, então também pega o que aparece errado, e qualquer pessoa da equipe pode criar um a partir do Windows.

Como funciona: o visualizador é apenas uma janela

Um visualizador de área de trabalho remota mostra a tela do Mac em uma janela no Windows e envia o seu mouse e o seu teclado para o Mac.Para o GUI Test Studio, essa janela é um aplicativo como qualquer outro.

1. Conectar

   Abrir o visualizador conectado ao Mac

2. Gravar

   Escolher a janela do visualizador

3. Verificar

   O que o Mac mostra

4. Relatar

   Esperado e obtido, lado a lado

O GUI Test Runner-Recorder grava a janela do visualizador, com Um aplicativo na pergunta O que você deseja testar?, ou uma parte da tela com Uma área.Quando o teste é executado, ele move o mouse real e pressiona as teclas reais nessa janela, e o visualizador as repassa ao Mac.Como uma gravação funciona é explicado em Gravar um teste.

Qual visualizador de área de trabalho remota usar

Qualquer um deles funciona, porque o GUI Test Studio só precisa do que todo visualizador oferece: uma janela que mostra a tela do Mac e recebe o mouse e o teclado.Escolha o que a sua equipe já usa, ou o Compartilhamento de Tela do próprio Mac com um visualizador VNC gratuito.

De onde vem o Mac: uma mesa, um rack ou um Mac na nuvem para testes

Um Mac na nuvem muitas vezes vem só com uma linha de comando.Siga o guia do provedor para ativar uma área de trabalho que você possa ver, iniciar a sessão de um usuário e permitir o compartilhamento de tela, e então conecte-se a ele como a um Mac na sua mesa.

Planejar um teste funcional de um aplicativo Mac

Um bom teste de ponta a ponta segue um fluxo que importa para os seus usuários e comprova o resultado.Escreva-o em poucas linhas antes de gravar: onde começa, o que o usuário faz e o que a tela deve mostrar no final.

Qual verificação combina com qual elemento é explicado em Escolher a verificação certa.

Criar um teste automatizado do seu aplicativo Mac, passo a passo

A conexão com o Mac é configurada uma vez.Depois disso, criar um teste de Mac é igual a criar qualquer teste.

1. 1

   Ter um Mac com um usuário com sessão iniciada

   Use um Mac na sua mesa, um Mac mini em um rack ou um Mac na nuvem.Um usuário precisa estar com a sessão iniciada, com uma área de trabalho na tela, porque uma conexão que só abre uma linha de comando não mostra nada para testar.

   Impeça que o Mac entre em repouso, e desative a proteção de tela e o bloqueio de tela, para que a área de trabalho esteja lá quando uma execução começar.

2. 2

   Ativar o acesso remoto no Mac

   Nos Ajustes do Sistema, em Geral e Compartilhamento, ative o Compartilhamento de Tela, ou o Gerenciamento Remoto.Nas opções dele, permita que visualizadores VNC controlem a tela com uma senha.Com outra ferramenta de área de trabalho remota, instale o host dela no Mac em vez disso.

3. 3

   Conectar a partir do Windows em um tamanho fixo

   Abra o visualizador no computador Windows, conecte-se ao Mac e mantenha a janela dele no mesmo tamanho em todas as execuções, com a tela do Mac exibida a 100%.Desative qualquer ajuste ao tamanho da janela que mude a imagem quando a janela muda.

   Dê ao Mac uma resolução de tela fixa.Ajuste a qualidade de imagem do visualizador para alta, ou sem perdas onde houver essa configuração, para que bordas e letras continuem nítidas.

4. 4

   Gravar o fluxo pelo visualizador

   No GUI Test Runner-Recorder, clique em Gravar, escolha Um aplicativo e selecione o visualizador.Faça o fluxo no Mac pelo visualizador, da primeira tela até o resultado, e depois pressione a tecla Encerrar.

   Para começar cada execução do mesmo jeito, marque Iniciar o aplicativo no começo do teste e fechá-lo no fim.Uma etapa Executar aplicativo também pode iniciar o visualizador com o endereço do Mac, quando o visualizador o aceita na linha de comando, e abri-lo maximizado.

5. 5

   Escolher o que o teste verifica

   Quando a gravação terminar, deixe Verificar elementos visuais ligado, e ligue Verificar texto quando as palavras na tela importarem.Deixe Verificar o que aparece ligado, para que uma caixa de diálogo ou uma mensagem de confirmação ganhe suas próprias verificações.

   Cada cartão dessa pergunta é explicado em Escolher o que um teste verifica.

6. 6

   Adicionar as verificações que comprovam o resultado

   Abra o teste no GUI Test Studio e adicione uma asserção textual para a mensagem que comprova que o fluxo funcionou, e uma asserção textual dinâmica para um valor que muda a cada execução, como um número de pedido ou uma data.

   Agrupe os passos em cenários, como Login e Criar um cliente, para que uma falha diga qual parte do fluxo quebrou.

7. 7

   Executá-lo e ler o Relatório de confiança

   Clique em Executar teste no GUI Test Runner-Recorder.O Relatório de confiança mostra cada passo e, para cada verificação, o que era esperado e o que o Mac mostrou.

8. 8

   Executar a cada build

   Execute o teste com o gtr-cli em um agente de build Windows que tenha uma área de trabalho com sessão iniciada e o visualizador conectado ao Mac.

As verificações de um teste de interface no macOS, encontradas pela visão

Em um aplicativo Windows, o GTS Engine primeiro pergunta ao aplicativo onde está um elemento, pelas informações de acessibilidade que os aplicativos Windows fornecem, e o encontra pela visão quando o aplicativo não diz.Por um visualizador, a tela do Mac chega como uma imagem: não há nada a perguntar, então cada elemento é encontrado pela visão.

Cada verificação espera pelo que procura até o seu tempo limite, então um Mac que responde um pouco atrasado não é uma falha.Por que encontrar pela visão é confiável, e como isso distingue elementos parecidos, é explicado em como o GUI Test Studio encontra os elementos.

Automação de testes no Safari: um teste de ponta a ponta no Safari de verdade

Um teste de ponta a ponta de um aplicativo web no Safari é criado exatamente do mesmo jeito.Abra o Safari no Mac, vá até a página e grave a janela do visualizador enquanto percorre o fluxo: cadastrar-se, adicionar um produto ao carrinho, pagar com um cartão de teste e verificar a confirmação.

Comece cada teste no Safari em uma página conhecida, como a página de login em uma janela privada, para que nenhuma sessão anterior mude o que o teste vê.

Como os outros navegadores e os dispositivos emulados são cobertos, e quais navegadores testar primeiro, está no nosso guia de testes entre navegadores.

Ler o resultado de uma execução

Depois de cada execução, o Relatório de confiança abre com o veredito no topo e cada passo abaixo.Uma verificação que falhou mostra o que era esperado ao lado do que o Mac mostrou, com a diferença destacada, para você ver na hora se o aplicativo está errado ou se a tela só se mexeu.

Cada parte do relatório é explicada em Ler o Relatório de confiança.

Dicas para testes confiáveis por área de trabalho remota

Um teste por um visualizador passa sempre quando a imagem e o tempo são os mesmos em todas as execuções.Estes hábitos levam você até lá.

Um perfil de linha de base por Mac mantém uma imagem esperada separada para cada um, quando dois Macs desenham a mesma janela de forma um pouco diferente, como duas versões do macOS.

Executar seus testes de Mac em CI/CD a partir de um agente Windows

Os seus agentes de build continuam no Windows.Só é necessário um Mac, acessado pelo visualizador, e o gtr-cli, o executor de linha de comando, executa os testes de Mac como qualquer outro teste.

gtr-cli run tests\mac --countdown 0 --junit results\junit.xml --artifacts results\artifacts

A preparação da máquina de build, os códigos de saída e os resultados JUnit são explicados em Executar testes em CI/CD.

O que saber antes de começar

Principais conclusões

• 1Um teste de ponta a ponta segue um fluxo inteiro no Mac, como entrar, criar, salvar, e verifica o resultado a cada passo.
• 2É preciso um Mac real, porque não existe um Safari atual para Windows e os aplicativos para Mac rodam apenas em um Mac.
• 3O Mac pode estar em qualquer lugar: em uma mesa, em um rack ou na nuvem, acessado por um visualizador de área de trabalho remota.
• 4O visualizador é uma janela, então o GUI Test Studio a grava, reproduz nela ações reais e verifica o que ela mostra com asserções visuais e asserções textuais.
• 5Mantenha a imagem estável: um tamanho de janela fixo, escala de 100%, uma resolução fixa e alta qualidade de imagem, e então execute com o gtr-cli a cada build.

Perguntas

Mac, macOS, Mac mini, Safari, Xcode, XCTest, iPhone, iPad, Appium, Parallels Desktop, UTM, VMware Fusion, Amazon EC2, MacinCloud, MacStadium, RealVNC, TightVNC, NoMachine, Parsec, Jump Desktop, Chrome Remote Desktop e Windows são marcas comerciais de seus respectivos proprietários.