Personas sintéticas vs. usuários reais

Num outro projeto que estou construindo, tem uma tela em que a pessoa conversa por chat e recebe um feedback depois de cada resposta. Antes de colocar gente de verdade pra usar, testei o fluxo com a Trama, uma persona sintética: uma IA instruída pra se comportar como o usuário. Ela avaliou o feedback como positivo.

Quando fui usar de verdade, foi outra história. Num monitor de 27 polegadas, o olho fica no centro da tela, embaixo, onde você está digitando. E o feedback aparecia lá no topo, no canto direito. Pra quem está escrevendo, ele praticamente não existia.

A minha posição, depois disso: persona sintética não substitui usuário real, mas pode ser útil, desde que no papel certo. Ela serve pra levantar hipótese. Quem diz se a hipótese é verdade é gente de verdade usando a coisa.

O feedback no canto da tela não foi o único sinal. A Trama tendia pro positivo o tempo todo. Mesmo quando eu pedia pra ela ser mais crítica, ela até criticava, mas as críticas não tinham muita ligação com a experiência de usar a tela.

Imagem · 01

A minha leitura é que o ser humano interage com uma solução de forma sensorial: olho, atenção, pressa, cansaço. A IA segue outra lógica. Vale um cuidado aqui, porque os modelos já conseguem analisar imagem de tela, então a diferença talvez não seja só de visão. Mas o que eu observei foi claro: a avaliação dela foi boa, e o uso real mostrou o problema.

E pra ser justo com a IA: ela também me ajudou. Apontou falhas mais do lado da implementação, que talvez eu não encontrasse sozinho. Ela acha coisas. Só não acha as coisas que dependem de ser gente.

O que eu vi num projeto só bate com um estudo da Nielsen Norman Group, de 2024. Maria Rosala e Kate Moran pegaram três estudos que já tinham feito com pessoas reais e refizeram as entrevistas com usuários sintéticos, usando o ChatGPT e uma ferramenta comercial feita pra isso (NN/g).

Imagem · 02

Alguns achados:

• A IA idealiza o comportamento. Num estudo sobre cursos online, as pessoas reais contavam que começavam cursos e não terminavam. Os usuários sintéticos disseram que tinham concluído todos.
• Tudo parece importante. Perguntados sobre o que torna um curso envolvente, os sintéticos listaram sete fatores, sem prioridade entre eles. Gente de verdade se importa mais com umas coisas do que com outras, e é isso que ajuda a decidir.
• Teste de conceito é arriscado. Como a IA tende a agradar quem conversa com ela, quase toda ideia sai aprovada.

A conclusão do NN/g é próxima da minha: usuários sintéticos servem pra pesquisa de mesa, pra se preparar pra conhecer um grupo novo e pra gerar hipóteses, mas não pra decisão final. E o estudo alerta pra um risco que eu acho o mais sério: o time que começa pelo sintético fica confortável e nunca chega a falar com gente de verdade.

O jeito que eu encontrei de usar as duas é dividir o trabalho. A persona sintética serve pra abrir: levantar muitas hipóteses rápido e barato, estressar o fluxo, caçar inconsistência. A pessoa real serve pra fechar: é no teste empírico que a hipótese encontra atenção, pressa e confusão de verdade, e aí vira fato ou cai.

Imagem · 03

O problema que eu tive no começo foi tratar a opinião da IA como veredito. Ela não precisa estar certa pra ser útil; precisa só levantar boas perguntas.

Pra isso funcionar, três cuidados:

1. Anotar a hipótese antes do teste. Registrar o que a persona sintética apontou antes de colocar gente pra usar permite comparar depois: o que ela previu e acertou, o que previu e errou, o que só o humano encontrou. Sem esse registro, vira impressão.
2. Escrever a hipótese de um jeito que dê pra derrubar. "A experiência está boa" não se testa. "O usuário percebe o feedback em até cinco segundos depois de enviar a resposta" se testa.
3. Lembrar que a IA também tem ponto cego. O feedback no canto da tela é o exemplo: a persona nem levantou essa hipótese. O teste real não só valida o que a IA propôs; ele descobre o que ela nem cogitou.

O meu caso é um só: um produto, um tipo de persona, um tipo de tela. Não dá pra generalizar a partir dele, e é por isso que ele vem acompanhado do estudo.

Também não é consenso que a IA deva gerar hipóteses antes das entrevistas. Tem quem defenda o contrário, porque a hipótese da máquina pode enviesar o que você vai procurar no teste real. O registro antes do teste ajuda a controlar isso, mas não elimina. Um bom teste pra se fazer: se a persona sintética disser X, eu vou agir sem checar? Se a resposta for sim, você está usando a IA como pesquisa, e não como preparação.

Se a persona sintética não decide, onde mais a IA ajuda de verdade numa pesquisa: no roteiro, na transcrição, na síntese? Essa eu quero testar com mais calma.

Enquanto isso, me conta: você já usou persona sintética? Ela acertou alguma coisa que os usuários reais confirmaram depois, ou errou feio?