Qualquer teste de usabilidade envolve algum participante realizando tarefas específicas atribuídas em um ou mais produtos. E, quando trabalhamos com pesquisas que envolvem usuários e testes, existem dois tipos de dados que podem ser coletados:
- Dados qualitativos: compostos por resultados observacionais que identificam características de design fáceis ou difíceis de usar.
- Dados quantitativos: na forma de uma ou mais métricas (como taxas de conclusão de tarefas ou tempos de tarefa) que refletem se as tarefas foram fáceis de executar.
Certo. Isso pode parecer um pouco confuso, a princípio. Muitas pessoas acabam confundindo esses tipos de dados, e não entendem de fato qual o propósito de cada um.
Pesquisa qualitativa
Os dados qualitativos proporcionam uma avaliação direta da usabilidade de um produto. Aqui, os UX designers (ou pesquisadores) podem observar, por exemplo, que os usuários têm muita dificuldade de usar certos elementos da interface do usuário (UI), podendo então concluir quais aspectos do design são mais problemáticos e quais funcionam bem.
Na pesquisa qualitativa, você pode fazer perguntas aos usuários durante o estudo e mudar o caminho da pesquisa para obter informações sobre a questão específica que o participante experimenta.
Então, com base em seu próprio conhecimento UX, e possivelmente em observar outros participantes, você pode determinar se o elemento da UI, o qual foi objeto de estudo do teste de usabilidade, é de fato mal projetado.
Pesquisa Quantitativa
Os dados quantitativos nos permitem ter uma avaliação indireta da usabilidade de um design.
Podem ser baseados no desempenho dos usuários em uma determinada tarefa – por exemplo, tempos de conclusão de tarefas, taxas de sucesso, número de erros – ou podem refletir a percepção de usabilidade dos participantes – por exemplo, classificações de satisfação, dizendo se os usuários gostaram ou não, se tiveram uma boa ou má experiência durante o uso.
Sempre tenha isto em mente: as métricas quantitativas são números. Por isso, em alguns casos podem ser difíceis de interpretar, principalmente quando não temos um ponto de referência definido.
Por exemplo, se 60% dos usuários conseguiram completar uma tarefa em um site, isso é algo bom ou ruim? É difícil saber ao certo. É por isso que muitos estudos quantitativos geralmente não visam tanto descrever a usabilidade de um site, mas sim compará-lo com um padrão conhecido ou com a usabilidade de um concorrente ou um design anterior.
Embora os dados quantitativos possam nos dizer que nosso design pode não ser utilizável em relação a um ponto de referência, eles não indicam quais problemas os usuários encontraram.
Pior ainda, não conseguimos saber que mudanças precisamos fazer no design para ter melhores resultados posteriormente. Por exemplo, imagine que apenas 40% dos participantes são capazes de completar uma tarefa. Isso não nos diz muita coisa. Não conseguimos saber quais problemas os usuários tiveram durante a tarefa, e como podemos facilitá-la.
Com isso em mente, sabemos que precisaremos usar outros métodos para complementar os dados quantitativos, para entender os problemas de usabilidade específicos de uma interface.
Diferenças entre dados qualitativos e quantitativos
É importante entender que os dados tipos de dados são valiosos para nossas pesquisas e estudos. Porém, como vimos anteriormente, são dados de naturezas diferentes e, portanto, são para fins distintos.
Ambos os testes qualitativos e quantitativos são essenciais no ciclo de projeto iterativo. Embora os estudos qualitativos sejam mais comuns em pesquisas na área de UX (User Experience), os estudos quantitativos são os únicos que nos permitem colocar um número em um redesign e dizer claramente o quanto a nossa nova versão melhorou em relação à anterior. Dados quantitativos são essenciais no cálculo do ROI (retorno sobre investimento).
A tabela a seguir resume as diferenças entre os dois tipos de pesquisa.
| Qual Research | Quant Research | |
| Questões respondidas | Por quê? | Quanto? |
| Objetivos |
|
|
| Quando é usado | A qualquer momento – durante o redesign ou quando você já tem um produto final. | Quando você tem um produto – no início ou no final de um ciclo de design |
| Resultados | Conclusões baseadas nas observações, interpretações e conhecimento prévio do UX designer (ou pesquisador). | Resultados estatisticamente significativos que provavelmente serão replicados em um estudo diferente |
| Metodologia |
|
|
Quando usar dados qualitativos e dados quantitativos
Os estudos qualitativos são adequados para identificar os principais problemas em um design.
Por exemplo, podemos realizar um estudo qualitativo para verificar o que dificulta os usuários enviarem um formulário com sucesso. Com base nos resultados qualitativos desse estudo, por exemplo, poderíamos definir o que precisamos aumentar os campos do formulário, ou apresentar os requisitos de senha, ou até usar rótulos mais claros e explicativos e por aí vai.
Em contrapartida, a maioria dos estudos quantitativos são realizados em uma versão completa do site, com o objetivo de avaliar a usabilidade do site, em vez de informar diretamente o processo de redesign.
Os estudos quantitativos geralmente envolvem um grande número de usuários. E, em muitos casos, o orçamento para esse tipo de teste não é tão alto como gostaríamos que fosse. No entanto, os números obtidos a partir de testes quantitativos podem ser inestimáveis quando se trata de convencer a empresa de que seu site ou aplicativo precisa de um redesign completo.
Resultados de pesquisas qualitativas e pequisas quantitativas
Os estudos qualitativos geralmente consistem em descobertas que identificam (e priorizam de acordo com a gravidade) os pontos fortes e fracos de um design.
Essas conclusões são estimativas – baseadas no conhecimento e nível de experiência do designer, facilitando a tarefa e interpretando os significados das ações dos usuários.
Os praticantes (que obviamente são pessoas diferentes) geralmente identificam também problemas diferentes na mesma sessão de teste. Além disso, mesmo que tenhamos muito cuidado ao recrutar os participantes, que combinem perfeitamente com o público-alvo do projeto, quando incluímos apenas algumas pessoas, há sempre a chance de não serem verdadeiramente representativas de toda a população de usuários e, portanto, nossas conclusões podem ser equivocadas.
Os estudos quantitativos geralmente envolvem um número relativamente grande de usuários (muitas vezes mais de 30) e usam técnicas estatísticas para se proteger contra esse tipo de eventos aleatórios.
Quando relatado corretamente, os estudos quantitativos incluem informações estatísticas de alto nível e importância. Por exemplo, uma margem de erro irá ajudá-lo a entender o quanto você pode confiar nos resultados do estudo.
Por exemplo, se a diferença no tempo de conclusão da tarefa entre seu site e o site do concorrente for estatisticamente significante, você saberá que, mesmo que você recrute um grupo diferente de usuários e realize seu estudo, seus resultados irão apontar na mesma direção, mesmo que os resultados sejam um pouco diferentes.
Assim, quando os estudos quantitativos são realizados e analisados de forma correta, você pode ter confiança de que seus resultados são sólidos.
Conclusão
É verdade que os testes de usabilidade quantitativos e qualitativos podem parecer bastante semelhantes. Ambos envolvem usuários que executam tarefas em um projeto. Ambos os tipos de estudos precisam seguir as regras básicas para um bom design de experiência, certificando-se de que eles têm:
- Validade externa: os participantes são representativos do público-alvo e as condições do estudo refletem a forma como a tarefa é feita naturalmente. Por exemplo, testar um site mobile usando um computador de mesa talvez não tenha validade externa, porque as pessoas normalmente usariam esse site em um smartphone, usando os dedos (ou até mesmo um dedo apenas).
- Validade interna: a configuração do experimento não favorece nenhuma condição. Por exemplo, se o design A for testado pela manhã e o projeto B for testado à tarde, é possível que a fadiga desempenhe um papel na forma como os participantes usam o design B.
Mas temos que ter uma coisa me mente: os testes de usabilidade qualitativos e quantitativos são métodos complementares que atendem a objetivos diferentes.
A pesquisa qualitativa envolve um pequeno número de usuários (5-8) e identifica diretamente os principais problemas de usabilidade em uma interface.
Já a pesquisa quantitativa é baseada em um grande número de participantes (muitas vezes mais de 30). Quando analisados e interpretados corretamente, os resultados dos testes quantitativos têm maior precisão. Eles oferecem uma avaliação indireta da usabilidade de um produto através de métricas, como taxa de conclusão de tarefas, tempo de tarefa ou classificações de satisfação, e geralmente são usadas para rastrear a usabilidade de um sistema em iterações de design.
Como você geralmente aplica seus testes de usabilidade e quais resultados você obtém
Texto adaptado do artigo publicado pelo Nielsen Norman Group.