Daniel Nascimento-e-Silva, PhD
Professor e Pesquisador do Instituto Federal do Amazonas (IFAM)
Um produto é um protótipo que foi aprovado em todos os testes a que foi submetido. Isso não quer dizer que ele seja perfeito ou que não tenha falhas ou defeitos. Ser aprovado significa que as falhas e imperfeições que ainda são remanescentes não comprometem os seus desempenhos previstos. Esses desempenhos são de grandes variedades, costumeiramente organizados em termos de dimensões e categorias. Por exemplo, a dimensão “testes de mercado” pode envolver o teste de satisfação dos clientes, teste de preço, teste de desempenho, teste de usabilidade, teste de eficiência, dentre inúmeros outros, em que cada teste representa uma categoria que indica o grau de adequação do protótipo em relação à dimensão mercado. Se o protótipo for aprovado em todas as categorias desta dimensão e for reprovado em uma categoria de outra, não poderá ser considerado um produto. Mas que fundamentos justificam essa preocupação “extrema” com os testes, de maneira que um protótipo só possa ser liberado para ser utilizado quando for aprovado em todos eles? Esses fundamentos se chamam validade e fidedignidade.
Para que se compreenda a complexidade dos testes de protótipo, tomemos uma analogia. Imagine que queiramos inventar um artefato que meça temperaturas. Podemos até criar um nome provisório para ele, que una aquilo que queremos medir (a temperatura = thermos, do grego) com a noção exata de medida (de metron, medida, em grego). O nome do artefato, por isso, será termômetro. Assim que foi construído, foram feitos vários testes do protótipo. Dentre eles, um que se comprometeu a testar se realmente ele media temperaturas. Assim, várias pessoas pegaram o artefato, colocaram-no nas axilas e esperaram o tempo necessário para retirá-lo. Quando retirado, olharam a tela do aparelho e lá estava escrito, para o sujeito A, “20 quilos”, para o sujeito B, “40 quilos” e assim sucessivamente. Os cientistas responsáveis pela criação do artefato analisaram os resultados e foram unânimes em dizer que o protótipo foi reprovado no teste de validade. Com essa decisão eles queriam dizer que o artefato não servia para medir temperaturas, mas, sim, massa, peso. A razão dessa conclusão é que “quilograma” é unidade de medida de massa. O instrumento precisava ser alterado, para que fosse submetido a novo teste de validade.
Depois de alterado, novamente os mesmos sujeitos foram convidados a participar do teste. Os resultados apontaram, para o indivíduo A, “200 graus”, para o indivíduo B, “-40 graus” e assim sucessivamente, para todos os participantes. Os cientistas constataram que, em todos os casos, todas as vezes o protótipo gerou como resultado “grau”, que é a unidade de medida de temperatura. Em nenhum caso houve a constatação de medida de “quilograma”, como no teste anterior. Depois de analisados e interpretados os resultados, os cientistas consideraram o protótipo aprovado no teste de validade. Como assim, você deve estar se perguntando, se é impossível que alguém tenha uma temperatura de 200 graus e outra de 40 graus negativos? Isso é verdade. Mas ninguém pode negar que o artefato está medindo temperatura. Isso é o que vale nesse teste obrigatório para todo protótipo.
O planejamento dos testes de protótipo precisa ser feito de forma meticulosa, consequente e consistente. Neste caso específico, primeiro foi decidido a garantia de obtenção da validade do artefato. Dito de outra forma, era preciso, antes de tudo, conseguir medir temperatura. E os resultados obtidos afiançaram esse sucesso. Mas os mesmos dados mostraram que a forma de medir estava inconsequente, no sentido de apuração da medida exata da temperatura dos corpos humanos. Traduzindo em miúdos: o artefato não estava medindo as coisas de uma forma tal que se pudesse confiar nele. Faltava a ele a confiança necessária para utilizá-lo como medida de temperatura. A desconfiança é quase sempre a consequência imediata do que os cientistas chamam de falta de fidedignidade. Essa palavra é usada quando queremos dizer que um artefato não é confiável. Fidedignidade é isso: fazer sempre a medida da mesma forma. Voltemos ao nosso caso.
Com a reprovação do protótipo no teste de fidedignidade, os cientistas fizeram a reprogramação da maneira de medir a temperatura a partir dos ajustes nos sensores. A programação foi retestada à parte e depois em conjunto com os sensores, quando foi constatada a causa das formas diferentes de medir a mesma coisa. Feitos esses ajustes, o conjunto foi acoplado ao artefato, que novamente foi submetido ao teste de fidedignidade. No sujeito A, o resultado apontou “37,1 graus” e no sujeito B, “37,2 graus”. (O mesmo procedimento foi feito em mais 398 sujeitos.) Depois de meia hora, novamente foi replicado o mesmo tempo, aferindo-se, em 397 indivíduos, exatamente o mesmo valor de medida. O mesmo teste foi feito com outros sujeitos e outros protótipos durante um mês, em um total de 40 mil testes-retestes. Todos apresentaram praticamente a mesma medida. Quando havia diferença, essa diferença era constatada por todos os protótipos, que era quando os indivíduos entravam e saíam do estado febril. Neste momento o artefato foi considerado fidedigno pelos cientistas, porque estava medindo temperatura sempre da mesma forma. Em síntese, os pesquisadores tinham conseguido a aprovação do protótipo no teste de fidedignidade, de confiança. Quando unido ao sucesso do teste de validade, o futuro produto agora era confiável e válido.
Na área da educação há muitas dúvidas sobre testes de produtos justamente por desconhecimento do quão avançada está a engenharia de produtos. Confundem, ainda, testes no produto ou no processo com testes sobre as pessoas. Uma sequência didática é um produto, por exemplo, que precisa ser testada em validade (se realmente garante o que promete) e fidedignidade (e se gera os resultados sempre da mesma forma). Testes de validade e fidedignidade são obrigatórios para todo protótipo, além dos inúmeros testes específicos, que são uma infinidade, com o perdão do pleonasmo vicioso.
