La IA jubila al Testing tradicional, pero crea una NUEVA profesión.

Yo fui tester muchos años (de los del WinRunner y el PMD, sí, muy viejuno todo, lo sé).

(De hecho, aun pudiendo afectar a mi imagen pública, me he atrevido a dejarte la casposa imagen que te dejo al final de este correo).

Y, como ha pasado toda la vida, más en tiempos del Oscuro Cascada, éramos los últimos de la cadena. Los que estaban entre desarrollo y producción… Los que todo el mundo quería saltarse.

PEROOO, fíjate tú, que llegó Santa IA y las cosas en el Testing han cambiado. Y mucho.

El cuello de botella se ha movido, ya no es programar, es Testear.

Cuando tirar una línea de código es casi gratis porque la escribe la IA, el atasco ya NO está en programar. No, no, ya no.

Ahora está en dos sitios.

Uno, al principio del ciclo: en descubrir qué hay que hacer.

Dos, al final: en garantizar que lo que hace la IA, a una velocidad brutal, se puede pasar a producción sin que salte por algún lado.

Y ahí está el testing. Le llegó su momento.

PEROOO eso sí, OJO, hablamos de un nuevo Testing. El testing de papeles y casos de test, de TestLink, de Xray, etc., el manual… ese está acabado.

Hablamos de la era del Testing IA.

(Para los que dicen que no hay trabajo en tecnología con la IA, aquí va una nueva profesión con mucho futuro y en la QUE NO HAY GENTE).

Área 1: testear aplicaciones que USAN IA

Te pongo un caso nuestro.

LeIA es nuestro chatbot de IA (si entras en javiergarzas punto com puedes hablar con ella GRATIS desde el logo de WhatsApp).

LeIA está entrenada con mis 3.000 posts del blog, mis vídeos y mis materiales. LeIA es un miniyo

LeIA mola, PEROOO NO es determinista (todos tenemos algún problema).

A la misma pregunta NO siempre responde lo mismo. Y no por ello sus respuestas son incorrectas.

Así que NO se puede testear como toda la vida: meto esta entrada, espero esta salida, y si NO sale, hay un error.

Y aquí, apúntatelo, nace una rama del testing que, si existía antes, era testimonial.

Quédate con la palabra clave: EVALs

(Para los de la membresía IAgil: la semana que viene, el miércoles, le dedicamos el directo, que luego se graba, a este tema, a EVALs).

¿Cómo se testean aplicaciones que responden desde una IA?

Hay muchas técnicas, no es cuestión de extenderse en un mail, el próximo miércoles os lo cuento en el directo. Pero, por ejemplo, a LeIA la testeamos con una IA como juez de otra IA.

Antes nos leíamos a mano las conversaciones de LeIA. Miles.

Y decíamos: aquí se ha colado, aquí NO. PEROOO eso es lentísimo (¿recuerdas que te decía que el cuello de botella se ha movido?).

PEROOO, recuerda, haciéndolo así… Habíamos puesto el cuello de botella en nosotros mismos.

Ahora otra IA hace de juez.

Tiene nuestras reglas, lo que sabemos que LeIA NO puede decir, en forma de semáforo: rojo, amarillo, verde.

Y tiene las fuentes de la verdad: los temarios, los ficheros en los que he convertido mi blog y mis vídeos.

Compara lo que dice LeIA contra esas fuentes y, cuando ve algo raro, nos avisa.

Un detalle que nos funciona muy bien: que el juez sea de OTRO fabricante.

LeIA tira de Anthropic, y el juez, de OpenAI.

Área 2: testear aplicaciones HECHAS con IA

La segunda área es cualquier aplicación que hayas creado con IA.

Antes el cuello de botella estaba en programar. PEROOO eso se ha reducido drásticamente.

Ahora hay que verificar y validar sin volver a poner a un humano frenándolo todo al final.

Por eso se habla tanto del human in the loop: saber dónde meter a la persona para que la IA NO la líe, PEROOO sin que la persona frene el ciclo.

Lo que estamos probando nosotros, y muchísima gente, son agentes especializados: uno para revisar código, otro para la experiencia de usuario, otro para los tests unitarios y de integración.

Por ejemplo, han vuelto los test mutantes

Y aquí viene lo más curioso, de esas cosas que me estallan la cabeza.

Han vuelto técnicas viejunas como los test mutantes: cambiar el código a propósito para ver si los tests fallan.

Si NO fallan, tus tests son demasiado permisivos.

¿Y por qué vuelven? Porque la IA te suele dar la razón en todo.

Y cuando le pides los tests unitarios, a veces te hace tests que pasan siempre.

Hay dedicaciones que tienden a morir. PEROOO si te mueves, hay otras para las que se necesita mucha gente que sepa.

Y ahora mismo casi nadie sabe.

Que la IAgilidad te acompañe

PD1: Quedan solo 5 plazas. Si quieres llevar todo esto a tu día a día, el 25 de enero arranca la 4.ª edición del Programa de Gestión de Productos y Proyectos Digitales con IA (IA PM). Hasta el 13 de noviembre tienes un 25 % de descuento, y además es bonificable por Fundae (80 horas, hasta 600 € por alumno).
​👉👉👉Toda la info. AQUÍ

Por si no nos conocemos. Soy la persona que lleva más de 25 años ayudando a equipos y organizaciones a crear mejor software y mejores productos digitales: doctor en informática, profesor, autor de varios libros y, sobre todo, alguien que prueba las cosas antes de contarlas.