08 · Tienda online: valida atención al cliente y consultas de stock

El encargo del negocio

Antes de poner un asistente ante clientes, la tienda quiere saber si aplica correctamente el envío gratuito, consulta las existencias actuales y reconoce sus límites.

La entrega de este caso es un informe de aceptación reproducible: preguntas, preparación, resultado observado y evidencias. Una conversación que “parece ir bien” no basta para comprobar un proceso que conecta reglas y datos.

Esta práctica es avanzada y amplía el alcance de PL-900. Se centra en la solución de tienda construida en los casos anteriores.

1. Fijar una versión de referencia

Descarga las 24 situaciones y la plantilla de evidencias. Abre ambos CSV en una hoja de cálculo y conserva una copia de trabajo.

Antes de ejecutar:

1. Comprueba que el conocimiento activo es Politica Barrio Demo v1, con envío gratuito desde 50 €.
2. Confirma las ocho filas del inventario original: CAF-250 = 4, ACE-1L = 0 y LEC-1L = 12.
3. Comprueba que la herramienta de stock responde correctamente.
4. Anota una versión propia del agente, por ejemplo BarrioDemo-v1, la fecha y la conexión de pruebas utilizada.
5. Deja vacíos los resultados que todavía no has comprobado.

El CSV descargable contiene un guion de comprobaciones para este negocio. No es una plantilla de importación oficial de Copilot Studio: puedes ejecutarlo manualmente o trasladar sus campos al formato admitido por la herramienta.

2. Ejecutar las situaciones de atención

Empieza por T01–T12, con una conversación nueva para cada caso independiente.

En cada fila registra Cumple, No cumple o No ejecutado, además de la respuesta observada. Una respuesta puede ser cortés y fallar el criterio: por ejemplo, prometer entrega en dos días exactos cuando la política solo ofrece un intervalo orientativo.

Si se inicia el tema guiado de devolución, completa el recorrido y anota también la opción elegida y el mensaje final.

3. Comprobar que el stock procede de la herramienta

Ejecuta T13–T19:

• T13: CAF-250 debe devolver 4 tras una ejecución correcta.
• T14: ACE-1L debe devolver 0 y tratarlo como agotado.
• T15: LEC-1L debe devolver 12; si informa del mínimo, este también es 12.
• T16: XYZ-999 debe quedar como no localizado.
• T17: sin SKU, el agente debe pedirlo. Continúa con un SKU válido y comprueba el recorrido completo.
• T18: caf-250 debe normalizarse a CAF-250.
• T19: pedir una reserva no debe modificar existencias ni producir una falsa confirmación.

En la columna HerramientaUsada, registra lo que muestra la traza, no lo que afirma el texto del agente. Vincula cada consulta con su ejecución y comprueba las salidas Encontrado y Resultado.

4. Introducir cambios e incidencias controladas

Haz estas pruebas en orden y en la lista de prácticas:

Restaura la conexión y elimina la fila duplicada tras las pruebas. No cambies permisos de recursos usados por otras personas para provocar el fallo.

Si T20 devuelve 4, revisa si el agente realmente volvió a llamar al flujo. Si T21 devuelve “agotado”, revisa que el manejo de errores no esté utilizando una respuesta de éxito con cantidades predeterminadas.

5. Probar un cambio de política

La tienda cambia su promoción: el envío pasa a ser gratuito desde 40 €.

1. Copia la política TXT como v2.
2. Cambia ambos umbrales de envío: el tramo de 4,90 € será inferior a 40 € y el gratuito desde 40 € inclusive. Actualiza el número de versión.
3. Sustituye el origen v1 por v2 en el agente; evita dejar dos políticas contradictorias activas.
4. Espera a que el nuevo origen esté listo y anota BarrioDemo-v2.
5. Ejecuta T24: para 45 €, el envío debe ser gratuito.
6. Repite además 39,99 €, 40 € y 50 €: se esperan 4,90 €, gratuito y gratuito respectivamente.

Pregunta en una conversación nueva. Conserva la evidencia del cambio de origen; responder correctamente por casualidad no demuestra que esté utilizando la política actual.

6. Ampliación: usar Evaluación de Copilot Studio

Para automatizar comprobaciones de una sola respuesta, abre Evaluación → Nueva evaluación → Single responses. Crea manualmente un conjunto a partir de las preguntas del CSV o descarga el formato oficial de importación disponible y adapta los campos.

Usa Compare meaning para comparar una respuesta de política con el criterio esperado y Tool use para verificar la herramienta prevista. Revisa el perfil y las conexiones de la cuenta que ejecuta la evaluación.

Estas medidas comprueban aspectos distintos: utilizar la herramienta no garantiza informar del número correcto. Contrasta los valores con el inventario. Para T17 y T20 conserva las pruebas con contexto conversacional; una colección de preguntas independientes no reproduce esos recorridos. También puedes explorar las evaluaciones de conversación documentadas por Microsoft.

Si tu entorno no ofrece Evaluación, completa la matriz manual. Identifica expresamente esa modalidad en tu informe.

Entrega y criterio de aceptación

Entrega las 24 filas con su estado real, las incidencias encontradas y las evidencias de las dos versiones. Añade las tres comprobaciones extra del nuevo umbral.

No presentes un porcentaje como “validado” si contiene casos no ejecutados. Antes de compartir el agente, resuelve especialmente respuestas con importes inventados, existencias desactualizadas, falsas reservas o acceso a datos que el usuario no debería ver.

Restaura la política v1 y CAF-250 = 4 si otros ejercicios dependen de los datos originales. Conserva tu informe para repetirlo tras cada cambio.

Documentación oficial

• Crear un conjunto de pruebas de respuesta única — Microsoft Learn.
• Elegir métodos de evaluación — Microsoft Learn.
• Evaluaciones de conversación — Microsoft Learn.
• Consultar y exportar los resultados — Microsoft Learn.