Código
Acompaña al artículo sobre prompt injection y jailbreaking
Guardrails para asistentes con LLM
Siete ataques reales que se escriben en un chat, y las capas que los detienen.
13 archivos558 líneas de código 21/21 pruebas
import unittest
from llm_guardrails import Guardrails
from llm_guardrails.grounding import check_grounding
from llm_guardrails.pii import find_pii, redact
MANUAL_CONTROL = (
"Conoce tu control remoto. El botón Browse muestra la guía de programación. "
"Para cambiar de canal usa las flechas o escribe el número del canal. "
"El botón Menú abre la configuración del decodificador."
)
GUIA_PAGOS = (
"Puedes pagar tu servicio en línea con tarjeta, en tiendas de conveniencia o por transferencia. "
"El pago se refleja en un máximo de 48 horas y el servicio se reactiva automáticamente."
)
class GroundingTests(unittest.TestCase):
def test_cita_que_no_tiene_relacion_se_detecta(self):
# El caso del video: una tabla de números binarios "sustentada" en el manual del control remoto.
answer = "El número 5 en binario es 101. El número 9 en binario es 1001. Los números del uno al nueve en inglés son one, two, three."
report = check_grounding(answer, {"manual_control_remoto.pdf": MANUAL_CONTROL})
self.assertFalse(report.is_grounded)
self.assertEqual(report.weak_sources, ["manual_control_remoto.pdf"])
def test_respuesta_sustentada_pasa(self):
answer = "Puedes pagar en línea con tarjeta o en tiendas de conveniencia. El pago se refleja en un máximo de 48 horas."
report = check_grounding(answer, {"guia_pagos": GUIA_PAGOS})
self.assertTrue(report.is_grounded)
def test_el_pipeline_bloquea_respuestas_sin_sustento(self):
verdict = Guardrails().check_output("El 5 en binario es 101 y el 9 es 1001, según la documentación oficial.",
{"manual_control_remoto.pdf": MANUAL_CONTROL})
self.assertFalse(verdict.allowed)
self.assertIn("sin_sustento", verdict.signals)
class PiiTests(unittest.TestCase):
def test_detecta_curp_correo_y_telefono(self):
kinds = {f.kind for f in find_pii("CURP GODE561231HDFRRN09, correo ana@ejemplo.mx, tel 55 1234 5678")}
self.assertEqual(kinds, {"curp", "email", "telefono"})
def test_tarjeta_solo_si_pasa_luhn(self):
self.assertEqual([f.kind for f in find_pii("Tarjeta 4111 1111 1111 1111")], ["tarjeta"])
self.assertEqual(find_pii("Folio 1234 5678 9012 3456"), [])
def test_enmascara_en_la_salida(self):
text, findings = redact("Tu correo registrado es ana@ejemplo.mx")
self.assertEqual(text, "Tu correo registrado es [email oculto]")
self.assertEqual(len(findings), 1)
if __name__ == "__main__":
unittest.main()