Código
Acompaña al artículo sobre prompt injection y jailbreaking
Guardrails para asistentes con LLM
Siete ataques reales que se escriben en un chat, y las capas que los detienen.
13 archivos558 líneas de código 21/21 pruebas
"""Capa 2: control de alcance.
Decide si una petición corresponde a la función del asistente. Se incluye un
clasificador por palabras clave como línea base y una interfaz para conectar
un clasificador semántico (otro modelo) sin cambiar el resto del sistema.
"""
from __future__ import annotations
import re
from dataclasses import dataclass
from typing import Protocol
@dataclass(frozen=True)
class ScopeDecision:
in_scope: bool
reason: str
confidence: float
class IntentClassifier(Protocol):
"""Cualquier clasificador: reglas, un modelo pequeño o un LLM con salida estructurada."""
def classify(self, normalized_text: str) -> ScopeDecision: ...
class KeywordScopeClassifier:
"""Línea base: útil y barata, pero solo es confiable si recibe texto normalizado."""
def __init__(self, allowed_topics: dict[str, list[str]], blocked_patterns: list[str]):
self._allowed = {
topic: [re.compile(rf"\b{re.escape(k)}\w*\b") for k in keywords]
for topic, keywords in allowed_topics.items()
}
self._blocked = [re.compile(p) for p in blocked_patterns]
def classify(self, normalized_text: str) -> ScopeDecision:
for pattern in self._blocked:
if pattern.search(normalized_text):
return ScopeDecision(False, f"Tema fuera de alcance ({pattern.pattern})", 0.9)
for topic, patterns in self._allowed.items():
if any(p.search(normalized_text) for p in patterns):
return ScopeDecision(True, f"Tema permitido: {topic}", 0.7)
return ScopeDecision(False, "No coincide con ningún tema del servicio", 0.6)
# Configuración de ejemplo para un asistente de atención a clientes de telecomunicaciones.
TELECOM_SCOPE = KeywordScopeClassifier(
allowed_topics={
"facturacion": ["factura", "pago", "pagar", "estado de cuenta", "cargo", "saldo", "recibo"],
"soporte": ["internet", "wifi", "modem", "senal", "television", "canal", "control", "reiniciar", "lento"],
"contratacion": ["paquete", "plan", "contratar", "cambiar", "promocion", "cancelar"],
},
blocked_patterns=[
r"\bbinari[oa]s?\b",
r"\b(receta|poema|cuento|chiste)s?\b",
r"\b(tarea|ensayo|traduce|traducir)\b",
],
)