Código

Acompaña al artículo sobre prompt injection y jailbreaking

Guardrails para asistentes con LLM

Siete ataques reales que se escriben en un chat, y las capas que los detienen.

Python 98%TOML 2%13 archivos558 líneas de código 21/21 pruebas
"""Capa 2: control de alcance.

Decide si una petición corresponde a la función del asistente. Se incluye un
clasificador por palabras clave como línea base y una interfaz para conectar
un clasificador semántico (otro modelo) sin cambiar el resto del sistema.
"""

from __future__ import annotations

import re
from dataclasses import dataclass
from typing import Protocol


@dataclass(frozen=True)
class ScopeDecision:
    in_scope: bool
    reason: str
    confidence: float


class IntentClassifier(Protocol):
    """Cualquier clasificador: reglas, un modelo pequeño o un LLM con salida estructurada."""

    def classify(self, normalized_text: str) -> ScopeDecision: ...


class KeywordScopeClassifier:
    """Línea base: útil y barata, pero solo es confiable si recibe texto normalizado."""

    def __init__(self, allowed_topics: dict[str, list[str]], blocked_patterns: list[str]):
        self._allowed = {
            topic: [re.compile(rf"\b{re.escape(k)}\w*\b") for k in keywords]
            for topic, keywords in allowed_topics.items()
        }
        self._blocked = [re.compile(p) for p in blocked_patterns]

    def classify(self, normalized_text: str) -> ScopeDecision:
        for pattern in self._blocked:
            if pattern.search(normalized_text):
                return ScopeDecision(False, f"Tema fuera de alcance ({pattern.pattern})", 0.9)

        for topic, patterns in self._allowed.items():
            if any(p.search(normalized_text) for p in patterns):
                return ScopeDecision(True, f"Tema permitido: {topic}", 0.7)

        return ScopeDecision(False, "No coincide con ningún tema del servicio", 0.6)


# Configuración de ejemplo para un asistente de atención a clientes de telecomunicaciones.
TELECOM_SCOPE = KeywordScopeClassifier(
    allowed_topics={
        "facturacion": ["factura", "pago", "pagar", "estado de cuenta", "cargo", "saldo", "recibo"],
        "soporte": ["internet", "wifi", "modem", "senal", "television", "canal", "control", "reiniciar", "lento"],
        "contratacion": ["paquete", "plan", "contratar", "cambiar", "promocion", "cancelar"],
    },
    blocked_patterns=[
        r"\bbinari[oa]s?\b",
        r"\b(receta|poema|cuento|chiste)s?\b",
        r"\b(tarea|ensayo|traduce|traducir)\b",
    ],
)