Código

Acompaña al artículo sobre prompt injection y jailbreaking

Guardrails para asistentes con LLM

Siete ataques reales que se escriben en un chat, y las capas que los detienen.

Python 98%TOML 2%13 archivos558 líneas de código 21/21 pruebas
"""Capa 3: detección de intentos de inyección y jailbreak.

Las heurísticas no detienen a un atacante decidido; sirven para dos cosas:
cortar los intentos obvios y, sobre todo, registrar señales para el monitoreo.
Se evalúan siempre sobre texto normalizado.
"""

from __future__ import annotations

import re
from dataclasses import dataclass

_SIGNALS: list[tuple[str, re.Pattern[str], float]] = [
    ("ignorar_instrucciones",
     re.compile(r"\b(ignora|olvida|omite|ignore|forget|disregard)\b.{0,40}\b(instrucciones|reglas|indicaciones|instructions|rules)\b"), 0.6),
    ("cambio_de_rol",
     re.compile(r"\b(actua como|finge que eres|a partir de ahora eres|you are now|act as|pretend to be)\b"), 0.35),
    ("modo_sin_reglas",
     re.compile(r"\b(sin (reglas|restricciones|filtros)|modo desarrollador|developer mode|do anything now|\bdan\b)"), 0.5),
    ("revelar_contexto",
     re.compile(r"\b(muestra|revela|repite|imprime|show|reveal|print)\b.{0,30}\b(prompt|instrucciones del sistema|system prompt)\b"), 0.5),
    ("no_romper_personaje",
     re.compile(r"\b(no rompas el personaje|nunca rompe[ns]? el personaje|stay in character)\b"), 0.3),
]


@dataclass(frozen=True)
class InjectionAssessment:
    score: float
    signals: list[str]

    @property
    def is_suspicious(self) -> bool:
        return self.score >= 0.5


def assess(normalized_text: str) -> InjectionAssessment:
    found = [(name, weight) for name, pattern, weight in _SIGNALS if pattern.search(normalized_text)]
    score = min(1.0, sum(w for _, w in found))
    return InjectionAssessment(score=round(score, 2), signals=[n for n, _ in found])