Código
Acompaña al artículo sobre prompt injection y jailbreaking
Guardrails para asistentes con LLM
Siete ataques reales que se escriben en un chat, y las capas que los detienen.
13 archivos558 líneas de código 21/21 pruebas
"""Capa 3: detección de intentos de inyección y jailbreak.
Las heurísticas no detienen a un atacante decidido; sirven para dos cosas:
cortar los intentos obvios y, sobre todo, registrar señales para el monitoreo.
Se evalúan siempre sobre texto normalizado.
"""
from __future__ import annotations
import re
from dataclasses import dataclass
_SIGNALS: list[tuple[str, re.Pattern[str], float]] = [
("ignorar_instrucciones",
re.compile(r"\b(ignora|olvida|omite|ignore|forget|disregard)\b.{0,40}\b(instrucciones|reglas|indicaciones|instructions|rules)\b"), 0.6),
("cambio_de_rol",
re.compile(r"\b(actua como|finge que eres|a partir de ahora eres|you are now|act as|pretend to be)\b"), 0.35),
("modo_sin_reglas",
re.compile(r"\b(sin (reglas|restricciones|filtros)|modo desarrollador|developer mode|do anything now|\bdan\b)"), 0.5),
("revelar_contexto",
re.compile(r"\b(muestra|revela|repite|imprime|show|reveal|print)\b.{0,30}\b(prompt|instrucciones del sistema|system prompt)\b"), 0.5),
("no_romper_personaje",
re.compile(r"\b(no rompas el personaje|nunca rompe[ns]? el personaje|stay in character)\b"), 0.3),
]
@dataclass(frozen=True)
class InjectionAssessment:
score: float
signals: list[str]
@property
def is_suspicious(self) -> bool:
return self.score >= 0.5
def assess(normalized_text: str) -> InjectionAssessment:
found = [(name, weight) for name, pattern, weight in _SIGNALS if pattern.search(normalized_text)]
score = min(1.0, sum(w for _, w in found))
return InjectionAssessment(score=round(score, 2), signals=[n for n, _ in found])