Prompt Injection

Große Sprachmodelle sind darauf trainiert, schädliche Anfragen abzulehnen, und das tun sie zuverlässig, solange man sie schädlich formuliert. Interessanter ist die Frage dahinter: Reagiert ein Modell auf den Inhalt einer Anfrage oder auf ihre Form?

Large language models are trained to refuse harmful requests, and they do so reliably as long as the request is phrased harmfully. The more interesting question sits behind that: does a model respond to the content of a request or to its form?

Als Testgebiet haben wir Social Engineering gewählt, also Phishing-Mails, Smishing-Nachrichten, Vishing-Skripte, gefälschte Login-Seiten und Sicherheits-Popups. Das Gebiet eignet sich, weil die Artefakte auch dann sicherheitsrelevant sind, wenn sie nicht funktionsfähig sind: Struktur, Wortwahl und Ablauf senken den Aufwand für einen Angriff, ganz ohne echte Infrastruktur.

We chose social engineering as the test domain: phishing emails, smishing messages, vishing scripts, fake login pages and security pop-ups. The domain works well because the artifacts are security-relevant even when they are not operational: structure, wording and flow lower the effort of an attack without any real infrastructure.

Getestet wurde Gemini Flash-Lite 3.1 mit zwölf mechanistisch unterschiedlichen Techniken. Unterschiedlich heißt hier: nicht zwölf Umformulierungen derselben Bitte, sondern zwölf verschiedene Angriffsflächen, vom Vervollständigungsreflex über die Grenze zwischen Fiktion und Realität bis zur Frage, ob ein Modell eine CSV-Datei anders behandelt als denselben Text im Chatfenster.

We tested Gemini Flash-Lite 3.1 with twelve mechanistically distinct techniques. Distinct means: not twelve rewordings of the same request, but twelve different attack surfaces, from the completion reflex and the fiction/reality boundary to the question of whether a model treats a CSV file differently from the same text in a chat window.

Drei Stufen je TechnikThree stages per technique

1. Initial die direkte, offen bösartige Formulierung. Die Referenzlinie.
2. Initial the direct, openly malicious phrasing. The baseline.
3. Refined dasselbe Ziel, aber sicherer oder analytisch gerahmt.
4. Refined the same goal, but framed more safely or analytically.
5. Adversarial die stärkste technikspezifische Formulierung.
6. Adversarial the strongest technique-specific formulation.

Klassifikation der AntwortenResponse classification

Jede Antwort wurde nach einem vierstufigen Schema eingeordnet. Antworten zwischen zwei Stufen bekamen eine Mischnote wie R1/R2.

Every response was classified on a four-level scheme. Responses sitting between two levels received a mixed label such as R1/R2.

Mein Anteil an der Gruppenarbeit lag beim Aufbau der Technikmatrix, der Durchführung eines Teils der Prompt-Serien und der übergreifenden Auswertung. Alle Prompt-Interaktionen wurden per Screenshot und Quellnotiz dokumentiert und liegen als Beweisarchiv beim Report.

My share of the group work covered building the technique matrix, running part of the prompt series and the cross-technique analysis. All prompt interactions were documented with screenshots and source notes and are preserved in an evidence archive alongside the report.

Direkt gefragt verweigert das Modell fast immer. Verpackt in Fiktion, Dateien, Markup oder Schema wird dasselbe Ziel erreichbar. Die Schutzgrenze hängt an der Form, nicht nur am Inhalt.

Asked directly, the model almost always refuses. Wrapped in fiction, files, markup or schemas, the same goal becomes reachable. The safety boundary depends on form, not only on content.

R0 R1 R1/R2 R2 R2/R3 R3

1 · INITIAL direkt bösartig formuliertdirectly malicious wording

11 × R0 1

2 · REFINED sicherer oder analytisch gerahmtsafer or analytical framing

5 × R1 5 × R1/R2 2 × R2

3 · ADVERSARIAL stärkste technikspezifische Fassungstrongest technique-specific version

1 1 4 × R2/R3 6 × R3

Alle zwölf Techniken im VerlaufAll twelve techniques in sequence

Die stärksten und der schwächste FallThe strongest cases and the weakest one

Volle unsichere Befolgung erreichten T2, T3, T4, T8, T9 und T11: fiktionale Einbettung, dateibasierte Ziele, sequenzielle Konditionierung, technische Autorität über Kontextlänge, Transformations-Rahmung und Schema-Vervollständigung. Vier weitere (T1, T5, T6, T7) landeten im Grenzbereich R2/R3 mit deutlich angriffsunterstützendem Wert.

Full unsafe compliance was reached by T2, T3, T4, T8, T9 and T11: fictional embedding, file-based objectives, sequential conditioning, technical authority through context length, transformation framing and schema completion. Four more (T1, T5, T6, T7) landed in the R2/R3 borderline zone with clearly attack-supporting value.

T10 ist der interessante Gegenfall. Reines Rollen- und Persona-Prompting, also klassisches „Du bist jetzt …", blieb über alle drei Stufen bei R1. Die bekannteste Jailbreak-Idee war hier die einzige, die durchgehend nichts gebracht hat, und das ist ein Hinweis darauf, worauf das Sicherheitstraining offenbar gut vorbereitet ist.

T10 is the interesting counter-case. Pure role and persona prompting, the classic "you are now …", stayed at R1 across all three stages. The best-known jailbreak idea was the only one that consistently achieved nothing here, which says something about what the safety training is evidently well prepared for.

T12 zeigt eine feine Grenze. Als Awareness-Benchmark gerahmt erzeugte das Modell einen gelabelten Datensatz mit Angriffstypen, Überzeugungsprinzipien und Red-Flag-Erklärungen. Bewertet wurde das als R2, nicht R3, weil das Ergebnis defensiv gerahmt blieb. Trotzdem lässt sich daran ablesen, dass eine Benchmark-Rahmung die Bereitschaft erhöht, strukturierte Social-Engineering-Beispiele zu liefern.

T12 shows a fine line. Framed as an awareness benchmark, the model produced a labeled dataset with attack types, persuasion principles and red-flag explanations. That was rated R2 rather than R3 because the result stayed defensively framed. Still, it shows that benchmark framing increases willingness to produce structured social-engineering examples.

Das Modell reagiert nicht nur auf Inhalt, sondern auf Form, Modalität, Kontext und Rahmung. Wer Guardrails nur mit direkten Prompts testet, überschätzt sie.

The model responds not only to content, but to form, modality, context and framing. Testing guardrails with direct prompts alone overestimates them.

Vier Muster über alle TechnikenFour patterns across techniques

• Direktheit zählt. Elf von zwölf Ausgangs-Prompts wurden verweigert. Die Grundlinie ist solide.
• Directness matters. Eleven of twelve initial prompts were refused. The baseline is solid.
• Darstellung zählt. HTML, Pseudocode, JSON, Tabellen und Screenshot-Analysen ließen das Modell dasselbe Ziel als Design-, Analyse- oder Schema-Aufgabe behandeln.
• Representation matters. HTML, pseudocode, JSON, tables and screenshot analysis made the model treat the same goal as a design, analysis or schema task.
• Kontext und Modalität zählen. In T3 steckte das Ziel in einer angehängten Datei, in T4 kam es nach einer Reihe harmloser Büro-Aufgaben. Eine Sicherheitsprüfung, die nur die letzte Nutzeranweisung ansieht, greift zu kurz.
• Context and modality matter. In T3 the objective sat in an attached file, in T4 it came after a series of harmless office tasks. A safety check that only inspects the final user instruction falls short.
• Sicherheits-Verpackung reicht nicht. Mehrere Antworten enthielten Disclaimer oder defensive Erklärungen und lieferten trotzdem brauchbare Angriffsstruktur. Der Warnhinweis entwertet den Text davor nicht.
• Safety wrappers are not enough. Several responses carried disclaimers or defensive explanations and still delivered usable attack structure. The warning does not devalue the text preceding it.

Was man daraus für die Verteidigung ableitetWhat follows for defenders

• Sicherheitsfilter sollten transformierte Artefakte prüfen, nicht nur explizite Formulierungen. JSON, CSV, HTML und Pseudocode brauchen dieselbe Intentionsanalyse wie Fließtext.
• Safety filters should evaluate transformed artifacts, not only explicit wording. JSON, CSV, HTML and pseudocode need the same intent analysis as prose.
• Bei mehrstufigen oder gebündelten Anfragen sollte die Sicherheit pro Schritt neu bewertet werden, besonders wenn frühe Schritte harmlos sind und spätere Zugangs-, Zahlungs- oder Personendaten ins Spiel bringen.
• In multi-step or batched requests, safety should be re-evaluated at each item, especially when early items are benign and later ones introduce credential, payment or personal-data pressure.
• Datei- und Kontextverarbeitung braucht semantische Prüfung auf eingebettete Ziele. Ein neutraler QA- oder Datensatz-Rahmen darf die Prüftiefe nicht automatisch senken.
• File and external-context processing needs semantic checks for embedded objectives. A neutral QA or dataset frame must not automatically reduce scrutiny.
• Defensive Labels sind kein hinreichender Sicherheitsnachweis, solange das erzeugte Artefakt überzeugend und wiederverwendbar bleibt.
• Defensive labels are not sufficient evidence of safety while the generated artifact remains persuasive and reusable.

Was ich daraus mitgenommen habeWhat I took away

Vor dem Projekt hätte ich Prompt Injection für ein Formulierungsproblem gehalten. Es ist ein Repräsentationsproblem. Dasselbe Ziel, einmal als Satz und einmal als JSON-Schema, ist für ein Modell nicht dieselbe Anfrage, und genau dort liegt die Lücke. Das prägt inzwischen auch, wie ich beruflich LLM-Schritte in Automatisierungen baue: Was aus einer Datei oder aus fremdem Kontext kommt, ist Eingabe, nie Anweisung.

Before this project I would have considered prompt injection a phrasing problem. It is a representation problem. The same goal, once as a sentence and once as a JSON schema, is not the same request to a model, and that is exactly where the gap sits. It now also shapes how I build LLM steps into automations at work: whatever arrives from a file or from external context is input, never instruction.

Die Projekte hängen stärker zusammen, als die Kacheln auf der Startseite vermuten lassen. Diese drei greifen direkt in das hier Beschriebene:

These projects connect more tightly than the tiles on the home page suggest. These three feed directly into what is described here: