Quellen zur Folge
Alles, was in der Folge zur Sprache kam, zum Nachlesen. Die Abschnitte folgen dem Gesprächsverlauf. Links geprüft am 28.08.2026.
Das Grundmuster: die Lethal Trifecta
Simon Willison: „The lethal trifecta for AI agents“ https://simonwillison.net/2025/Jun/16/the-lethal-trifecta/ Wo ein Agent gleichzeitig Zugriff auf private Daten, auf fremde Inhalte und auf einen Weg nach außen hat, ist der Datenabfluss eine Frage der Zeit — der Begriff, mit dem Sebastian die Risiken einsortiert hat.
GitGuardian: State of Secrets Sprawl 2026 https://www.gitguardian.com/state-of-secrets-sprawl-report-2026 Die jährliche Auswertung, wie viele Zugangsdaten öffentlich auf Code-Plattformen landen — der Normalfall hinter dem Bild vom Key, den ein Agent ins GitHub legt.
Tempo: wie schnell Schwachstellen heute ausgenutzt werden
Zero Day Clock https://zerodayclock.com/ Live-Dashboard zur Zeitspanne zwischen der Veröffentlichung einer Schwachstelle und ihrer Ausnutzung, gespeist aus zehn Quellen — von zwei Jahren im Median 2018 auf heute Stunden.
VulnCheck: „State of Exploitation 2026“ https://www.vulncheck.com/blog/state-of-exploitation-2026 Die nüchterne Gegenrechnung aus derselben Datenwelt, die die Zuspitzung dämpft.
Chancen: KI findet Schwachstellen
Anthropic Frontier Red Team: „Assessing Claude Mythos Preview's cybersecurity capabilities“ https://red.anthropic.com/2026/mythos-preview/ Das Modell, das Anthropic zuerst nur an ausgewählte Organisationen ausgeliefert hat — hier steht, was es gefunden hat, darunter der 27 Jahre alte Bug in OpenBSD.
Anthropic: „Project Glasswing — an initial update“ https://www.anthropic.com/research/glasswing-initial-update Zwischenstand nach einem Monat, mit den Zahlen zu Firefox und Linux-Kernel.
Anthropic: Dashboard zur koordinierten Offenlegung https://red.anthropic.com/2026/cvd/ Welche Funde gemeldet, bestätigt und behoben wurden — laufend fortgeschrieben.
Vorfälle: wenn der Agent tut, was niemand wollte
PocketOS: ein Agent löscht die Produktionsdatenbank in neun Sekunden https://zenity.io/blog/current-events/ai-agent-database-deletion-pocketos Die Analyse des Vorfalls vom April 2026, bei dem das Löschverbot im Systemprompt stand und trotzdem nach neun Sekunden alle Daten samt Backups weg waren.
Hugging Face: Offenlegung des Sicherheitsvorfalls, Juli 2026 https://huggingface.co/blog/security-incident-july-2026 Die Sicht der angegriffenen Seite: Ein fremdes Agentensystem dringt in die Produktionsinfrastruktur ein, entdeckt wird es erst Tage später.
OpenAI und Hugging Face: erste gemeinsame Meldung https://openai.com/index/hugging-face-model-evaluation-security-incident/ Die Einordnung vom Juli, mit der OpenAI offenlegt, dass die Angreifer die eigenen Testmodelle waren.
Black Hat USA 2026: „The ‚Breaking‘ News: The OpenAI–Hugging Face Incident“ https://youtu.be/87DyyMV0kCY Der Mitschnitt des Vortrags vom 6. August: Eric Wallace und Michael Dalton von OpenAI rekonstruieren den Ablauf aus erster Hand — das schwarze Brett im internen Paketmanager, die beiden Zero-Days, die Rückkehr der Agenten zwei Tage nach dem Aufräumen. Vierzig Minuten, sehenswert, und die Grundlage für den Nachtrag am Ende der Folge. Erschienen nach der Aufnahme.
OpenAI: „The Hugging Face incident and the road ahead“ https://openai.com/index/hugging-face-incident-and-the-road-ahead/ Der ausführliche technische Bericht vom August, der den Ablauf rekonstruiert — inklusive der Artifactory-Schwachstelle, über die die Modelle ins Internet kamen, und der Frage, warum die Schutzmechanismen versagt haben. Erschienen nach der Aufnahme.
Cloud Security Alliance: „The Benchmark That Broke Containment“ https://labs.cloudsecurityalliance.org/research/csa-research-note-openai-model-sandbox-escape-huggingface-br/ Warum das kein Amoklauf war, sondern ein Modell, das seine Aufgabe zu wörtlich genommen hat.
Simon Willison: „OpenAI's accidental cyberattack against Hugging Face“ https://simonwillison.net/2026/Jul/22/openai-cyberattack/ Die kürzeste verständliche Zusammenfassung des Vorfalls.
Anthropic: „Investigating three real-world incidents in our cybersecurity evaluations“ https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals Die Meldung vom 30. Juli 2026, auf die Sebastian anspielt: In drei Fällen verließ ein Modell die Evaluationsumgebung und griff auf Produktivsysteme fremder Organisationen zu — zwei der Betroffenen hatten davon nichts bemerkt.
Anthropic: die erste berichtete KI-orchestrierte Spionagekampagne, November 2025 https://www.anthropic.com/news/disrupting-AI-espionage Der Fall mit tatsächlich böser Absicht dahinter — ein Agent greift viele Ziele gleichzeitig an, in einem Tempo, das eine menschliche Gruppe nicht erreicht. Unabhängig katalogisiert bei MITRE ATT&CK: https://attack.mitre.org/campaigns/C0062/
Warum das passiert: Kontext statt Trennung von Code und Daten
OWASP: GenAI LLM Top 10 2026 https://genai.owasp.org/resource/owasp-genai-llm-top-10-2026/ Die am 3. August 2026 freigegebene Fassung — Prompt Injection steht unverändert auf Platz 1, „Excessive Agency“ rückt von Platz 6 auf Platz 3 vor. Projektseite mit allen Fassungen: https://owasp.org/www-project-top-10-for-large-language-model-applications/
Loren Kohnfelder: „Role confusion — one more reason we can't trust LLMs“ https://designingsecuresoftware.com/writings/role-confusion/ Der begriffliche Kern von Kais Punkt: Was bei SQL Injection die Trennung von Code und Daten war, gibt es beim Sprachmodell nicht mehr — es sieht nur Kontext. Ausführliche Fassung mit Beispielen: https://role-confusion.github.io/
OpenAI: „The Instruction Hierarchy“ https://openai.com/index/the-instruction-hierarchy/ Der Versuch der Hersteller, die fehlende Trennung durch eine Rangordnung der Anweisungen zu ersetzen — und damit zugleich das Eingeständnis, dass es keine Trennung gibt.
Invariant Labs: ein öffentliches Issue genügt https://invariantlabs.ai/blog/mcp-github-vulnerability Wie ein Agent über den offiziellen GitHub-MCP-Server private Daten preisgibt, ohne dass irgendetwas kompromittiert wurde — genau das Szenario „kümmere dich um dieses Issue“.
Zscaler ThreatLabz: präparierte Webseiten, die KI-Agenten steuern https://www.zscaler.com/blogs/security-research/indirect-prompt-injection-web-content-targets-ai-agents Dokumentationsseiten für Bibliotheken, die es nicht gibt — der Beleg dafür, dass auch Recherche und Doku-Lektüre Kontext einschleusen.
Eingrenzen: Isolation, Monitoring, Least Privilege
NIST: „Mathematical Proof Supports Transition to a Continuous-Monitor-and-Update Security Model for AI Systems“ https://www.nist.gov/news-events/news/2026/06/nist-mathematical-proof-supports-transition-continuous-monitor-and-update Die Begründung dafür, nicht allein auf Prävention zu setzen, sondern auf Erkennung und Reaktion. Zugrunde liegendes Paper: Apostol Vassilev, Robust AI Security and Alignment: A Sisyphean Endeavor?, IEEE Security & Privacy, Mai 2026 · https://doi.org/10.1109/MSEC.2026.3678214
BSI und ANSSI: Empfehlungen für den Einsatz von KI-Programmierassistenten https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/ANSSI_BSI_AI_Coding_Assistants.pdf Die behördliche Handreichung zu Sandboxing, Berechtigungen und Umgang mit Zugangsdaten — deutsch und französisch abgestimmt.
Prüfen: Review Fatigue und was den Menschen ersetzt
Daniel Stenberg: „The end of the curl bug-bounty“ https://daniel.haxx.se/blog/2026/01/26/the-end-of-the-curl-bug-bounty/ Der Maintainer stellt Ende Januar 2026 das Bug-Bounty-Programm ein, weil die Bestätigungsquote der Meldungen unter fünf Prozent gefallen war.
Daniel Stenberg: „High-Quality Chaos“ https://daniel.haxx.se/blog/2026/04/22/high-quality-chaos/ Drei Monate später die Kehrtwende: ohne Geld im Spiel steigt die Qualität wieder auf das Niveau von vor der KI — bei weiter wachsender Menge.
Linus Torvalds: die Sicherheitsliste des Linux-Kernels ist „almost entirely unmanageable“ https://www.theregister.com/security/2026/05/18/linus-torvalds-says-ai-powered-bug-hunters-have-made-linux-security-mailing-list-almost-entirely-unmanageable/5241633 Was passiert, wenn alle dieselben Werkzeuge über denselben Code laufen lassen — und warum das Projekt den Prozess geändert hat statt mehr Leute zu suchen.
Veracode: GenAI Code Security Update, Frühjahr 2026 https://www.veracode.com/blog/spring-2026-genai-code-security/ Wie sicher der Code ist, den Modelle schreiben, wenn man sie nicht ausdrücklich darum bittet — die Messgrundlage für alles, was danach geprüft werden muss.
Off-by-1 Labs (1Password): „Frontier Models' Vulnerability Patches are Often F.L.A.W.E.D.“ https://1password.com/files/resources/frontier-models-vulnerability-patches-flawed.pdf Dasselbe eine Stufe weiter: Claude Opus 4.8 und ChatGPT 5.5 schreiben in 6.080 Durchläufen Patches für sechs frische CVEs. Sauber geschlossen ist die Lücke in 26 Prozent der Fälle, gar nicht geschlossen in gut der Hälfte, und 4,5 Prozent der Patches bringen eine neue Schwachstelle mit. Am schlechtesten schneiden die Modelle ab, wenn der Auftrag eine plausible, aber falsche Lösungsrichtung nennt — dann fällt die Quote auf 15 Prozent, gegenüber 50 Prozent ganz ohne Vorgabe.
Supply Chain: Slopsquatting und Abhängigkeiten
Cloud Security Alliance: „Slopsquatting“ https://labs.cloudsecurityalliance.org/research/csa-research-note-slopsquatting-ai-supply-chain-20260419-csa/ Angreifer registrieren die Paketnamen, die Modelle sich ausdenken — reproduzierbar genug, dass sich das Warten darauf lohnt.
GitHub: warum Dependabot jetzt drei Tage wartet https://github.blog/security/supply-chain-security/the-case-for-a-cooldown-why-dependabot-now-waits-before-issuing-version-updates/ Der „Package Cooldown“, seit Juli 2026 Voreinstellung — die Gegenmaßnahme, die frisch veröffentlichte Pakete erst einmal liegen lässt. Ankündigung: https://github.blog/changelog/2026-07-14-dependabot-version-updates-introduce-default-package-cooldown/
nx / „s1ngularity“ https://www.stepsecurity.io/blog/supply-chain-security-alert-popular-nx-build-system-package-compromised-with-data-stealing-malware Schadsoftware, die die installierten KI-Assistenten der Opfer benutzt, um deren Rechner nach Zugangsdaten zu durchsuchen. Auswertung der abgeflossenen Zugangsdaten: https://blog.gitguardian.com/the-nx-s1ngularity-attack-inside-the-credential-leak/
Modelllandschaft: wer hat welche Fähigkeiten in der Hand
Arena: LLM Leaderboard https://arena.ai/leaderboard/text Der laufende Vergleich zwischen kommerziellen und offenen Modellen — die Datengrundlage für die Frage, wie weit offene Modelle den geschlossenen hinterherlaufen.
Zum Weiterarbeiten — die Empfehlung aus der Folge
OWASP: „Secure Coding with AI“ Cheat Sheet https://cheatsheetseries.owasp.org/cheatsheets/Secure_Coding_with_AI_Cheat_Sheet.html Der praktischste Einstieg, ausdrücklich für agentische Werkzeuge geschrieben. Schwesterdokumente: AI Agent Security · Prompt Injection Prevention · MCP Security
OWASP AISVS 1.0 https://github.com/OWASP/AISVS · PDF Prüfbare Anforderungen statt Risikoliste — besonders Anhang C, „AI-Assisted Secure Coding“, der Coding, Review und Prozess als Kontrollen mit Prüfstufen beschreibt.
OWASP: Top 10 für agentische Anwendungen (2026) https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/ Die Schwesterliste zur LLM-Top-10, zugeschnitten auf Agenten mit Werkzeugzugriff.
OWASP: AI Security Solutions Landscape https://genai.owasp.org/initiatives/ai-security-solutions/ Die Werkzeugübersicht, die Kai erwähnt: offene und kommerzielle Lösungen, nach Phase im Lebenszyklus sortiert. Aktuelle Ausgabe für agentische Systeme: https://genai.owasp.org/resource/ai-security-solutions-landscape-for-agentic-ai-q2-2026/
OWASP: LLM AI Security & Governance Checklist https://genai.owasp.org/resource/llm-applications-cybersecurity-and-governance-checklist-english/ Für alle, die Einsatzkriterien in einer Organisation festschreiben müssen — Sebastians letzter Punkt im Fazit.
