Ist KI-gestützte Entwicklung sicher? Risiken, Mythen und Compliance erklärt

Der Einsatz von KI in Ingenieurteams ist mittlerweile Standard. McKinsey (2025) berichtet, dass 88 % der Unternehmen KI in mindestens einem Geschäftsbereich einsetzen. In der Softwareentwicklung selbst nimmt die Nutzung weiter zu, da Unternehmen Codierungsassistenten und automatisierte Agenten in ihre Pipelines integrieren.

Unterdessen berichtet der WEF Global Cybersecurity Outlook 2025 von einem starken Anstieg der Ausnutzung von Software-Lieferketten, der durch die Komplexität der Abhängigkeiten, undurchsichtige KI-generierte Komponenten und begrenzte Einblicke in die Art und Weise, wie moderne Systeme endgültige Artefakte zusammenstellen, verursacht wird. Sicherheitsverantwortliche identifizieren die Gefährdung der Lieferkette als eines der am schwierigsten einzudämmenden Risiken, da die KI-gestützte Entwicklung das Volumen an Code und Konfigurationen erhöht, die in die Produktion gelangen, ohne dass sich die Governance proportional verbessert.

Auf der Grundlage unserer praktischen Erfahrungen werden wir die KI-gestützte Entwicklungssicherheit aus der Perspektive von Praktikern untersuchen, die sich aktiv mit diesen Herausforderungen auseinandersetzen. Wir werden zeigen, wie Unternehmen moderne Risikobewertungspraktiken praktisch in ihren spezifischen Entwicklungslebenszyklus und ihren Lieferantenauswahlprozess integrieren können, wobei wir uns auf reale Risiken, weit verbreitete Mythen und die Compliance-Erwartungen konzentrieren, die die heutige Engineering-Strategie prägen.

KI-gestützte Entwicklung als neue Normalität

Wie in anderen Bereichen ist KI auch in der Softwareentwicklung mittlerweile zum Alltag geworden. Heute verlassen sich die meisten Entwicklerteams bei der Strukturierung, Umgestaltung und Implementierung auf KI-Tools. Durch automatisierte Unterstützung können Entwickler bis zu einem Tag Zeit einsparen. Diese Einsparungen führen jedoch nicht automatisch zu einer schnelleren Bereitstellung. Die Produktivität bei der Planung, Überprüfung und Veröffentlichung bleibt unverändert. KI steigert zwar die Produktivität, beseitigt jedoch keine Engpässe im Workflow.

Sicherheitsqualität: Mehr Code, mehr Schwachstellen

Mit zunehmendem Einsatz von KI nehmen bekannte Sicherheitsprobleme neue Formen an. Generierter Code folgt in der Regel gängigen Mustern in den Trainingsdaten, was bedeutet, dass er subtile Schwachstellen reproduzieren kann. Diese zeigen sich in der Regel als:

• unzureichende Eingabevalidierung
• unsichere Standardkonfigurationen
• schwache Fehlerbehandlungslogik
• unsichere Serialisierungs- oder Deserialisierungsabläufe

Einzeln betrachtet mögen diese Probleme geringfügig erscheinen. In großem Maßstab summieren sie sich jedoch zu bedeutenden Schwachstellen, insbesondere wenn Entwickler scheinbar ausgefeilten Vorschlägen vertrauen. Dieses wachsende Volumen an maschinell erstellten Änderungen erhöht die KI-Sicherheitsrisiken in Teilen der Codebasis, die Teams nicht erwarten, genau zu überprüfen.

Erweiterung der Lieferkette durch Automatisierung

KI-Tools beeinflussen mittlerweile Bereiche, die weit über einfache Code-Schnipsel hinausgehen, und wirken sich auf die Auswahl von Abhängigkeiten, Konfigurationsvorlagen und Build-Pipelines aus. Da KI jedoch aus von Menschen erstellten Daten lernt, spiegelt sie unweigerlich menschliche Fehler wider – etwas, das wir bei unseren professionellen Codeüberprüfungen häufig beobachten.

Bei der Prüfung von Project Science (einer Angebotsmanagement-Plattform für IT-Projekte) haben wir beispielsweise eine kritische Sicherheitslücke festgestellt: Sensible Daten wurden in einem öffentlich zugänglichen Ordner gespeichert. Trotz des Einsatzes automatisierter Tools hat die KI dieses Risiko nicht erkannt.

Dies verdeutlicht eine wachsende Sorge in der Software-Lieferkette. Automatisierte Vorschläge können unbemerkt Folgendes einführen:

• Konfigurationsdateien, die niemand manuell bearbeitet hat
• geänderte CI/CD-Schritte
• aus Bequemlichkeit gewählte permissive Standardeinstellungen

Jede automatisierte Einfügung fügt neue Punkte hinzu, die für die KI-Konformität und die Integrität der Lieferkette zu verfolgen sind.

Fünf Mythen, die den sicheren Einsatz von KI behindern

Teams, die KI einsetzen, gehen oft davon aus, dass die Automatisierung auf bestehende Entwicklungsgewohnheiten aufgesetzt werden kann, ohne dass sie ihre Herangehensweise an Risiken, Governance oder Codequalität ändern müssen. Genau diese Annahme setzt Unternehmen den versteckten Kosten einer schlechten KI-Integration aus – Probleme, die unsichtbar bleiben, bis sie die Bereitstellung verlangsamen, Audits erschweren oder Angreifern Tür und Tor öffnen. Nach der Überprüfung und Fehlerbehebung von KI-gestützten Softwareentwicklungsumgebungen für verschiedene Produkte sind dies die fünf Missverständnisse, die Teams am häufigsten in Schwierigkeiten bringen.

Mythos 1: KI schreibt sicheren Code

KI generiert Code, der funktioniert, aber keinen Code, der Belastungen standhält. In der Praxis reproduzieren Assistenten oft die statistisch „häufigsten” Lösungen, von denen viele subtile Schwächen aufweisen. Ich habe gesehen, wie generierte Handler Sicherheitsprüfungen bestanden haben, weil sie ausgefeilt aussahen, dabei jedoch stillschweigend die ordnungsgemäße Validierung übersprungen oder sich auf permissive Standardeinstellungen verlassen haben. Dies sind kleine Risse, die sich mit zunehmender Größe vergrößern und die Sicherheit von KI-Software untergraben, wenn sie nicht überprüft werden.

Mythos 2: Unsere Scanner werden es erkennen

Herkömmliche Scanner sind auf bekannte Muster, Abhängigkeitskonflikte und signaturbasierte Fehler spezialisiert. Was sie nicht erkennen, ist die Tendenz der KI, die Struktur des Systems selbst zu verändern. In mehreren Kundenprojekten wurden Routinescans ohne Beanstandungen durchgeführt, während ein von der KI vorgeschlagener Build-Schritt eine nicht verifizierte Binärdatei herunterlud, die von den Sicherheitstools nie entdeckt wurde, da sie außerhalb des von ihnen untersuchten Codepfads lag. Diese Lücken werden besonders riskant, wenn KI Konfigurationen, Pipelines oder Automatisierungsregeln beeinflusst, die niemand manuell verändert hat.

Mythos 3: SBOM bedeutet, dass unsere Lieferkette sicher ist

Eine Standard-Software-Stückliste (SBOM) erfasst Bibliotheken, Pakete und Versionen. Aber wie wir aus unserer Erfahrung gelernt haben, verrät sie fast nichts darüber, wie Code durch Automatisierung generiert oder transformiert wurde. Wir haben Systeme geprüft, bei denen die SBOM drei Abhängigkeiten auflistete, während die generierte Bereitstellungsvorlage während der Laufzeit zwei weitere hinzufügte. Ohne eine parallele Aufzeichnung, die das Modell, die Generierungseinstellungen und die von der KI abgeleiteten Artefakte beschreibt, erhalten Compliance-Teams nur einen unvollständigen Überblick darüber, wie Software tatsächlich zusammengestellt wird.

Mythos 4: Der LLM-Anbieter kümmert sich um die Compliance

Die Zertifizierungen der Anbieter erstrecken sich nicht darauf, wie Ihr Team das Modell im Alltag nutzt. Sichere Ergebnisse hängen von Ihren eigenen Eingabeaufforderungen, Überprüfungsschritten und Zugriffskontrollen ab. Sie können ein vollständig zertifiziertes Unternehmens-LLM verwenden und dennoch sensible Geschäftsregeln in Eingabeaufforderungsprotokollen preisgeben, weil die internen Kontrollen nicht dem Governance-Level des Modells entsprechen. Das Tool scheint konform zu sein, aber der Workflow ist es nicht. Hier wird eine gut gemeinte Innovation zu einem operativen Risiko.

Mythos 5: Regulierungsbehörden prüfen den KI-Code nicht

Heute behandeln Aufsichtsbehörden KI-generierte Artefakte als Teil der Software-Lieferkette. SDLC-Audits umfassen nun auch, wie Teams generierten Code validieren, die Modellnutzung aufzeichnen und automatisierte Entscheidungen steuern. Wir haben Unternehmen durch Überprüfungen begleitet, bei denen ihre traditionelle Sicherheitshaltung zwar akzeptiert wurde, sie jedoch scheiterten, als sie zeigen sollten, wie KI-beeinflusste Änderungen nachverfolgt, validiert und genehmigt wurden. Die Lücke entsteht dort, wo es keine klaren operativen Leitplanken gibt.

Die neue Risikooberfläche: Wenn KI Teil Ihrer Lieferkette wird

Sobald KI an der Codegenerierung beteiligt ist, verhält sie sich nicht mehr wie ein harmloser Produktivitätssteigerer, sondern wie ein externer Lieferant, der in Ihre Toolchain eingebettet ist. Hier liegen die meisten Risiken der KI-Entwicklung begründet. Teams, die ihre Governance-Praktiken auf KI-Workflows ausweiten, behalten die Kontrolle; Teams, die dies nicht tun, übernehmen oft ohne es zu merken anfällige Systeme. Um dies zu verdeutlichen, sehen Sie hier eine Aufschlüsselung der Risiken.

Ebenen von KI-verstärkten Risiken

KI verändert die Software-Lieferkette, indem sie neue Entscheidungsträger, neue Artefakte und neue Möglichkeiten für Fehler im System einführt. Jede Ebene birgt ein anderes Risiko, das sich bei mangelnder Überwachung ausweiten kann:

• Modell-Ebene: Externe Modelle haben undurchsichtige Ursprünge. Verborgene Verzerrungen, übertragene Schwächen oder manipulierte Gewichte können die Ergebnisse beeinflussen, insbesondere wenn Teams KI-Modelle skalieren, ohne deren Herkunft zu überprüfen.
• Datenebene: Trainings- und Feinabstimmungsdaten können fehlerhafte oder manipulierte Beispiele enthalten. Diese Muster tauchen im generierten Code wieder auf und widerlegen den verbreiteten Mythos, dass „bessere Modelle automatisch sicherere Ergebnisse liefern“.
• Eingabe-/Nutzungsebene: Entwickler fügen häufig sensible Logik in Tools ein oder lenken Modelle unbeabsichtigt in Richtung unsicherer Standardeinstellungen. Alltägliche Nutzungsgewohnheiten führen zu einer langfristigen Gefährdung.
• Pipeline-Ebene: KI-Vorschläge ändern CI/CD-Schritte, Skripte oder Berechtigungen. Kleine automatisierte „Komfort”-Änderungen verändern das Systemverhalten auf eine Weise, die von Scannern selten erkannt wird.
• Artefakt-Ebene: Einige Probleme treten nur in der kompilierten Anwendung auf, wie generierte Konfigurationen, Startroutinen oder Bereitstellungsvorlagen, die nie von Menschen überprüft wurden.

Nur menschlich vs. KI-gestützt

Da KI Teil der Toolchain wird, verschiebt sich das Bedrohungsmodell von linear und menschengesteuert zu mehrschichtig und teilweise undurchsichtig. Der Kontrast wird deutlich, wenn man einen traditionellen Entwicklungsworkflow mit einem durch KI geprägten vergleicht:

KI verändert nicht nur, was in das System gelangt, sondern auch, wie es sich entwickelt, sodass eine proaktive Überwachung bei der Skalierung von Projekten unerlässlich ist.

Compliance und Vorschriften verändern bereits jetzt die KI in der Softwareentwicklung

Die Regulierungsbehörden behandeln KI mittlerweile als Teil der Software-Lieferkette und nicht mehr als peripheres Experiment. Heutzutage beeinflussen bereits mehrere Rahmenwerke die Art und Weise, wie Teams Systeme entwerfen und validieren, die auf Codegenerierung basieren. Der EU-KI-Akt verlangt risikobasierte Kontrollen, die Dokumentation des Modellverhaltens und die Rückverfolgbarkeit automatisierter Entscheidungen, während das KI-Risikomanagement-Framework des NIST Erwartungen in Bezug auf Governance, Überwachung und verantwortungsvolle Modellnutzung festlegt. Nationale Cybersicherheitsbehörden wie die CISA in den USA erweitern diese Grundsätze auf die Integrität der Software-Lieferkette und KI-gestützte Angriffsflächen.

In allen drei Fällen ist die Botschaft dieselbe: Rückverfolgbarkeit und Kontrolle. Teams müssen aufzeigen, wo KI eingesetzt wird, wie KI-generierte Änderungen überprüft werden und wie der Datenschutz während des gesamten Entwicklungslebenszyklus durchgesetzt wird. Audit-Protokolle, Modellherkunft und erweiterte SBOMs sind heute grundlegende Signale für eine sichere, KI-gestützte Entwicklung, die direkt den Erwartungen der Unternehmenskunden entsprechen.

Diese Rahmenwerke verlangen auch, dass KI in moderne Bedrohungsmodelle einbezogen wird. Da Modelle Abhängigkeiten, Logikpfade und automatisierte Workflows beeinflussen, betrachten die Regulierungsbehörden sie als Teil der Angriffsfläche und nicht als Werkzeug. Für jedes Unternehmen, das Entwicklungsdienstleistungen im Bereich der künstlichen Intelligenz anbietet, ist die Anpassung an diese sich weiterentwickelnden regulatorischen Standards ein Beweis für die Reife der Technik.

Diese regulatorische Klarheit schafft einen Vorteil: Teams, die diese Anforderungen frühzeitig umsetzen, entwickeln Produkte, die für eine genaue Prüfung und die Einführung in Unternehmen bereit sind.

Sichere KI-gestützte Entwicklung in der Praxis

Gründer, die sich für KI-gestützte Softwareentwicklung entscheiden, fragen oft, wie „Sicherheit“ konkret aussieht, wenn KI Teil der Lieferkette wird. In der Praxis geht es darum, die richtigen Leitplanken zu setzen, damit KI den Fortschritt beschleunigt, ohne versteckte Risiken mit sich zu bringen. Erfahrene Entwicklerteams erreichen dies durch eine kleine Reihe wiederholbarer Muster, die nicht nur den Code, sondern auch das Unternehmen schützen.

• Definierte Regeln für die KI-Nutzung: Klare Grenzen, wo KI im Produkt erlaubt ist, stellen sicher, dass sensible Logik, proprietäre Ideen und Kundendaten niemals in unkontrollierte Systeme gelangen. Das bedeutet, dass Ihre KI-gestützte Anwendung sicher wächst, ohne dass die Gefahr einer Offenlegung von geistigem Eigentum oder von Compliance-Lücken besteht.
• Auswirkungsbasierter Genehmigungsablauf: Nicht jede durch KI generierte Änderung birgt das gleiche Risiko. Logik mit hoher Auswirkung, wie Authentifizierung, Zahlungen und Workflow-Regeln, erfordert eine menschliche Validierung, während routinemäßige Gerüstkonstruktionen schneller voranschreiten. So bleibt die Geschwindigkeit hoch und gleichzeitig werden die Teile des Produkts geschützt, die für Vertrauen und Umsatz entscheidend sind.
• Rückverfolgbarkeit von Modellen und Artefakten: Immer mehr Unternehmen erwarten Transparenz hinsichtlich der Herkunft von Modellen, generierten Dateien und automatisierten Abhängigkeiten. Die Verfolgung dieser Komponenten innerhalb sicherer Workflows zeigt, dass ein professioneller Ansatz das Risiko von Überraschungen in der Lieferkette verringert.
• Validierung der endgültigen Version: Vorfälle in der Praxis sind zunehmend auf das zurückzuführen, was in dem kompilierten Artefakt landet. Durch das Scannen von Containern und gepackten Versionen werden versteckte Dateien oder Verhaltensweisen aufgedeckt, die durch KI verursacht werden können. Dadurch wird das operative Risiko unerwarteter Laufzeitprobleme minimiert.
• Bereitschaft des Teams für KI-Muster: Unternehmen, die einen Vorsprung haben, schulen ihre Entwickler darin, zu verstehen, wie sich KI verhält, wann man ihr vertrauen kann und wann man sie außer Kraft setzen sollte. Diese kulturelle Disziplin spiegelt bewährte Verfahren wider und zeugt von einem verantwortungsvollen Ansatz bei der Einführung von KI.

Diese Fähigkeiten sind es, die ein starker Engineering-Partner vom ersten Tag an mitbringt. Sie ermöglichen es der KI, die Entwicklung zu beschleunigen, ohne die Sicherheit, Compliance oder langfristige Skalierbarkeit zu beeinträchtigen, sodass Gründer selbstbewusst innovativ sein können und gleichzeitig das Unternehmen schützen.

Sicherheit durch Design

KI-gestützte Entwicklung bietet enorme Vorteile, und Ihre Entscheidungen in Bezug auf Governance, Workflows und Engineering-Partner bestimmen, ob sie zu einem Wettbewerbsvorteil oder zu einer wachsenden Belastung wird. Die Risiken sind real, von fehlerhaft generiertem Code bis hin zu Risiken in der Lieferkette, und die Mythen, dass „Tools alles erkennen“ oder „der Anbieter konform ist, also sind wir abgesichert“, gehören nach wie vor zu den schädlichsten Annahmen in schnelllebigen Teams.

Die gute Nachricht ist, dass eine sichere Einführung von KI durchaus möglich ist. Wenn Gründer KI als Teil ihrer Lieferkette betrachten, Schutzmaßnahmen in ihre Prozesse einbauen und mit Partnern zusammenarbeiten, die sich sowohl mit Software als auch mit Sicherheit auskennen, positionieren sie ihre Produkte für eine reibungslosere Einführung in Unternehmen und ein stärkeres Vertrauen der Investoren.

Sind Sie bereit, mit Zuversicht statt mit Vermutungen zu arbeiten? Kontaktieren Sie uns noch heute, um zu erfahren, wie unser Team eine sichere, KI-gestützte Entwicklung liefern kann, die auf Ihr Unternehmen zugeschnitten ist.

Sehen Sie, wie wir einer Angebotsmanagement-Plattform dabei geholfen haben, ihre Backend-Architektur zu stärken, kritische Sicherheitslücken zu beseitigen und ihre Codebasis für skalierbares Wachstum zukunftssicher zu machen

Bitte geben Sie Ihre Geschäfts-E-Mail-Adresse ein ist keine Geschäfts-E-Mail

Fallstudie herunterladen