Die Künstliche Intelligenz (KI) ist aus unserem Alltag nicht mehr wegzudenken. Ohne zu wissen, wie die sprachlich ansprechend formulierten Antworten, die realistisch oder futuristisch aussehenden Bilder und die superschnellen Entscheidungen innerhalb des Computersystems in Sekundenschnelle erzeugt werden, nutzen wir diverse KI-Tools im Arbeitsumfeld und privat immer häufiger. Die KI stellt für die Anwendenden eine hilfreiche Black-Box dar. Ein ungutes Gefühl sollte aber spätestens dann aufkommen, wenn KI-Modelle in selbstfahrenden Autos oder Diagnosesystemen in der Medizin eingesetzt werden, denn da kann es um Leben und Tod gehen, wenn die KI falsche, nicht nachvollziehbare Entscheidungen trifft.
Um in solchen Anwendungsfeldern das Vertrauen in die Technik zu verbessern, kann erklärbare KI (explainable AI, XAI) eingesetzt werden. XAI hat zum Ziel, nachvollziehbar zu machen, wie die KI im innersten funktioniert bzw. nach welchen Regeln sie die Ergebnisse generiert. Auch die Fehlerdiagnose und damit die Verbesserung des Systems wird mit bestimmten erklärbaren KI-Modellen möglich, welche bei großen Sprachmodellen beispielsweise nicht gegeben ist.
Prof. Nadja Klein, Forschungsgruppenleiterin am SCC forscht mit ihrem Team daran beim Black-Box-Problem Licht ins Dunkel zu bringen und im übertragenen Sinn die undurchsichtige Schachtel, die die KI umhüllt, in eine transparentere zu verwandeln, die mehr Einblicke erlaubt als bisher möglich. Im Forschungspodcast Campus-Report des KIT spricht Stefan Fuchs mit Prof. Nadja Klein und Tim Bündert (SCC, Forschungsgruppe Methods for Big Data) über die Herausforderungen in der Entwicklung von transparenten und vertrauensvollen KI-Modellen.
Publikationen
- Martens, D., et al. (2025). Beware of "Explanations" of AI. arXiv preprint arXiv:2504.06791
- Yanez Sarmiento, P., Witzke, S., Klein, N., & Renard, B.Y. (2024). Sparse Explanations of Neural Networks Using Pruned Layer-Wise Relevance Propagation. In: Machine Learning and Knowledge Discovery in Databases. Research Track. ECML PKDD 2024, 14944
- Rügamer, D., Kolb, C., & Klein, N. (2023). Semi-Structured Distributional Regression. The American Statistician, 78(1), 88–99
- Podcast Campus-Report: „Das Black-Box-Problem der Künstlichen Intelligenz“ – Forschende am Karlsruher Institut für Technologie arbeiten an Explainable AI (XAI) (Veröffentlicht am 22.07.2025, 1000183281)