Algorithmus und Mensch als Partner

Wenn es darum geht, den Nutzen des maschinellen Lernens (ML) für Wissenschaft und Gesellschaft zu veranschaulichen, gilt momentan sicherlich die Medizin als die Paradedisziplin. Aufgrund von Durchbrüchen in der automatisierten Bilderkennung dürfte es mittlerweile zu fast jeder Krankheit mit äußerlich beobachtbaren Symptomen einen Algorithmus geben, der mit der Präzision von Fachärzt*innen Diagnosen erstellen kann. Ähnlich eindrucksvoll sind verschiedene Modelle zur Vorhersage von Gesundheitsrisiken, mit deren Hilfe eine rechtzeitige Intervention möglich wird und die somit viele Leben retten könnten – etwa bei Kreislaufzusammenbrüchen oder Nierenversagen bei Patientinnen auf der Intensivstation.

Stellt der Algorithmus wirklich die bessere Diagnose?

Beginnend im Jahr 2016 legten einige viel beachtete Studien den Grundstein für den Hype um ML in der Medizin. In diesen sollten ML-Algorithmen Krankheiten mittels Analyse klinischer Bilder feststellen. Als Messlatte wurde die Genauigkeit des Algorithmus mit der von Fachärzt*innen verglichen. Die Studien hatten allesamt den gleichen Tenor: Der Algorithmus war entweder gleich gut oder sogar besser als sein menschliches Pendant. Medienberichte befeuerten das Bild vom Wettstreit zwischen Mensch und Maschine. Bisweilen konnte man den Eindruck bekommen, der Mensch müsse bald Platz machen für Algorithmen, die ihn überholen. Die Ingenieursleistung, welche hinter dem Training der Algorithmen steckte, ist gewiss beeindruckend. Doch auch wenn die vermeintlichen Vorzüge der Algorithmen für die klinische Praxis ersichtlich sind, lässt sich aus den Studien nicht ableiten, dass besagte Algorithmen tatsächlich einen Vorteil bringen.

Das liegt auch am Studiendesign. Zunächst einmal gilt, dass die Studien auf die Stärken des Algorithmus zugeschnitten sind: Die menschlichen Fachärzt*innen mussten ihre Diagnose einzig auf der Grundlage von klinischen Bildern treffen. Andere Modalitäten, die ein fester Bestandteil der klinischen Praxis sind (die Krankenakte von Patientinnen, medizinische Geräte, direkte Informationen seitens der Patientinnen, etc.), standen nicht zur Verfügung.

Wichtiger jedoch ist, dass diesen Studien ein antagonistischer Rahmen zwischen Ärzt*innen und Algorithmus zugrunde gelegt wurde. Rückschlüsse über das Zusammenspiel von Ärzt*innen und Algorithmen ließen sich daraus kaum gewinnen.

Dabei ist es gewissermaßen Konsens in der Wissenschaftsgemeinschaft, dass die Aufgabe der Algorithmen nicht darin bestehen kann, Ärzt*innen zu ersetzen, sondern sie zu unterstützen – sowohl aus technischen als auch ethischen Gründen. Es ist deshalb Zeit, dass wir das antagonistische Verständnis vom Verhältnis zwischen Ärzt*innen und Algorithmen hinter uns lassen. Im Interesse des medizinischen Fortschritts sollten wir unseren Blick vielmehr auf das Zusammenspiel der beiden richten. Denn dass diese Interaktion gelingt, ist die Basis dafür, dass ML im klinischen Alltag überhaupt in einer gewissen Breite zum Einsatz kommen kann.

Welche Probleme treten bei der Interaktion zwischen Algorithmus und Arzt auf?

Die wesentliche Herausforderung für das Zusammenspiel von Ärztin und Algorithmus besteht darin, dass es sich um zwei Akteure handelt, die jeweils auf unterschiedliche Weise schlussfolgern und dabei unterschiedliche Limitationen haben. Die Rede von Algorithmen als Akteur bezieht sich hierbei allerdings rein auf seine funktionale Rolle, d.h. es geht nicht darum, ihm höherstufige mentale Fähigkeiten zuzuschreiben.  

Grob vereinfacht schlussfolgern ML-Algorithmen, indem sie eine mathematische Entscheidungsregel entwickeln, mittels derer sie den Input (ein Set an bekannten Variablen) und den Output (die Vorhersage/Klassifikation einer bestimmten Krankheit) verknüpfen. Ärzt*innen greifen zur Erstellung ihrer Diagnose wiederum auf eine Kombination impliziten Wissens, verschiedener Heuristiken und statistischer Verfahren zurück. Folglich sind Algorithmen und Ärzt*innen jeweils anfällig für unterschiedliche Fehler: Bei ML-Algorithmen leidet die Robustheit, sobald sie mit Daten konfrontiert werden, die von den Trainingsdaten abweichen. Ärzt*innen wiederum weisen Schwächen in der Berechnung von Risiken auf.  

Nebst der unterschiedlichen Denkweise besteht ein Problem im Zusammenspiel darin, dass Ärzt*innen sich über Gebühr abhängig von Algorithmen machen. Eine Reihe von Studien hat gezeigt, dass insbesondere Noviz*innen dazu neigen, die Diagnose des Algorithmus zu übernehmen, selbst wenn ihre eigene Diagnose womöglich abweicht. Insbesondere wenn der Algorithmus mit seiner Diagnose falsch liegt, besteht die Gefahr, dass Ärzt*innen vom Algorithmus in die Irre geführt werden, indem sie ihre eigene Diagnose hinter die des Algorithmus stellen. Eine Konsequenz dessen ist, dass Algorithmen womöglich die (epistemische) Autorität von Ärzt*innen untergraben. Dies zieht weitere Probleme nach sich: Gerade in Situationen, wo Unsicherheit hinsichtlich der Diagnose vorliegt, könnten Ärzt*innen dazu verleitet werden, defensiv zu entscheiden. Besonders bei Noviz*innen wird hierdurch womöglich der Schritt hin zur Expertin erschwert.

Was muss der Algorithmus mitbringen damit das Zusammenspiel gelingt?  

Die Herausforderung für die ML-Forschung besteht folglich darin, ML-Algorithmen so zu gestalten, dass das Zusammenspiel mit Ärzt*innen optimiert wird. Hierfür ist es notwendig, zu verstehen, welche Mechanismen es Ärzt*innen erlauben, bessere Entscheidungen auf der Basis algorithmischer Diagnosen zu treffen. Veranschaulichen lässt sich dies anhand des Beispiels der Erklärbarkeit von ML-Algorithmen.

Sinnvolle Erklärungen fungieren als Bindeglied zwischen Ärzt*innen und Algorithmen. Die Funktion der jeweiligen Erklärungen besteht darin, eine Grundlage für Vertrauen in algorithmische Entscheidungen zu bilden. Im Zentrum steht hierbei, dass inkorrekte Diagnosen seitens des Algorithmus aufdeckbar werden. Dies ist sicherlich ein anspruchsvolles Unterfangen, bedenkt man den Zeitdruck, unter dem Ärzt*innen ihre Entscheidungen treffen müssen, wie auch das oftmals unzureichende Wissen in der Medizin hinsichtlich der Ätiologie von Krankheiten. Der Erfolg von Erklärungen lässt sich folglich daran bemessen, dass Ärzt*innen im Zusammenspiel mit ML-Algorithmen bessere diagnostische Entscheidungen treffen als wenn beide unabhängig entscheiden.

Erklärungen spielen eine entscheidende Rolle für die gelingende Interaktion von Ärzt*innen und Algorithmen, indem sie diagnostische Entscheidungen des Algorithmus rechtfertigen. Dabei erfüllen Erklärungen verschiedene Funktionen. Einerseits dienen sie der Vertrauensbildung: Ärzt*innen können durch Erklärungen nachvollziehen, dass die Diagnose auf zuverlässige Weise gemacht wurde. Andererseits wird durch Erklärungen der Algorithmus angreifbar, da etwaige Denkfehler identifizierbar werden. Gerade bei Noviz*innen haben Erklärungen darüber hinaus auch eine pädagogische Funktion: Sie lernen hierdurch, ihre Aufmerksamkeit auf die relevanten Eigenschaften von medizinischen Bildern zur Diagnose von Krankheiten zu richten.

Gleichwohl muss angemerkt werden, dass es – meines Wissens – noch wenige Studien gibt, die systematisch die Effekte von algorithmischen Erklärungen in der medizinischen Diagnostik untersuchen.

Welche Bedeutung kommt der Philosophie zu?

Die Entwicklung von algorithmischen Erklärungsmodellen für den medizinischen Kontext ist jedoch besonders komplex. In der ML-Forschung existieren mittlerweile eine Vielzahl von Ansätzen, um undurchsichtige ML-Modelle erklärbar zu machen – sei es durch die Visualisierung auffallender Merkmale oder durch das Ranken der wichtigsten statistischen Merkmale, die zu einer Diagnose führen. Eine bedeutsame Frage ist dabei, wie und was genau durch diese Ansätze erklärt wird – und was nicht! Wenn etwa mittels einer Heatmap veranschaulicht werden soll, auf welche Eigenschaften der Algorithmus seine Aufmerksamkeit bei der Analyse des Bildes einer Netzhaut gelegt hat, welche Informationen lassen sich hieraus entnehmen? Gleichzeitig, inwieweit können solche Visualisierungen in die Irre führen oder Bestätigungsfehler begünstigen? An dieser Stelle gelangt die technische Seite der ML-Forschung an ihre Grenzen. Gerade die Erkenntnistheorie (Epistemiologie, die philosophische Disziplin, welche sich mit Begriffen wie Wissen, Verstehen oder Rechtfertigung befasst) und die Wissenschaftstheorie haben einen reichen Erfahrungsschatz in der Kritik des Erklärungsvermögens von Modellen. Hierdurch kann die Erkenntnistheorie wichtige Impulse für die Entwicklung epistemischer Kriterien und der Evaluierung gegenwärtiger Methoden von algorithmischen Erklärungen leisten. Etwas konkreter sehe ich einen möglichen Beitrag der Philosophie darin, dass spezifiziert wird, welche möglichen Funktionen algorithmische Erklärungen erfüllen sollen, was die Erfolgsbedingungen für die jeweiligen Erklärungen sind und dass sie evaluiert, inwiefern bestehende technische Lösungen diesen Anforderungen gerecht werden.

Damit seitens der Philosophie ein sinnvoller Beitrag geleistet werden kann, ist es erforderlich, sich sehr genau mit der Forschung in der Medizin (was ist eigentlich die Logik diagnostischer Entscheidungen?) und dem ML (welche Erklärungsansätze sind zumindest prinzipiell möglich?) auseinanderzusetzen. Kurzum, die Verbesserung des Zusammenspiels von Ärzt*innen und Algorithmen erfordert eine multidisziplinäre Herangehensweise.