Robust Detection of Out-of-Distribution Data

Abstract

Auf großen Datenmengen trainierte tiefe neuronale Netze (deep neural networks) sind in jüngster Vergangenheit zu einem überaus erfolgreichen Instrument zur Bearbeitung einer Vielzahl kognitiver Aufgaben herangewachsen. In vielen Bereichen übertreffen sie von Menschen erbrachte Leistungswerte, insbesondere wenn Bearbeitungsgeschwindigkeit und wirtschaftliche Kosten in die Betrachtung miteinbezogen werden. Wenn man den derzeitigen raschen Fortschritt im Entwicklungsfeld des maschinellen Lernens extrapoliert, dessen Triebkraft einerseits Forschungsfortschritte in der Konstruktion einschlägiger algorithmischer Methoden und andererseits die sich kontinuierlich steigernden Größenordnungen verfügbarer Rechenkapazitäten sind, so ist ein massiv wachsender Umfang der verarbeitenden sowie kreativen Aufgaben zu erwarten, die von solchen neuronalen Netzen zukünftig effektiv und effizient übernommen werden können. Diese zügige Weiterentwicklung des Machbaren geht bereits jetzt mit dem Einsatz lernbasierter Systeme in einer steigenden Zahl praktischer Einsatzbereiche einher. Viele solcher Anwendungen schließen Situationen ein, welche sicherheitsrelevant oder auf sonstige Weise von großer Bedeutung nicht nur für solche Einzelpersonen oder Gruppen sind, die das System aktiv einsetzen, sondern auch für jene, die lediglich passiv von seinen Ergebnissen betroffen sind. Ihre zunehmende Bedeutung macht die Robustheit auf neuronalen Netzen basierender Systeme gegenüber einer alarmierenden Vielzahl von Problemstellungen, die sich aus Unregelmäßigkeiten der ins Modell eingespeisten Daten ergeben können, sobald es als Teil eines fertigen Systems eingesetzt wird, zu einem essenziellen Aspekt des Modells. Derartige Robustheit zuverlässig aufzuzeigen ist in einer beträchtlichen Reihe von Aufgabenbereichen eine notwendige Voraussetzung, damit ein lernbasiertes Modell als adäquates Hilfsmittel in Betracht kommen kann.

In dieser Dissertation inspizieren und verbessern wir das Verhalten neuronaler Netze, welche zur Klassifizierung von Bildern in verschiedene Kategorien entworfen und trainiert wurden, im Falle ihrer Konfrontation mit OOD-Bildern. Als OOD (out-of-distribution) bezeichnen wir hierbei Bilder, deren Inhalt nicht zu einer der vordefinierten Kategorien der Klassifizierungsaufgabe gehört und die sich somit auch wesentlich von den Daten, auf denen das Netz trainiert wurde, unterscheiden. Ein typisches Fehlverhalten auf solchen OOD-Bildern besteht darin, dass Klassifizierungsmodelle für diese Bilder häufig sehr hohe Wahrscheinlichkeitsschätzungen abgeben, dass in ihnen ein Objekt einer bestimmten Kategorie zu sehen ist, was natürlich in Wirklichkeit bei OOD-Bildern nach Definition nicht der Fall ist.

Zum Einstieg analysieren wir Methoden, welche dazu gedacht sind, die Robustheit gegenüber dem Vorkommen von OOD-Daten zu festigen, indem diese als solche detektiert werden. Hierzu führen wir eine klare Definition ein, die festlegt, welche Bilder eindeutig OOD bzw. nicht OOD sind, und welche es ermöglicht, gängige Evaluationsmaße für OOD-Detektoren zuverlässig auszuwerten und aus ihnen aussagekräftige Schlüsse zu ziehen. Wir beobachten, dass für ImageNet as Grundklassifizierungsaufgabe viele der existierenden Datensätze, die in der Literatur zur Auswertung des OOD-Verhaltens herangezogen werden, die Kriterien dieser Definition verletzen und somit nicht als hinreichend OOD angesehen werden sollten. Um diese Situation zu verbessern, stellen wir mit NINCO einen von uns selbst kurierten OOD-Datensatz aus individuell sorgfältig ausgewählten OOD-Bildern vor. Dieser Datensatz erlaubt uns die präzise Auswertung einer Großzahl gängiger OOD-Detektoren. Darauffolgend erschließen wir eine Reihe theoretischer Verbindungen und Abgrenzungsmerkmale unterschiedlicher OOD-Detektionsmethoden, welche wir in Experimenten auf verschiedenen Datensätzen bestätigen. In diesem Zusammenhang registrieren wir eine erstaunlich deutliche Abhängigkeit der Klassifizierungs- und OOD-Detektionsleistung eines Modells davon, ob seine gelernten Parameter und damit seine internen Datenrepräsentationen für beide Zwecke einzeln oder gemeinsam trainiert wurden.

Die bis dahin betrachteten Methoden zur OOD-Detektion brechen, wie wir zeigen, sehr leicht zusammen, wenn kaum sichtbare, aber für die Umgehung des Detektors optimierte, geringfügige Manipulationen an einem OOD-Bild vorgenommen werden. Um Risiken durch derart stark begrenzte, aber schlimmstmögliche Bildveränderungen zu beschränken, trainieren wir zuerst unsere ACET-Modelle, welche OOD-Daten, nach empirischen Angriffsversuchen zu urteilen, robust detektieren können. Anschließend konstruieren wir mit GOOD und ProoD Modelle, die beweisbar gegen Auswirkungen derartiger Bildmanipulationen geschützt sind. Bemerkenswerterweise erhalten wir diese beweisbaren Robustheitszertifikate, ohne dabei negative Auswirkungen auf die Klassifizierungsleistung der Modelle auf unveränderten Bilddaten in Kauf nehmen zu müssen.

Deep neural networks, trained on large amounts of data, have become a highly successful tool for a variety of cognitive tasks. In many of those, they exceed human performance in several aspects, particularly when speed and economic costs are considered. Extrapolating from the quickly ongoing progress in the field of machine learning, which is driven both by advances of algorithmic techniques and by continuously growing scales of available computing hardware, it is anticipated that the amount of analytical and creative tasks that can be solved effectively and efficiently by deep learning models will keep increasing rapidly. This swift progress is already going hand-in-hand with the deployment of deep learning based models in more and more practical applications. Many of these involve usage in situations that are safety-critical or of otherwise great importance for affected individuals and groups, whether they actively use the model or are merely passively affected by its outputs. This makes robustness against input-based issues that can come up once the model is deployed a quintessential aspect of deep learning models and a prerequisite to considering them as adequate tools for such tasks.

In this dissertation, we explore and improve the behaviour of deep neural network image classifiers when confronted with out-of-distribution (OOD) samples, which are inputs that are unrelated to anything the model has been shown during training. A typical failure mode is that classifier models tend to very confidently predict some of those OOD samples to belong to one of the available classes, even though that class is not present in the image sample.

We start by analyzing methods that robustify models against the occurence of OOD samples by helping to detect them. To do this, we first discuss which test inputs are and aren't OOD in a sense that is compatible with the common evaluation metrics for OOD detectors. Motivated by finding that for the popular ImageNet classification dataset, many existing dataset options for OOD detection evaluation fail these criteria, we introduce with NINCO a new dataset of carefully selected OOD images, which allows us to precisely evaluate a multitude of OOD detectors. We then uncover theoretical similarities and differences between OOD detection methods, and confirm these relationships experimentally. In this context, we find a remarkably apparent dependence of the performance on OOD detection and classification tasks on the sharing of model weights and therefore learned representations between those tasks.

After the evaluation and theoretical analysis of OOD detection methods, we observe that they quickly become helpless when very slight, but worst-case noise perturbations are added to the out-of-distribution input images by an adversarial attack. To alleviate this worst-case risk, we first train models that are empirically robust to such adversarially perturbed out-of-distribution inputs, by devising the ACET method. Subsequently, we construct the GOOD and ProoD models which are even provably invulnerable to these perturbations, remarkably without impeding the models' performance on their main image classification task.