ML PROJECT · PYTHON

do machines dream
of unseen labels?

Restricted Boltzmann Machines bei extremer Labelknappheit

Überblick

Kann unüberwachtes Vortraining helfen, wenn nur wenige Diagnoselabels zum Trainieren verfügbar sind? In diesem Experiment lernt eine Restricted Boltzmann Machine (RBM) zunächst aus unbeschrifteten Morphologieprofilen. Anschließend wird ihre Repräsentation mit wenigen benignen und malignen Beispielen für die Klassifikation verwendet.

Bei zwei bis drei Labels je Klasse liegt die RBM im Mittel leicht vor einer direkten logistischen Regression. Bei fünf bis zehn Labels ist dieser Vorsprung nicht mehr zu beobachten. Der Befund gilt für diesen Datensatz und die untersuchten Modellkonfigurationen.

01

Ergebnisse

Bei zwei gelabelten Fällen pro Klasse erreicht die RBM-Repräsentation eine mittlere AUROC von 0,9691; die direkte Logistik erreicht 0,9582. Die Differenz beträgt 0,0109. Mit steigender Labelzahl verbessert sich vor allem die direkte Logistik, während die RBM-Kurve weitgehend konstant bleibt.

Abbildung 1. Leistung nach Labelzahl
Abb. 1. Mittelwerte aus zehn stratifizierten Aufteilungen mit jeweils 50 Label-Ziehungen. Linien verbinden getrennt ausgewertete Label-Budgets, keine fortlaufende Annotation derselben Fälle. Optional: ± eine Standardabweichung der zehn Aufteilungs-Mittelwerte für RBM und direkte Logistik. Diese Streuung ist kein Konfidenzintervall. Die y-Achse zeigt einen Ausschnitt von 0,70 bis 1,00.
Tabelle 1. Mittlere Ergebnisse des Hauptvergleichs
Labels
je Klasse
AUROC Average Precision
Logistik RBM Logistik RBM
2 0,9582 0,9691 0,9392 0,9616
3 0,9673 0,9729 0,9512 0,9646
5 0,9758 0,9729 0,9647 0,9646
10 0,9807 0,9729 0,9730 0,9646
Abbildung 2. Differenzen je Aufteilung

AUROC: RBM minus direkte Logistik

Abb. 2. Ein Punkt entspricht der mittleren Differenz einer Aufteilung über 50 gepaarte Label-Ziehungen. Die Raute markiert den Gesamtmittelwert. Positive Werte liegen zugunsten der RBM. Auch diese Darstellung ist deskriptiv.
Vollständige Ergebnistabelle: alle fünf Modelle
Alle Label-Budgets und Modelle
Labels/Klasse Repräsentation + Logistik AUROC AP
2 Direkte Logistik 0,9582 0,9392
2 Diskretisierte Logistik 0,9106 0,8773
2 SVD-32 0,7733 0,6965
2 Autoencoder-32 0,8953 0,8540
2 RBM-32 0,9691 0,9616
3 Direkte Logistik 0,9673 0,9512
3 Diskretisierte Logistik 0,9386 0,9145
3 SVD-32 0,8186 0,7539
3 Autoencoder-32 0,9276 0,8982
3 RBM-32 0,9729 0,9646
5 Direkte Logistik 0,9758 0,9647
5 Diskretisierte Logistik 0,9598 0,9451
5 SVD-32 0,8725 0,8272
5 Autoencoder-32 0,9518 0,9321
5 RBM-32 0,9729 0,9646
10 Direkte Logistik 0,9807 0,9730
10 Diskretisierte Logistik 0,9721 0,9626
10 SVD-32 0,9283 0,9035
10 Autoencoder-32 0,9667 0,9546
10 RBM-32 0,9729 0,9646
02

Methodik

Der Wisconsin-Diagnostic-Breast-Cancer-Datensatz (WDBC) enthält 569 Fälle mit 30 numerischen Zellkernmerkmalen. Diese Merkmale wurden aus digitalisierten Feinnadelaspiraten von Brustläsionen berechnet. Analysiert werden hier die tabellarischen Merkmale, nicht die Originalbilder. 1

Für jede Aufteilung werden 426 Fälle als Trainingspool und 143 als Testfälle zurückgehalten. Skalierung, Diskretisierung und Repräsentationslernen erfolgen nur im Trainingspool. Die Testfälle bleiben auch vom unüberwachten Vortraining ausgeschlossen.

30 Morphologiemerkmale Quantil-Kodierung RBM mit 32 Einheiten Logistik

Die kontinuierlichen Merkmale werden in bis zu fünf Quantilbereiche aufgeteilt und binär kodiert. Eine Bernoulli-RBM lernt gemeinsame Muster dieser Eingaben, ohne Diagnoselabels zu verwenden. Ihre Aktivierungswahrscheinlichkeiten dienen anschließend als 32 Merkmale einer regularisierten logistischen Regression. 2

h j (x) = P(H j = 1 | x) = σ(b j + w j T x)

Der Klassifikator erhält zwei, drei, fünf oder zehn Beispiele jeder Klasse. Jede Konfiguration wird mit 50 zufälligen Label-Ziehungen pro Aufteilung geprüft. Verglichen werden direkte kontinuierliche Logistik, diskretisierte Logistik, SVD, Autoencoder und RBM. SVD und Autoencoder verwenden wie die RBM 32 latente Dimensionen.

Versuchsprotokoll und Modellparameter
Datenteilung
Zehn stratifizierte 75/25-Zufallsaufteilungen, Seeds 1000–1009. Je 426 Trainings- und 143 Testfälle; im Test jeweils 90 benigne und 53 maligne. Keine Fallkennung als Eingabe.
Label-Auswahl
50 balancierte Ziehungen je Labelzahl und Aufteilung, ohne doppelte Fälle innerhalb einer Ziehung. Über Modelle gepaart, über Labelzahlen nicht verschachtelt.
Direkte Logistik
StandardScaler auf allen unbeschrifteten Trainingsfällen. 30 kontinuierliche Merkmale.
Diskretisierung
KBinsDiscretizer(n_bins=5, strategy='quantile'), One-Hot-Kodierung; ausschließlich im Trainingspool angepasst.
SVD
32 Komponenten auf der binären Eingabe; anschließend Standardisierung anhand des Trainingspools.
RBM
32 verborgene Einheiten, Lernrate 0,05, Batchgröße 32, 50 Epochen, Seeds 2000–2009. Persistent Contrastive Divergence in scikit-learn. 2
Autoencoder
Sigmoid-Encoder mit 32 Dimensionen und Sigmoid-Decoder. Binäre Kreuzentropie, Adam, Lernrate 0,01, Weight Decay 10 −5, 250 Full-Batch-Epochen. Eine festgelegte Konfiguration, kein umfassender Architekturvergleich.
Klassifikator
In allen Varianten LogisticRegression(C=0.1, solver='liblinear', max_iter=1000). RBM- und Autoencoder-Aktivierungen ohne weitere Standardisierung. Gleicher C-Wert bedeutet bei unterschiedlichen Merkmalsskalen nicht dieselbe effektive Regularisierung.
Auswertung
10.000 gespeicherte Modellläufe: fünf Modelle × vier Labelzahlen × zehn Aufteilungen × 50 Ziehungen. Average Precision wurde mit average_precision_score berechnet; die historische Exportspalte heißt auprc. 3
03

Einordnung und Grenzen

Das Ergebnis ist mit einem Nutzen unüberwachten Vortrainings bei extremer Labelknappheit vereinbar. Die Größe des Effekts ist jedoch begrenzt. Ab fünf Labels pro Klasse liegt die direkte Logistik in der mittleren AUROC bereits vor der RBM. Ein allgemeiner Vorteil der RBM oder eine Überlegenheit gegenüber Autoencodern lässt sich daraus nicht ableiten.

Die Labelknappheit ist simuliert. Für eine balancierte Auswahl müssen die Klassen der Kandidaten bereits bekannt sein. Vier freigegebene Labels entsprechen deshalb nicht automatisch dem praktischen Aufwand, vier beliebige Fälle zu befunden. Eine tatsächliche Einsparung von Annotationszeit wurde nicht gemessen.

WDBC ist eine kleine, historische Stichprobe. Wiederholte Aufteilungen derselben Fälle ersetzen keine externe Validierung. Zudem beeinflussen Diskretisierung, Skalierung und feste Regularisierung den Modellvergleich. Die Unsicherheit eines Transfers auf andere Labore, Präparate oder Tumorarten wurde nicht untersucht.

Der Datensatz wurde nach mehreren explorativen Datensatz- und Aufgabenversuchen als positives Beispiel ausgewählt. Diese Auswahl erhöht das Risiko optimistischer Befunde.

Auch die Grundidee ist nicht neu: RBM-basierte Verfahren für das Lernen mit wenigen Labels in der Brustbilddiagnostik wurden bereits untersucht. Der Sinn dieses kleinen Projekts ist ein nachvollziehbarer Vergleich auf tabellarischen Daten, einschließlich der Bedingungen, unter denen der beobachtete Vorteil verschwindet. 4

04

Quellen

Referenzen

  1. Wolberg W., Mangasarian O., Street N., Street W. Breast Cancer Wisconsin (Diagnostic). UCI Machine Learning Repository, 1993.
  2. scikit-learn. BernoulliRBM.
  3. scikit-learn. Average Precision.
  4. Cao et al. RBM-based oversampling and semi-supervised learning for breast CAD, 2015.

Der WDBC-Datensatz wird unter CC BY 4.0 bereitgestellt.

Zurück