ML PROJECT · PYTHON
do machines dream
of
unseen labels?
Restricted Boltzmann Machines bei extremer Labelknappheit
Überblick
Kann unüberwachtes Vortraining helfen, wenn nur wenige Diagnoselabels zum Trainieren verfügbar sind? In diesem Experiment lernt eine Restricted Boltzmann Machine (RBM) zunächst aus unbeschrifteten Morphologieprofilen. Anschließend wird ihre Repräsentation mit wenigen benignen und malignen Beispielen für die Klassifikation verwendet.
Bei zwei bis drei Labels je Klasse liegt die RBM im Mittel leicht vor einer direkten logistischen Regression. Bei fünf bis zehn Labels ist dieser Vorsprung nicht mehr zu beobachten. Der Befund gilt für diesen Datensatz und die untersuchten Modellkonfigurationen.
Ergebnisse
Bei zwei gelabelten Fällen pro Klasse erreicht die RBM-Repräsentation eine mittlere AUROC von 0,9691; die direkte Logistik erreicht 0,9582. Die Differenz beträgt 0,0109. Mit steigender Labelzahl verbessert sich vor allem die direkte Logistik, während die RBM-Kurve weitgehend konstant bleibt.
|
Labels
je Klasse |
AUROC | Average Precision | ||
|---|---|---|---|---|
| Logistik | RBM | Logistik | RBM | |
| 2 | 0,9582 | 0,9691 | 0,9392 | 0,9616 |
| 3 | 0,9673 | 0,9729 | 0,9512 | 0,9646 |
| 5 | 0,9758 | 0,9729 | 0,9647 | 0,9646 |
| 10 | 0,9807 | 0,9729 | 0,9730 | 0,9646 |
AUROC: RBM minus direkte Logistik
Vollständige Ergebnistabelle: alle fünf Modelle
| Labels/Klasse | Repräsentation + Logistik | AUROC | AP |
|---|---|---|---|
| 2 | Direkte Logistik | 0,9582 | 0,9392 |
| 2 | Diskretisierte Logistik | 0,9106 | 0,8773 |
| 2 | SVD-32 | 0,7733 | 0,6965 |
| 2 | Autoencoder-32 | 0,8953 | 0,8540 |
| 2 | RBM-32 | 0,9691 | 0,9616 |
| 3 | Direkte Logistik | 0,9673 | 0,9512 |
| 3 | Diskretisierte Logistik | 0,9386 | 0,9145 |
| 3 | SVD-32 | 0,8186 | 0,7539 |
| 3 | Autoencoder-32 | 0,9276 | 0,8982 |
| 3 | RBM-32 | 0,9729 | 0,9646 |
| 5 | Direkte Logistik | 0,9758 | 0,9647 |
| 5 | Diskretisierte Logistik | 0,9598 | 0,9451 |
| 5 | SVD-32 | 0,8725 | 0,8272 |
| 5 | Autoencoder-32 | 0,9518 | 0,9321 |
| 5 | RBM-32 | 0,9729 | 0,9646 |
| 10 | Direkte Logistik | 0,9807 | 0,9730 |
| 10 | Diskretisierte Logistik | 0,9721 | 0,9626 |
| 10 | SVD-32 | 0,9283 | 0,9035 |
| 10 | Autoencoder-32 | 0,9667 | 0,9546 |
| 10 | RBM-32 | 0,9729 | 0,9646 |
Methodik
Der Wisconsin-Diagnostic-Breast-Cancer-Datensatz (WDBC) enthält 569 Fälle mit 30 numerischen Zellkernmerkmalen. Diese Merkmale wurden aus digitalisierten Feinnadelaspiraten von Brustläsionen berechnet. Analysiert werden hier die tabellarischen Merkmale, nicht die Originalbilder. 1
Für jede Aufteilung werden 426 Fälle als Trainingspool und 143 als Testfälle zurückgehalten. Skalierung, Diskretisierung und Repräsentationslernen erfolgen nur im Trainingspool. Die Testfälle bleiben auch vom unüberwachten Vortraining ausgeschlossen.
Die kontinuierlichen Merkmale werden in bis zu fünf Quantilbereiche aufgeteilt und binär kodiert. Eine Bernoulli-RBM lernt gemeinsame Muster dieser Eingaben, ohne Diagnoselabels zu verwenden. Ihre Aktivierungswahrscheinlichkeiten dienen anschließend als 32 Merkmale einer regularisierten logistischen Regression. 2
h j (x) = P(H j = 1 | x) = σ(b j + w j T x)
Der Klassifikator erhält zwei, drei, fünf oder zehn Beispiele jeder Klasse. Jede Konfiguration wird mit 50 zufälligen Label-Ziehungen pro Aufteilung geprüft. Verglichen werden direkte kontinuierliche Logistik, diskretisierte Logistik, SVD, Autoencoder und RBM. SVD und Autoencoder verwenden wie die RBM 32 latente Dimensionen.
Versuchsprotokoll und Modellparameter
- Datenteilung
- Zehn stratifizierte 75/25-Zufallsaufteilungen, Seeds 1000–1009. Je 426 Trainings- und 143 Testfälle; im Test jeweils 90 benigne und 53 maligne. Keine Fallkennung als Eingabe.
- Label-Auswahl
- 50 balancierte Ziehungen je Labelzahl und Aufteilung, ohne doppelte Fälle innerhalb einer Ziehung. Über Modelle gepaart, über Labelzahlen nicht verschachtelt.
- Direkte Logistik
-
StandardScalerauf allen unbeschrifteten Trainingsfällen. 30 kontinuierliche Merkmale. - Diskretisierung
-
KBinsDiscretizer(n_bins=5, strategy='quantile'), One-Hot-Kodierung; ausschließlich im Trainingspool angepasst. - SVD
- 32 Komponenten auf der binären Eingabe; anschließend Standardisierung anhand des Trainingspools.
- RBM
- 32 verborgene Einheiten, Lernrate 0,05, Batchgröße 32, 50 Epochen, Seeds 2000–2009. Persistent Contrastive Divergence in scikit-learn. 2
- Autoencoder
- Sigmoid-Encoder mit 32 Dimensionen und Sigmoid-Decoder. Binäre Kreuzentropie, Adam, Lernrate 0,01, Weight Decay 10 −5, 250 Full-Batch-Epochen. Eine festgelegte Konfiguration, kein umfassender Architekturvergleich.
- Klassifikator
-
In allen Varianten
LogisticRegression(C=0.1, solver='liblinear', max_iter=1000). RBM- und Autoencoder-Aktivierungen ohne weitere Standardisierung. Gleicher C-Wert bedeutet bei unterschiedlichen Merkmalsskalen nicht dieselbe effektive Regularisierung. - Auswertung
-
10.000 gespeicherte Modellläufe: fünf Modelle × vier Labelzahlen × zehn Aufteilungen × 50 Ziehungen. Average Precision wurde mit
average_precision_scoreberechnet; die historische Exportspalte heißtauprc. 3
Einordnung und Grenzen
Das Ergebnis ist mit einem Nutzen unüberwachten Vortrainings bei extremer Labelknappheit vereinbar. Die Größe des Effekts ist jedoch begrenzt. Ab fünf Labels pro Klasse liegt die direkte Logistik in der mittleren AUROC bereits vor der RBM. Ein allgemeiner Vorteil der RBM oder eine Überlegenheit gegenüber Autoencodern lässt sich daraus nicht ableiten.
Die Labelknappheit ist simuliert. Für eine balancierte Auswahl müssen die Klassen der Kandidaten bereits bekannt sein. Vier freigegebene Labels entsprechen deshalb nicht automatisch dem praktischen Aufwand, vier beliebige Fälle zu befunden. Eine tatsächliche Einsparung von Annotationszeit wurde nicht gemessen.
WDBC ist eine kleine, historische Stichprobe. Wiederholte Aufteilungen derselben Fälle ersetzen keine externe Validierung. Zudem beeinflussen Diskretisierung, Skalierung und feste Regularisierung den Modellvergleich. Die Unsicherheit eines Transfers auf andere Labore, Präparate oder Tumorarten wurde nicht untersucht.
Der Datensatz wurde nach mehreren explorativen Datensatz- und Aufgabenversuchen als positives Beispiel ausgewählt. Diese Auswahl erhöht das Risiko optimistischer Befunde.
Auch die Grundidee ist nicht neu: RBM-basierte Verfahren für das Lernen mit wenigen Labels in der Brustbilddiagnostik wurden bereits untersucht. Der Sinn dieses kleinen Projekts ist ein nachvollziehbarer Vergleich auf tabellarischen Daten, einschließlich der Bedingungen, unter denen der beobachtete Vorteil verschwindet. 4
Quellen
Referenzen
- Wolberg W., Mangasarian O., Street N., Street W. Breast Cancer Wisconsin (Diagnostic). UCI Machine Learning Repository, 1993.
- scikit-learn. BernoulliRBM.
- scikit-learn. Average Precision.
- Cao et al. RBM-based oversampling and semi-supervised learning for breast CAD, 2015.
Der WDBC-Datensatz wird unter CC BY 4.0 bereitgestellt.