Learned embeddings for geometric data

Lim, Isaak; Kobbelt, Leif (Thesis advisor); Mitra, Niloy J. (Thesis advisor)

Aachen : RWTH Aachen University (2021)
Doktorarbeit

Dissertation, RWTH Aachen University, 2021

Kurzfassung

Das Lösen anspruchsvoller Aufgaben auf 3D Formen wie Klassifikation, Segmentierung, Vertex-zu-Vertex Zuordnungen oder die Berechnung der wahrgenommenen Stilähnlichkeit zwischen verschiedenen Formen erfordert Methoden, die in der Lage sind die notwendigen Informationen aus geometrischen Daten ziehen und die entsprechenden Eigenschaften zu beschreiben. Solche Funktionen von Hand zu konstruieren ist eine Herausforderung, denn es ist unklar wie und welche Informationen für eine Aufgabe extrahiert werden müssen. Darüber hinaus ist es schwierig zu bestimmen, wie die extrahierten Informationen zu verwenden sind um Antworten auf die Fragen über die Formen zu geben (z.B. zu welcher Kategorie eine Form gehört). Zu diesem Zweck schlagen wir vor Funktionen zu erlernen, die geometrische Daten auf einen Einbettungsraum abbilden. Die Ziele dieser Abbildungen sind komprimierte Kodierungen der eingegebenen geometrischen Daten, welche so optimiert werden können, so dass sie alle notwendigen aufgabenabhängigen Informationen enthalten. Diese Kodierungen können dann direkt verglichen werden (z.B. über die euklidische Distanz) oder durch andere relativ einfache Funktionen, um Antworten auf die gestellten Fragen zugeben. Neuronale Netze können verwendet werden, um solche Abbildungen und Vergleichsfunktionen zu implementieren. Dies hat den Vorteil, dass sie flexibel und mächtig sind. Darüber hinaus kann die Informationsextraktion und der Kodierungsvergleich automatisiert werden indem geeignete Zielfunktionen konstruiert werden, welche zur Optimierung der Parameter der Neuronalen Netze auf geometrischen Datensammlungen mit von Menschen bereitgestellten aufgabenbezogenen Metainformationen benutzt werden. Um das umzusetzen müssen wir zwei Fragen beantworten. Erstens, wie können geometrische Daten, welche oft in irregulärer Form vorliegen, als Eingabe für neuronale Netze so dargestellt werden und wie sollten solche Netze konstruiert sein? Zweitens, wie können wir den, durch die neuronalen Netze erzeugten, Einbettungsraum so gestalten, dass wir in der Lage sind gute Ergebnisse bei Aufgaben, wie den oben genannten, zu erzielen? In dieser Arbeit beantworten wir beiden Fragen. Konkret berechnen wir Kodierungen für geometrischen Datendarstellungen in Form von Bildern, Punktwolken und Dreiecksnetzen, je nach Verfügbarkeit von Datenquellen und den aufgabenspezifischen Anforderungen. Sobald wir geeignete Methoden zur Kodierung der Eingabe Geometrie haben, untersuchen wir dann verschiedene Möglichkeiten, wie der gelernte Einbettungsraum gestaltet werden kann. Dies geschieht durchsorgfältige Konstruktion geeigneter Zielfunktionen, die über Ansätze, wie das Minimieren der Kreuzentropie auf kategorischen Verteilungen, hinausgehen. Wir zeigen, dass diese Ansätze in der Lage sind, sowohl auf diskriminierende als auch auf generativen Aufgaben, gute Ergebnisse zu erzielen.