ODIN²
Objekterkennung von Industrieteilen mit neuronalen Netzen.
ODIN² erforscht, wie große Mengen von Teilen, z.B. mechanische Ersatzteile, mit Hilfe künstlicher neuronaler Netze erkannt werden können.
Das Projekt ODIN² des Big Data Labs basiert auf künstlichen neuronalen Netzen (ANN) und ermöglicht die schnelle Erkennung von Industrieteilen. Damit entfällt die zeitaufwändige Suche nach Identifikationsnummern in umfangreichen Datenbanken.
In Systemen mit vielen verschiedenen Teilen kann es notwendig sein, einzelne Teile zu ersetzen. Die Identifikationsnummer eines Teils kann normalerweise in einer Stückliste oder einem Katalog gefunden werden. Diese manuelle Suche kann sehr zeitaufwändig sein. Mit ODIN² ist es möglich, den Identifikationsprozess von Ersatzteilen effizienter zu gestalten.
Die Suche wird automatisiert, indem ein Bild des betreffenden Teils in ein künstliches neuronales Netz eingegeben wird, um es sofort zu identifizieren. Das Modell erkennt das Teil, das dem eingegebenen Bild am ähnlichsten ist. Das Modell findet immer eine Übereinstimmung mit der Eingabe, unabhängig davon, ob das Objekt in der Eingabe dem Netz bekannt ist, d. h. beim Training verwendet wurde.
Um ein System zu simulieren, das aus vielen verschiedenen Teilen besteht, konzentrieren wir uns auf ausgewählte Lego-Bausteine. Synthetische Bilder, die aus CAD-Modellen dieser Bausteine generiert wurden, werden zum Trainieren eines Modells verwendet. Dieser Ansatz könnte auch für andere Ersatzteile verwendet werden, die sich nicht in 3D scannen lassen. Es wurden verschiedene Konfigurationen von künstlichen neuronalen Netzen trainiert.
Im Gegensatz zu den derzeit häufig verwendeten Deep Convolutional Neural Networks (DCNN) ersetzen wir hier die obersten Schichten durch prototypenbasierte neuronale Netze, z. B. Learning Vector Quantization (LVQ) Neural Networks. Die LVQ-Schichten haben einige Vorteile gegenüber „klassischen“ Feed-Forward-Netzen, insbesondere die Möglichkeit, das Modell durch Ändern oder Entfernen der Gewichtsvektoren gezielt anzupassen, ohne das gesamte Modell neu trainieren zu müssen.
Das aktuelle Netz ist das Ergebnis einer Masterarbeit. Quelle: Comparison of neural network topologies for 3D recognition of machine parts Master thesis (Hanna Babilon)
Die Forschung ist in mehrere Teilbereiche unterteilt:
Die anfängliche Herausforderung besteht wie bei allen künstlichen neuronalen Netzen in der Erstellung eines ausreichend großen und genauen Datensatzes. Die meisten der heute bekannten Architekturen künstlicher neuronaler Netze für die Bilderkennung stützen sich auf große Datensätze von Bildern aus der realen Welt, z. B. ImageNet. Für industrielle Teile gibt es nichts Vergleichbares und es wäre auch sehr schwierig, einen solchen zu erstellen. Die Gesamtzahl der potenziellen Objekte ist einfach groß, und die Erkennung sollte aus verschiedenen Blickwinkeln möglich sein.
Daher wird in ODIN² ein Ansatz erforscht, bei dem der Datensatz aus künstlichen Bildern erstellt wird. Diese Bilder sollen das wahre, d.h. reale Aussehen eines Objekts (z.B. eines mechanischen Steckers, einer Schraube oder komplexerer Teile wie Nockenwellen) so genau wie möglich wiedergeben.
Unser Ansatz besteht darin, zu erforschen, wie CAD-Zeichnungen, die praktisch für jedes moderne Industrieteil existieren, als Quelle für den Prozess der Datensatzerstellung verwendet werden können.
In unseren Tests verwenden wir Teile von Fischer Technik, deren CAD-Zeichnungen uns freundlicherweise von der Fischer GmbH zur Verfügung gestellt werden. Diese Teile sind repräsentativ für die meisten der heute verwendeten Industrieteile. Vor allem, wenn es um die auffälligsten Unterschiede zu anderen Objekten aus der realen Welt geht, die da wären:
– Sie sind starr
– Sie haben eine einfache oder keine Textur
– Sie sind meist einfarbig, wobei sehr unterschiedliche Farben verwendet werden.
Anhand der CAD-Daten haben wir eine Reihe von gerenderten Bildern erstellt und dabei einen Rahmen verwendet, der die Auswahl von Teilen, die Positionierung, den Blickwinkel und die Gesamtzahl der gerenderten Bilder ermöglicht. Insgesamt haben wir nun einen Datensatz mit Bildern von Objekten.
Dies ist eine noch laufende Forschung. Basierend auf einer Patentanmeldung von Prof. Elsen, Prof. Kraiss, Dr. Walter und Dr. Krumbiegel wird der Einsatz von hierarchisch strukturierten neuronalen Netzen erforscht.
Die verwendeten Architekturen werden auf „klassischen“ Faltungsschichten im unteren Teil des neuronalen Netzes basieren. In den oberen Schichten erforschen wir verschiedene Ansätze, wie konventionelle vollverknüpfte Schichten, prototypische Schichten und andere, mit dem Ziel herauszufinden, ob sich ein Ansatz zum Lernen – und Vergessen – finden lässt. Dies könnte zu Systemen führen, die mit geringem Rechenaufwand sehr flexibel an neue Mengen von Industrieteilen angepasst werden können.
Der Testsatz besteht aus realen Bildern der gelernten Objekte, da unser Anwendungsfall die Identifizierung von Objekten für die Ersatzteilidentifikation ist. Im Allgemeinen handelt es sich um einen Human-In-The-Loop-Prozess, so dass das Identifizierungsverfahren keine hohe Erkennungsrate beim ersten Mal haben muss, sondern eine hohe Rate bei den ersten drei oder fünf Kandidaten haben sollte, da die endgültige Auswahl des Teils vom menschlichen Bediener
vorgenommen werden kann.
Ein interessantes Paper zum Thema:
Ein Netzwerk zur Klassifizierung von LEGO-Steinen
Boiński, T., Zawora, K., Szymański, J. (2022). How to Sort Them? A Network for LEGO Bricks Classification. In: Groen, D., de Mulatier, C., Paszynski, M., Krzhizhanovskaya, V.V., Dongarra, J.J., Sloot, P.M.A. (eds) Computational Science – ICCS 2022. ICCS 2022. Lecture Notes in Computer Science, vol 13352. Springer, Cham. https://doi.org/10.1007/978-3-031-08757-8_52