Gerhard Schubert GmbH

Das scharfe Auge der TLM-Maschinen

Woher wissen die Roboter in Schuberts vollautomatischen Verpackungsmaschinen, welches Produkt sie wann und wie greifen und absetzen? Sie können sehen. Die Funktion des menschlichen Auges übernimmt bei den TLM-Anlagen die Bildverarbeitung. Das Team rund um Dr. Abdelmalek Nasraoui, Leiter Entwicklung Bildverarbeitung bei Schubert, arbeitet mit seinen Vision-Systemen täglich daran, dass die Roboter alles im Blick haben, was für die effiziente und qualitativ hochwertige Verpackung von Produkten jeglicher Branchen nötig ist. Schubert gilt als Pionier bei der Bildverarbeitung in der Verpackungsbranche und entwickelt die eigenen Technologien kontinuierlich weiter.

Das neue 3D-Kamerasystem realisiert den Wunsch des vollautomatischen „Griff in die Kiste“ für komplexe Produkte in beliebigen Lagen. Ob unsortiert, verrutscht oder übereinanderliegend – vier Kameras und zwei Lichtmusterprojektoren des 3D-Bildverarbeitungssystems erkennen zugeführte Produkte aller Formen und Farbe exakt in Position, Höhe und Drehlage. So kann das Roboterwerkzeug formatfrei zugeführte Komponenten zielgenau aufnehmen, aufwändige Sortier- und Vereinzelungsanlagen entfallen. Nach jedem Eingreifen des Roboters werden die Objekte erneut dreidimensional erfasst und somit die Position sowie die Lage des als nächstes aufzunehmenden Produkts berechnet. Aus diesem Grund funktioniert die Produktaufnahme auch dann zuverlässig, wenn sich durch die Entnahme eines Produktes die Anordnung der anderen Produkte verändert.

Das neue leistungsstarke Kamerasystem erzeugt in Sekundenbruchteilen sehr hochaufgelöste 3D-Bilder. Dadurch ist es möglich, zusätzlich zur Position und Lage auch schnell die Höhe und Qualität eines Objekts zu erkennen. So wird sichergestellt, dass die Roboter Produkte in beliebiger Lage im dreidimensionalen Raum aufnehmen. Die zwei Kamerapaare bieten beste Rundumsicht und weniger Lücken im Bild als herkömmliche Single-Shot-3D-Kamera-Systeme. Darüber hinaus befindet sich zwischen den Kameras jeweils ein Projektor, der ein Zufallslichtmuster auf die Produkte wirft. Lichtmusterprojektion und Stereo-Bildverarbeitung werden intelligent kombiniert, um optimale Punktwolken zu erstellen. Die Höhen- und Oberflächenkontrolle ist eine zentrale Funktion in der Erkennung von Produkten im 3D-Raum und in deren qualitativen Beurteilung.

Die Bilddaten des Vision-Systems und das Höhenprofil werden am Bedienterminal angezeigt. Jedes zu erkennende Produkt ist mit einem entsprechenden Parametersatz charakterisiert, der für den Anlagenbediener über ein dazugehöriges Menü zugänglich ist. Art und Anzahl der Parameter sind anwendungsabhängig und lassen sich individuell anpassen. Sie werden je nach Aufgabenstellung im Vorfeld definiert und in der Steuerung hinterlegt. Während des Betriebs sind keine Anpassungen nötig.

Das neue 3D-Kamerasystem von Schubert ermöglicht eine formatfreie Komponentenzuführung dank einer implementierten „Griff in die Kiste“-Funktion für komplexe Produkte in beliebigen Lagen.

Höheres Tempo dank starken Prozessoren im 3D-Scanner

Dieses neue 3D-Kamerasystem haben die Schubert-Ingenieure auf Basis der bestehenden eigenen Bildverarbeitungssysteme entwickelt. Seit Anfang der 1980er Jahre arbeitet Schubert an der Entwicklung der Bildverarbeitung für Verpackungsroboter. Auf Durchlicht-, Auflicht- und Farbauflichtscanner folgte 2014 der 3D-Scanner, der die Produkterkennung und die Qualitätskontrolle auf ein neues Leistungsniveau hob. Auch diesen erfolgreich am Markt eingeführten 3D-Scanner haben die Spezialisten in Crailsheim entwickelt und jüngst noch weiter optimiert. Künftig liefert der 3D-Scanner eine noch höhere Auflösung. Neben der verbesserten Bildqualität überzeugt der optimierte 3D-Scanner zudem mit einem höheren Durchsatz. „Durch intelligente Hardware-Implementierungen von 3D-Bildverarbeitungsalgorithmen verarbeiten wir die großen Mengen an 3D-Bilddaten nun noch schneller“, sagt Abdelmalek Nasraoui. Der 3D-Scanner von Schubert ist weltweit einzigartig: Er liefert Farb- und Höhenbilder und ist in verschiedenen „Längen“ als kompakte Systemkomponente verfügbar, je nach Bandbreite der Anlage. Im 3D-Scanner sind alle 100 Millimeter abwechselnd hochauflösende Farbzeilenkameras und Lichtmusterprojektoren verbaut. Jede Kamera teilt ihr Sichtfeld zur Hälfte mit ihrem Nachbarn. Gemäß dem Prinzip der Stereoskopie gibt es von jedem Produkt zwei Bilder aus unterschiedlichen Sichtwinkeln. Aus diesen lässt sich die Höhe der Produkte berechnen. Ebenso werden aus den Lichtmustern Produkthöhen berechnet. Dieses redundante System bietet höchste Anlagensicherheit. Sobald die Produkte den Bereich unter dem Scanner verlassen haben, liegen die 3D-Daten vor.

Der weltweit einzigartige 3D-Scanner von Schubert: Schematische Darstellung der Sensoren und Projektoren mit den Überlappungen der Sichtfelder der Sensoren sowie den Überlappungen der angestrahlten Bereiche.

Zukunft mit KI: Künstliche Intelligenz in der Qualitätssicherung

Aktuell forschen die Bildverarbeitungsexperten bei Schubert zudem an einem intelligenten System für die Qualitätssicherung. Künstliche Intelligenz (KI) und Deep Learning sind die Stichworte: Neuronale Netze (insbesondere die CNN, Convolutional Neural Networks) sollen im Vorfeld mit mehreren Tausenden von Produktbildern trainiert werden und danach selber erkennen, ob ein bestimmtes Produkt die Qualitätskriterien erfüllt und im Verpackungsprozess weiterbearbeitet wird. „Backwaren weisen eine hohe Varianz in Form und Oberfläche auf. Zudem gibt es pro Produktklasse eine Vielfalt an möglichen Defekten. Diese beiden Faktoren machen die mathematische Beschreibung der Form- und Qualitätsmerkmale zu einer Herausforderung. Neuronale Netze werden hier zunehmend als mächtiges Instrument eingesetzt, um derartige komplexe Aufgaben zu bewerkstelligen“, sagt Abdelmalek Nasraoui. Wie bei dem 3D-Scanner und dem neuen 3D-Kamerasystem werden mit der Implementierung der Neuronalen Netze in die Verpackungsmaschinen von Schubert weitere Meilensteine der eigenen Bildverarbeitung realisiert.

Dank des neuen Kamerasystems funktioniert die Zufuhr auch dann zuverlässig, wenn sich durch die Entnahme eines Produkts die Anordnung der anderen Produkte verändert.