Bildverarbeitung in der modernen Produktion

Praktische Grundlagen für den Einstieg

Marcel Ott

Viele Facetten unseres heutigen Lebens werden bereits durch die Ergebnisse von Bildverarbeitung bestimmt. Medial präsent sind aktuell vor allem die Algorithmen zur inhaltlichen Bewertung von Bildern/Fotografien in sozialen Netzwerken oder die kameratechnische Überwachung des öffentlichen Raums. Aber auch die medizinische Diagnostik, die Mikroskopie oder Astronomie, Handel und Logistik sowie die industrielle Produktion nutzen seit langem Technologien der Bildverarbeitung.

In dieser Ausgabe unserer Nachgelesen– Reihe erfahren Sie:

Einordnung der Bildverarbeitung

Grundlegend basiert die Bildverarbeitung auf der Erkennung von Merkmalen und der anschließenden Verknüpfung dieser zu nutzbaren Informationen. Dies kann vom Vorhandensein bestimmter Merkmale/Muster bis hin zur Vermessung reichen, welche bspw. für die Qualitätsprüfung oder Positionsermittlung genutzt werden. Standardmäßig werden 2D-Aufnahmen erfasst und verarbeitet, allerdings sind auch die Erzeugung und Auswertung von 3D-Aufnahmen je nach Applikation denkbar.

Die Bildverarbeitung umfasst dabei die Bilderfassung/-erzeugung (Hardware/ Optik) sowie Bildauswertung (Software/Mustererkennung). Die Bilderfassung beinhaltet dabei verschiedene Parameter wie Objektiv, Auflösung, Bildfeld, Beleuchtung und Art der Aufnahme (2D/3D bzw. Schwarz-Weiß/Farbe), welche je nach Applikation eingesetzt werden kann. Zur Einordung verschiedener optischer Verfahren soll die folgende Übersicht (Abbildung 1) typischer Verfahren aus der Praxis dienen.

Zum Einsatz kommt die Bilderfassung und -verarbeitung in der industriellen Produktion meist dann, wenn Bauteile geprüft und/oder lokalisiert werden müssen. Das kann die einfache Anwesenheitsprüfung von Objekten an vorgegeben Stellen sein, bspw. eine voll besetzte Pralinenpackung nach dem Bestücken. Möglich ist auch eine Prüfung von Bauteilen auf Merkmale wie Farbe oder Form, um fehlerhafte Teile zu identifizieren und in der Produktion Retour zu senden. Dazu zählt auch das Auslesen von weiteren Merkmalen wie Texten oder Codes auf dem Bauteil zur Identifikation. Eine große Herausforderung stellt die Lokalisierung oftmals dar, wenn es z. B. die Applikation erfordert, dass ein Roboter im Anschluss anhand der Messdaten Füge- und Steckprozesse sicher durchführen kann. In solchen Fällen sind die Auflösung und Messgenauigkeit ausschlaggebend und eine Kalibrierung verschiedener Koordinatensysteme notwendig.

Während in der industriellen Bilderfassung das Problem Fremdlicht durch Einhausungen umgangen wird, gibt es weitere Parameter, die erheblichen Einfluss auf die Bildverarbeitung haben. Eine intensive Vorbetrachtung vereinfacht die Auswahl eines Systems sowie die nachfolgende Bildverarbeitung.

Die erste Überlegung für jede Anwendung zielt immer auf die Merkmale ab, die erkannt werden sollen. Wie groß sind diese Merkmale, wie groß ist das Feld, in welchem gesucht werden muss und wieviel Abstand der Kamera zum Prozess ist notwendig oder vorhanden? Aus diesen Angaben lassen sich die erforderliche Auflösung, die Brennweite des Objektivs sowie erste Beleuchtungsvarianten ermitteln.

Soll im Anschluss nur eine I/O-Prüfung anhand der Merkmale erfolgen oder müssen Vermessungen zur weiteren Prüfung durchgeführt werden? Sind diese Vermessungen für den Folgeprozess relativ oder absolut notwendig? Oder sind bestimmte Taktzeiten und Ausschussraten zu halten? Alle diese Faktoren haben Einfluss auf die Größe der Recheneinheit und somit auf die Kosten.

Übersicht der 3D-Messverfahren
Abbildung 1: Übersicht der 3D-Messverfahren

Integrationsmöglichkeiten

Die Integration von Systemen zur Bildverarbeitung umfasst die folgenden Bereiche:

Bilderfassung

  • mechanische Verankerung der Aufnahme- und Beleuchtungssysteme
  • elektrische Versorgung aller Komponenten sowie die Verlegung aller Kommunikationsmedien (i. d. R. Ethernet-Leitung zur Kommunikation)
  • Justage und Einrichtung des Fokus, der Beleuchtungshelligkeit

Bildauswertung

  • Softwareseitige Umsetzung der Kamera-Applikation sowie die Funktionen in der Hauptsteuerung zur Ansteuerung der Bildauslösung, Parametersetzung, Ergebnisausgabe und dem Wechsel von Applikationen auf der Kamera
  • Testdurchlauf anhand realer Szenarien

Systeme zur Bildverarbeitung können in zwei Bereiche eingeteilt werden.

Auf der einen Seite stehen Systeme, in denen die Bilderfassung (Kamera + Objektiv + Beleuchtung) von der Bildauswertung (Controllereinheit) physisch getrennt erfolgt. Die Integration solcher Systeme bedarf erheblicher Fachkenntnis und ist mit erhöhtem Aufwand verbunden. Allerdings bieten sie eine hohe Rechenleistung sowie die Möglichkeit zur Synchronisation mehrerer Kameras bzw. Erfassungssysteme für komplexe Anwendungen.

Auf der anderen Seite stehen Bildsysteme, welche Erfassung und Verarbeitung auf einer kompakten Bauform kombinieren und so eine einfachere Integration in bestehende Systeme ermöglichen, da nur die Kommunikations- und Versorgungsleitung an das System anzubinden sind. Meist sind diese Systeme mit einem Webserver ausgestattet, sodass eine Einrichtung und Umsetzung ohne zusätzlich zu installierende Software erfolgen kann.

Eine Sonderform stellen Vision-Sensoren dar, die meist auf wenige, dezidierte Werkzeuge zur Bildverarbeitung spezialisiert sind. Diese sind von Vorteil, wenn wenig Arbeitsraum oder auch wenig Budget zur Verfügung stehen und man eine starre Prüfung benötigt.

In Abbildung 2 sind einige Varianten in einer Übersicht abgebildet.

Je nachdem, ob die Bildverarbeitung innerhalb einer Anlage automatisch angesteuert und ausgewertet werden oder manuell an einem Prüfplatz nach Bedarf ausgelöst werden muss, kann der Investitions- und Integrationsaufwand schwanken.

Auf dem Markt existieren verschiedene Komplett-Anbieter für industrielle Bildverarbeitungssysteme:

  • BALLUFF GmbH bieten Controller-basierte sowie Smart-Kamera- Systeme an, welche dank Zugriff über gängige Webbrowser und intuitiver Konfiguration ohne die Installation weiterer Software eine schnelle Umsetzung von Applikationen ermöglichen.
  • COGNEX bietet Smart-Kameras sowie 3D-Systeme an, welche am Markt mit Kompaktheit und einer breiten Werkzeugpalette punkten können. Zur Umsetzung stehen verschiedene Softwaretools je nach benötigtem Tiefgang zur Verfügung.
  • KEYENCE fokussiert sich komplett auf controllerbasierte Systeme und kann mit innovativen Beleuchtungstechnologien, wie Shape-from-Shading[1], Streifenlichtprojektion[2] und Multispektraler Bilderfassung[3] die Umsetzung komplexer Applikationen vereinfachen[4],[5].
  • INSPEKTO hat es sich zur Aufgabe gesetzt, mit einem neuartigen System die Qualitätsprüfung zu vereinfachen. Neben der Selbst-Kalibrierung und Selbst-Erlernung ist die eigenständige Anpassung der Kameraparameter in Echtzeit bei sich ändernden Umgebungsbedingungen (wie Fremdlicht) ein Vorteil.
Übersicht der Hardwareformen
Abbildung 2: Übersicht der Hardwareformen

Anwendungsbeispiele

Lageprüfung einer Bauteilübergabe

Zur Montage eines 3-teiligen Maßbandes (Abbildung 3) muss im Prozess das Maßband mit dem Stopper an einen Roboter übergeben werden. Die Übergabe muss lagekorrekt erfolgen, was im nächsten Prozessschritt durch eine Kamera geprüft wird. Zum Einsatz kam an dieser Stelle das Smart-Kamera- System BVS002A (SW) der Firma BALLUFF mit einer einfachen, weißen Maschinenbeleuchtung.

fertig montiertes Maßband||©ICM e.V.
Abbildung 3: Das fertig montierte Maßband

In zwei Schritten werden zuerst die Position des Stoppers und dann die Ausrichtung des Maßbandes überprüft. Sofern eine der beiden Prüfungen fehlerhaft ist, gibt der Roboter das Maßband zum Bediener zurück.

Das Robotersystem fährt das Bauteil gleichbleibend vor die Kamera und die erste Aufnahme wird ausgelöst (Abbildung 4).

Lageprüfungsposition 1||©ICM e.V.
Abbildung 4: Lageprüfungsposition 1

Bei zu großer Abweichung von seiner Ursprungsposition kann das Bauteil als fehlerhaft ausgegeben werden (Abbildung 5).

Bildauswertung 1||©ICM e.V.
Abbildung 5: Bildauswertung 1 (links korrekt, rechts fehlerhaft)

Zur zweiten Prüfung wird das Bauteil gedreht (Abbildung 6), damit das Ende des Maßbandes für die Kamera sichtbar wird.

Lageprüfungsposition 2||©ICM e.V.
Abbildung 6: Lageprüfungsposition 2

Hier wurde nun das Bild zur vereinfachten Suche anhand eines Grenzwertes der Helligkeitswerte in Schwarz und Weiß aufgeteilt (Binarisierung), damit die Suche nach dem Ende des Maßbandes schneller erfolgen kann. Das Ende wurde in einer gültigen Aufnahme wieder mittels einer Auswahl markiert und die betreffenden Merkmale automatisch vom System erkannt.

Bei dieser Prüfung führt die Verarbeitung erst dann zu einem Fehler, wenn das Ende nicht oder um 180° gedreht erkannt wird, wie in Abbildung 7 zu sehen ist.

Bildauswertung 2||©ICM e.V.
Abbildung 7: Bildauswertung 2 (links korrekt, rechts fehlerhaft)


Lageprüfung und Farberkennung

Aufbau der Lageprüfung und Farberkennung||©ICM e.V.
Abbildung 8: Aufbau der Lageprüfung und Farberkennung

In einer demonstrativen Montagelinie des Schulungs- und Anwendungszentrums des ICM e.V. ist ein Drei-Achs-Portal verbaut, welches von einem Wendelförderer verschiedenfarbige Bolzen abholt. An der Übergabestelle wird das Kamerasystem BVS002F (farbig) zur Ermittlung der Farbe sowie der richtigen Lage des Bolzens genutzt. Der Aufbau wird in der Abbildung 8 dargestellt.

Je nach Ergebnis wird der Bolzen im weiterführenden Prozess verwendet und je nach Farbe abgelegt oder dem Wendelförderer zurückgeführt, sofern die Farbe in ausreichender Menge bereits verfügbar ist oder in einer falschen Lage vom Wendelförderer ausgeführt wurde.

Kameraufnahme des Bolzens||©ICM e.V.
Abbildung 9: Kameraaufnahme des Bolzens

Sobald der Wendelförderer ein Teil ausgeführt hat, wird die Kamera zur Aufnahme angesteuert (Abbildung 9). Da der Bolzen in beiden Lagen einen Bereich hat, welcher komplett abgedeckt wird, wird im ersten Teil der Prüfung in diesem die vorherrschende Farbe im Farbraum HSB[6] ausgeben (Abbildung 10). Anhand dieser Zahlenwerte inkl. Toleranzen kann die Farbe des Bolzens ermittelt werden.

Ergebnis der Bildverarbeitung||©ICM e.V.
Abbildung 10: Ergebnis der Bildverarbeitung

Im zweiten Teil der Prüfung wird ermittelt, ob der Bolzen lagerichtig aus dem Wendelförderer geführt wurde. Dazu wird die Helligkeitsverteilung binarisiert und die Verteilung am oberen Rand betrachtet. Im Abbildung 11 ist die Ansicht im Fehlerfall zu sehen.

Anhand des Helligkeitswertes führt die rechte Variante mit einer Übersteigerung des Grenzwertes von 160 zu einer Rückführung des Bolzens.

Lageprüfun, links korrekt, rechts fehlerhaft||©ICM e.V.
Abbildung 11: Lageprüfung (links korrekt, rechts fehlerhaft)

Ausblick

Ausbau des Einsatzes der Streifenlichtprojektion

Die Messprinzipien der Streifenlichtprojektion existieren seit mehreren Jahrzehnten, allerdings ist der Einzug in die Industrie aufgrund der Komplexität zur Kombination aller Komponenten erst in den letzten Jahren möglich gewesen. Von Beleuchtungseinheiten, die durch Integratoren mit Kameras zunächst aufwendig kalibriert werden müssen, folgt der nächste Schritt, kompakte Komplett-Systeme für eine schnellere Integration anzubieten. Auch die höhere Robustheit gegen Fremdlicht zeigt, dass dieses Messprinzip weiterhin in der Industrie für viele Anwendungen spannend bleibt.

Einbindung KI + Deep Learning

An vielen Stellen in der Integration sind die Entwicklungen zum Einsatz von KI und Deep-Learning bereits erkennbar. Bspw. setzen Hersteller auf automatische Ermittlung von Erfassungsparametern oder können anhand von Gut- und Schlecht-Bildern Merkmale zur Prüfung erkennen und selbst Gut-Bilder, welche manuell als solche definiert wurden, als klar fehlerhaft ausweisen. Die Weiterführung dieser Ansätze ist bspw. beim System von INSPEKTO erkennbar.

Stetige Verbesserung und Minimierung von Vision-Sensoren

So wie die Prozessoren und die Elektrik immer kleiner werden, entwickeln sich Vision-Sensoren auch stets weiter in ihrer Leistungsfähigkeit auf kleinerem Raum. Von dieser Entwicklung werden auch weiterhin alle Bereiche der Industrie profitieren.

Erzeugung künstlicher Bilder aus CAD – Daten zur Nutzung

So wie die Verwendung digitaler Zwillinge die Inbetriebnahme vor dem Aufbau unterstützen kann, so ist es auch möglich, aus CAD-Daten künstliche Bilder für die Bildverarbeitung zu erzeugen. Anhand dieser Bilder können die Algorithmen geprüft und weiter verbessert werden, bevor der reale Test an der Anlage erfolgt.

Weiterentwicklung von Time-of-Flight für die 3D-Messtechnik

Mittels Time-of-Flight-Sensoren werden seit Jahren bereits bspw. in öffentlichen Verkehrsmitteln die Ein- und Ausstiege erfasst und zur Verbesserung von Fahrplänen verwendet. In Zukunft ist es geplant, diese Technik auch als 3D-Messtechnik für Anwendungen im Maschinenbau zu nutzen. Ähnlich wie bei der Streifenlichtprojektion ist dieses Verfahren seit Jahren vorhanden, allerdings ist die praktikable Integration noch nicht so stark verbreitet.

Einsatz von Kameras für sicherheitstechnische Raumüberwachung in der Robotik

Mit dem Aufkommen von Mensch-Roboter-Kollaboration und Cobots ist der sicherheitstechnische Anspruch an flexible Systeme stark gestiegen. Während Normen für diese Systematik weiter erarbeitet und verbessert werden, sind Kamerasysteme zur sicheren Raumüberwachung ein guter Ansatz. Einige Time-Of-Flight Systeme sind bereits als Sicherheitsbauteile auf dem Markt verfügbar, allerdings ist die Amortisationszeit aufgrund der finanziellen Aufwände zur Implementierung und Validierung dieser Systeme aktuell noch zu hoch, um die betreffenden Umsetzungsideen Realität werden zu lassen. Auch hier werden kommende Verbesserungen und weitere Ansätze, welche in Sicherheitsbauteile überführt werden können, zu praktikablen Lösungen führen.

Download

Dieses Nachgelesen bieten wir Ihnen auch in einer Druckversion an. Nutzen Sie folgenden Link für den DOWNLOAD

Quellen, Anmerkungen und weiterführende Literatur

  1. Ansatz ist die Beleuchtung eines Bauteils aus verschiedenen Richtungen. Anhand der Unterschiede des Schattenwurfs und der Lichtintensität können Höhenunterschiede erkannt und aufgenommen werden (siehe Anmerkungen 4 und 5 für weitere Details)
  2. Über einen Projektor werden mehrere Lichtstreifen in unterschiedlichen Breiten auf ein Objekt erzeugt, welche über mehrere Kameras in bekannten Winkeln erfasst werden. Je nach Höhe einer Kante bricht der Lichtstreifen und versetzt sich. Aus diesem Versatz kann die Höhe an diesem Punkt ermittelt werden.
  3. Beleuchtungen setzten standardmäßig weißes, rotes oder infrarote Lichtquellen starr nach Anwendung ein. Die Multispektrale Erfassung erweitert dies um eine individuell ansteuerbare Beleuchtungseinheit, die je nach Anwendung alle Farben zur Beleuchtung ermöglicht, um bspw. mehre Merkmale eines Bauteils durch den Einsatz verschiedener Lichtwellen über eine Kamera prüfen zu können.
  4. Zahn, Johannes: Shape from Shading, Sirius Advanced Cybernetics GmbH, TECHNOLOGIEFORUM BILDVERARBEITUNG 2017. In: https://www.stemmerimaging. com/media/uploads/SA/SAC-DE-Shape-from-Shading.pdf
  5. inVISION, Lexikon der Bildverarbeitung: Shape-from-Shading, 2019, In: https://www.invision-news.de/allgemein/shape-from-shading/
  6. HSB – Hue (Farbton) Saturation (Sättigung) Brightness (Helligkeit) = Farbraum zur definierten Farbangabe mittels 3 Koordinaten

Autor

Marcel Ott ist wissenschaftlicher Mitarbeiter und Softwareentwickler am ICM – Institut Chemnitzer Maschinen- und Anlagenbau e.V. in dem Bereich Automation tätig und technischer Ansprechpartner des Schulungs- und Anwendungszentrums. Im Mittelstand 4.0-Kompetenzzentrum Chemnitz beschäftigt er sich mit den Themen Mensch-Maschine-Schnittstellen, Mensch-Roboter-Interaktion und Daten-& Informationsmanagement.
info@betrieb-machen.de

Weitere Informationen

Das Mittelstand 4.0-Kompetenzzentrum Chemnitz gehört zu Mittelstand-Digital. Mit Mittelstand-Digital unterstützt das Bundesministerium für Wirtschaft und Energie die Digitalisierung in kleinen und mittleren Unternehmen und dem Handwerk.

Was ist Mittelstand-Digital?
Mittelstand-Digital informiert kleine und mittlere Unternehmen über die Chancen und Herausforderungen der Digitalisierung. Die geförderten Kompetenzzentren helfen mit Expertenwissen, Demonstrationszentren, Best-Practice-Beispielen sowie Netzwerken, die dem Erfahrungsaustausch dienen. Das Bundesministerium für Wirtschaft und Energie (BMWi) ermöglicht die kostenfreie Nutzung aller Angebote von Mittelstand-Digital.
Der DLR Projektträger begleitet im Auftrag des BMWi die Kompetenzzentren fachlich und sorgt für eine bedarfs- und mittelstandsgerechte Umsetzung der Angebote. Das Wissenschaftliche Institut für Infrastruktur und Kommunikationsdienste (WIK) unterstützt mit wissenschaftlicher Begleitung, Vernetzung und Öffentlichkeitsarbeit.
Weitere Informationen finden Sie unter www.mittelstand-digital.de