DE102019208864A1 - Detection system, working procedures and training procedures - Google Patents

Detection system, working procedures and training procedures Download PDF

Info

Publication number
DE102019208864A1
DE102019208864A1 DE102019208864.3A DE102019208864A DE102019208864A1 DE 102019208864 A1 DE102019208864 A1 DE 102019208864A1 DE 102019208864 A DE102019208864 A DE 102019208864A DE 102019208864 A1 DE102019208864 A1 DE 102019208864A1
Authority
DE
Germany
Prior art keywords
component
information
semantic
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102019208864.3A
Other languages
German (de)
Inventor
Stefan Kluckner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Priority to DE102019208864.3A priority Critical patent/DE102019208864A1/en
Priority to EP20176975.9A priority patent/EP3754544A1/en
Publication of DE102019208864A1 publication Critical patent/DE102019208864A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/647—Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Arbeitsverfahren umfassend die Schritte:
- Aufnehmen (100) wenigstens eines Farbbildes eines ersten Teils einer Bauteilanordnung (17) mit einem Aufnahmegerät (2), wobei der erste Teil der Bauteilanordnung (17) wenigstens ein zu erkennendes Bauteil (18, 19, 20) umfasst;
- Bestimmen (101) einer ersten semantischen Information eines Bildinhalts des Farbbildes;
- Abgleichen (102) der ersten semantischen Information mit wenigstens einer gespeicherten zweiten semantischen Information eines Bildinhalts wenigstens einer simulierten Ansicht eines 3D-Modells der Bauteilanordnung (17);
- Bestimmen (104) einer ersten Poseinformation des Aufnahmegeräts (2) bezüglich des 3D-Modells basierend auf einer Auswertung einer gespeicherten zweiten Poseinformation der zweiten semantischen Information, welche eine größte Ähnlichkeit zu der ersten semantischen Information aufweist;
- Ermitteln (105) wenigstens einer Bauteilinformation des wenigstens einen zu erkennenden Bauteils (18, 19, 20) basierend auf der bestimmten ersten Poseinformation.

Figure DE102019208864A1_0000
The present invention relates to a working method comprising the steps:
- Recording (100) at least one color image of a first part of a component arrangement (17) with a recording device (2), the first part of the component arrangement (17) comprising at least one component (18, 19, 20) to be recognized;
- Determination (101) of first semantic information of an image content of the color image;
- comparing (102) the first semantic information with at least one stored second semantic information of an image content of at least one simulated view of a 3D model of the component arrangement (17);
- Determination (104) of a first position information of the recording device (2) with respect to the 3D model based on an evaluation of a stored second position information of the second semantic information, which is most similar to the first semantic information;
- Determining (105) at least one piece of component information of the at least one component to be recognized (18, 19, 20) based on the determined first position information.
Figure DE102019208864A1_0000

Description

Die vorliegende Erfindung betrifft ein Erkennungssystem, ein Arbeitsverfahren für ein Erkennungssystem und ein Trainingsverfahren zum Erzeugen eines 3D-Modells einer Bauteilanordnung mit Referenzdaten.The present invention relates to a recognition system, a working method for a recognition system and a training method for generating a 3D model of a component arrangement with reference data.

Technische Produkte wie beispielsweise Schienefahrzeuge, Fahrzeuge, Flugzeuge, Schiffe, sonstige Maschinenen, etc., bestehen oftmals aus einer Vielzahl von Bauteilen. Beispielsweise bei einer Wartung eines derartigen Produkts müssen einzelne dieser Bauteile erkannt werden, um zum Beispiel Ersatzteile nachbestellen zu können. Aufgrund der hohen Anzahl an verschiedenen und häufig doch ähnlichen Bauteilen ist eine zuverlässige, maschinelle Erkennung einzelner Bauteile erstrebenswert.Technical products such as rail vehicles, vehicles, aircraft, ships, other machines, etc. often consist of a large number of components. For example, when servicing such a product, some of these components have to be identified in order to be able to reorder spare parts, for example. Due to the large number of different and often similar components, a reliable, machine recognition of individual components is desirable.

Aus der DE 102017217063 A1 ist ein Erkennungssystem zum maschinellen Erkennen von Bauteilen einer Bauteilanordnung bekannt. Zum Erkennen der Bauteile wird unter anderem ein Timeof-Flight Sensor verwendet.From the DE 102017217063 A1 a recognition system for machine recognition of components of a component arrangement is known. A time-of-flight sensor is used, among other things, to detect the components.

Eine Aufgabe der vorliegenden Erfindung ist es, ein Arbeitsverfahren für ein Erkennungssystem, ein Erkennungssystem und ein Trainingsverfahren zum Erzeugen eines 3D-Modells mit Referenzdaten zu beschreiben, welche eine kostengünstige und zuverlässige Bestimmung eines Bauteils einer Bauteilanordnung ermöglichen.One object of the present invention is to describe a working method for a detection system, a detection system and a training method for generating a 3D model with reference data, which enable a component of a component arrangement to be determined inexpensively and reliably.

In einem ersten Aspekt wird die oben genannte Aufgabe durch ein Arbeitsverfahren gelöst, welches die folgenden Schritte umfasst:

  • - Aufnehmen wenigstens eines Farbbildes eines ersten Teils einer Bauteilanordnung mit einem Aufnahmegerät, wobei der erste Teil der Bauteilanordnung wenigstens ein zu erkennendes Bauteil umfasst;
  • - Bestimmen einer ersten semantischen Information eines Bildinhalts des Farbbildes;
  • - Abgleichen der ersten semantischen Information mit wenigstens einer gespeicherten zweiten semantischen Information eines Bildinhalts wenigstens einer simulierten Ansicht eines 3D-Modells der Bauteilanordnung;
  • - Bestimmen einer ersten Poseinformation des Aufnahmegeräts bezüglich des 3D-Modells basierend auf einer Auswertung einer gespeicherten zweiten Poseinformation der zweiten semantischen Information, welche eine größte Ähnlichkeit zu der ersten semantischen Information aufweist;
  • - Ermitteln wenigstens einer Bauteilinformation des wenigstens einen zu erkennenden Bauteils basierend auf der bestimmten ersten Poseinformation.
In a first aspect, the above-mentioned object is achieved by a working method which comprises the following steps:
  • - Recording at least one color image of a first part of a component arrangement with a recording device, the first part of the component arrangement comprising at least one component to be recognized;
  • - Determination of a first semantic information item of an image content of the color image;
  • Matching of the first semantic information with at least one stored second semantic information of an image content of at least one simulated view of a 3D model of the component arrangement;
  • - Determination of a first position information of the recording device with respect to the 3D model based on an evaluation of a stored second position information of the second semantic information, which is most similar to the first semantic information;
  • Determining at least one piece of component information of the at least one component to be recognized based on the determined first position information.

Vorteilhaft hierbei ist es, dass ein Ermitteln von Bauteilinformationen bezüglich zu bestimmender Bauteile der Bauteilanordnung lediglich durch Aufnahme eines Farbbildes des ersten Teils der Bauteilanordnung, in dem sich das zu bestimmende Bauteil befindet, und einen Abgleich dieses Farbbildes mit gespeicherten Informationen möglich ist. Für die Aufnahme des Farbbildes können gewöhnliche Aufnahmegeräte mit RGB-Sensoren, wie sie beispielsweise in Mobiltelefonen und Tablet-Computern heutzutage fast standardmäßig verbaut sind, verwendet werden. Es sind keine aufwendigen Sensoren, beispielsweise 3D Structured Light oder Time Of Flight (TOF) Sensoren notwendig. Alternativ oder zusätzlich können bei dem Farbbild auch Infrarot- oder Ultraviolettspektrum berücksichtigt werden.It is advantageous here that it is possible to determine component information relating to components of the component arrangement to be determined only by recording a color image of the first part of the component arrangement in which the component to be determined is located and comparing this color image with stored information. Ordinary recording devices with RGB sensors, such as are almost standard nowadays in cell phones and tablet computers, can be used to record the color image. No complex sensors, such as 3D Structured Light or Time Of Flight (TOF) sensors, are necessary. Alternatively or in addition, infrared or ultraviolet spectrum can also be taken into account in the color image.

Die erste und die zweite Poseinformation sind jeweils durch sechs Freiheitsgrade bestimmt. Diese sechs Freiheitsgrade sind jeweils drei Translationsfreiheitsgrade und drei Rotationsfreiheitsgrade, sodass sowohl eine Lokalisierung als auch eine Blickwinkelausrichtung im dreidimensionalen Raum festgelegt ist.The first and the second position information are each determined by six degrees of freedom. These six degrees of freedom are each three degrees of translational freedom and three degrees of freedom of rotation, so that both a localization and a viewing angle orientation are defined in three-dimensional space.

In wenigstens einer Ausgestaltung sind semantische Klassen der ersten bzw. zweiten semantischen Information Bauteilklassen des 3D-Modells der Bauteilanordnung zugeordnet.In at least one embodiment, semantic classes of the first and second semantic information are assigned to component classes of the 3D model of the component arrangement.

Bei den Bauteilklassen handelt es sich um funktional gruppierte Bauteile. Beispielsweise bei einem Schienenfahrzeug sind folgende Bauteilklassen möglich: „Glaskörper“,„Innenausbau“, „Fahrwerk“, „Türanlage“, „Klimaanlage“, etc.The component classes are functionally grouped components. For a rail vehicle, for example, the following component classes are possible: "Glass body", "Interior fittings", "Chassis", "Door system", "Air conditioning", etc.

Ein Vorteil hierbei ist es, dass keine zu große Anzahl von Klassen der semantischen Information vorhanden sind, sodass ein Erzeugen und Trainieren eines semantischen Segmentierungsalgorithmus für den Abgleich der ersten mit der zweiten semantischen Information, sowie ein Durchführen dieses Abgleichs, mit einem angemessenen Aufwand betreibbar sind. Alternativ sind jedoch selbstverständlich auch Klassen für die semantische Information verwendbar, die eine detailliertere Unterteilung der Bauteiltypen berücksichtigend oder umgekehrt.One advantage here is that there are not too large a number of classes of semantic information, so that generating and training a semantic segmentation algorithm for comparing the first with the second semantic information, as well as performing this comparison, can be operated with reasonable effort . Alternatively, however, classes for the semantic information can of course also be used, which take a more detailed subdivision of the component types into account, or vice versa.

In wenigstens einer Ausgestaltung stellt die erste bzw. zweite semantische Information jeweils ein Histogramm der in dem entsprechenden Farbbild bzw. simulierten Ansicht enthaltenen Bauteilklassen des 3D-Modells dar.In at least one embodiment, the first or second semantic information each represents a histogram of the component classes of the 3D model contained in the corresponding color image or simulated view.

Das Histogramm ist eine Häufigkeitsverteilung der Klassen der jeweiligen semantischen Information bezüglich des Farbbildes oder einer simulierten Ansicht. D.h. in dem Histogramm ist gespeichert, wie häufig eine bestimmte Klasse jeweils in dem Farbbild bzw. der simulierten Ansicht vorhanden ist. Beispielsweise wird diese Information für jeden einzelnen Pixel des Farbbildes bzw. der simulierten Ansicht ausgewertet. Alternativ können auch mehrere Pixel zusammengefasst ausgewertet werden, was zwar ein ungenaueres Ergebnis, aber eine schnellere Verarbeitung der Bilder ermöglicht.The histogram is a frequency distribution of the classes of the respective semantic information with respect to the color image or a simulated view. This means that the histogram stores how often a certain class is present in the color image or the simulated view. For example, this information is evaluated for each individual pixel of the color image or the simulated view. Alternatively, several pixels can be evaluated together, which allows an inexact result, but faster processing of the images.

Ein Vorteil einer solchen Ausgestaltung ist es, dass die zweite semantische Information, welche mit Bezug zu dem 3D-Modell der Bauteilanordnung gespeichert wird, lediglich in Form eines Histogramms gespeichert wird, was einen geringen Speicherbedarf der zweiten semantischen Information zur Folge hat. Alternativ können auch komplexere Methoden verwendet werden, wie zum Beispiel ein Lernen eine Metrik über semantische Bilder, wodurch eine bessere Bezugnahme auf die Charakteristiken der Szenen erreicht werden kann.One advantage of such a configuration is that the second semantic information, which is stored with reference to the 3D model of the component arrangement, is only stored in the form of a histogram, which results in a low storage requirement for the second semantic information. Alternatively, more complex methods can also be used, such as learning a metric via semantic images, as a result of which a better reference to the characteristics of the scenes can be achieved.

In wenigstens einer Ausgestaltung umfasst der Schritt des Ermittelns der wenigstens einen Bauteilinformation die folgenden weiteren Schritte:

  • - Rendern eines Bildausschnitt des 3D-Modells basierend auf der ersten Poseinformation; und
  • - Anzeigen des gerenderten Bildausschnitts auf einer Anzeigevorrichtung zusammen mit der wenigstens einen Bauteilinformation des wenigstens einen zu erkennenden Bauteils.
In at least one embodiment, the step of determining the at least one component information item comprises the following further steps:
  • - rendering an image section of the 3D model based on the first pose information; and
  • Display of the rendered image section on a display device together with the at least one component information item of the at least one component to be recognized.

Vorteilhaft hierbei ist es, dass einem Benutzer unmittelbar Daten des zu erkennenden Bauteils angezeigt werden können, basierend auf denen der Benutzer das Bauteil beispielsweise nachbestellen kann. Die Bauteilinformation wird beispielsweise aus in dem 3D-Modell gespeicherten Zusatzdaten gewonnen. Die Bauteilinformationen umfassen beispielsweise Seriennummern oder Bestellnummern von Bauteilen, einen Link, der zu einer Bestellwebsite führt, oder sonstige Spezifikationen und Metadaten der Bauteile.It is advantageous here that data relating to the component to be recognized can be displayed directly to a user, based on which the user can reorder the component, for example. The component information is obtained, for example, from additional data stored in the 3D model. The component information includes, for example, serial numbers or order numbers of components, a link that leads to an ordering website, or other specifications and metadata of the components.

In einem zweiten Aspekt wird die oben genannte Aufgabe durch ein Erkennungssystem gelöst. Das Erkennungssystem umfasst ein Aufnahmegerät und eine Datenverarbeitungsvorrichtung. Das Aufnahmegerät ist dazu eingerichtet, wenigstens ein Farbbild eines ersten Teils einer Bauteilanordnung aufzunehmen, wobei der erste Teil der Bauteilanordnung wenigstens ein zu erkennendes Bauteil umfasst. Die Datenverarbeitungsvorrichtung ist dazu eingerichtet, eine erste semantische Information eines Bildinhalts des Farbbildes zu bestimmen. Die Datenverarbeitungsvorrichtung ist ferner dazu eingerichtet, die erste semantische Information mit wenigstens einer gespeicherten zweiten semantischen Information eines Bildinhalts wenigstens einer simulierten Ansicht des 3D-Modells abzugleichen. Die Datenverarbeitungsvorrichtung ist ferner dazu eingerichtet, eine erste Poseinformation des Aufnahmegeräts bezüglich des 3D-Modells basierend auf einer Auswertung einer gespeicherten zweiten Poseinformation der zweiten semantischen Information, welche eine größte Ähnlichkeit zu der ersten semantischen Information aufweist, zu bestimmen. Die Datenverarbeitungsvorrichtung ist ferner dazu eingerichtet, wenigstens eine Bauteilinformation des wenigstens einen zu erkennenden Bauteils basierend auf der bestimmten ersten Poseinformation zu ermitteln.In a second aspect, the above-mentioned object is achieved by a recognition system. The recognition system comprises a recording device and a data processing device. The recording device is set up to record at least one color image of a first part of a component arrangement, the first part of the component arrangement comprising at least one component to be recognized. The data processing device is set up to determine first semantic information of an image content of the color image. The data processing device is also set up to match the first semantic information with at least one stored second semantic information of an image content of at least one simulated view of the 3D model. The data processing device is also set up to determine first position information of the recording device with regard to the 3D model based on an evaluation of a stored second position information of the second semantic information, which is most similar to the first semantic information. The data processing device is also set up to determine at least one piece of component information of the at least one component to be recognized based on the determined first position information.

Das Erkennungssystem gemäß dem zweiten Aspekt eignet sich insbesondere dazu, das Arbeitsverfahren gemäß dem ersten Aspekt auszuführen.The detection system according to the second aspect is particularly suitable for carrying out the working method according to the first aspect.

Das Aufnahmegerät und die Datenverarbeitungsvorrichtung können in einer Einheit, oder in getrennten, beispielsweise über ein Netzwerk verbundenen Einheiten, implementiert sein. Sind Aufnahmegerät und Datenverarbeitungsvorrichtung in einer Einheit integriert, so handelt es sich bei dem Erkennungssystem beispielsweise um ein Mobiltelefon oder Tablet-Computer, auf dem das abstrahierte 3D-Modell mit den entsprechenden Informationen gespeichert ist. Das Aufnahmegerät ist beispielsweise eine RGB-Kamera.The recording device and the data processing device can be implemented in one unit or in separate units, for example connected via a network. If the recording device and data processing device are integrated in one unit, the identification system is, for example, a mobile phone or tablet computer on which the abstracted 3D model is stored with the corresponding information. The recording device is, for example, an RGB camera.

Sind Aufnahmegerät und Datenverarbeitungsvorrichtung in getrennten Einheiten implementiert, so kann als Aufnahmegerät beispielsweise ein beliebiges Mobiltelefon oder Tablet-Computer mit RGB-Kamera verwendet werden. Das 3D-Modell mit den entsprechenden gespeicherten Informationen ist beispielsweise auf einem Desktop-Computer oder einem Server gespeichert, der mit dem Aufnahmegerät über ein Local Area Network (LAN), Wide Area Network (WAN), das Internet oder ein sonstiges Netzwerk verbunden ist.If the recording device and data processing device are implemented in separate units, any mobile phone or tablet computer with an RGB camera, for example, can be used as the recording device. The 3D model with the corresponding stored information is stored, for example, on a desktop computer or a server that is connected to the recording device via a Local Area Network (LAN), Wide Area Network (WAN), the Internet or some other network.

In wenigstens einer Ausgestaltung umfasst das Erkennungssystem ferner eine Anzeigevorrichtung. Die Datenverarbeitungsvorrichtung ist dazu eingerichtet, einen Bildausschnitt des 3D-Modells basierend auf der ersten Poseinformation zu rendern. Die Anzeigevorrichtung ist dazu eingerichtet, den gerenderten Bildausschnitt zusammen mit der wenigstens einen Bauteilinformation des wenigstens einen zu erkennenden Bauteils anzuzeigen.In at least one embodiment, the detection system further comprises a display device. The data processing device is set up to render an image section of the 3D model based on the first position information. The display device is set up to display the rendered image section together with the at least one component information item of the at least one component to be recognized.

Sonstige Ausgestaltungen und Vorteile des zweiten Aspekt entsprechen im Wesentlichen denen des ersten Aspekts.Other configurations and advantages of the second aspect essentially correspond to those of the first aspect.

In einem dritten Aspekt wird die oben genannte Aufgabe durch ein Trainingsverfahren zum Erzeugen eines 3D-Modells einer Bauteilanordnung mit Referenzdaten für ein Arbeitsverfahren gemäß dem ersten Aspekt und/oder ein Erkennungssystem gemäß dem zweiten Aspekt gelöst. Das Trainingsverfahren umfasst die folgenden Schritte:

  • - Aufnehmen wenigstens eines Trainingsbildes wenigstens eines dritten Teils der Bauteilanordnung;
  • - Erfassen einer Aufnahmeposition für jedes aufgenommene Trainingsbild;
  • - Registrieren des wenigstens einen Trainingsbildes in dem 3D-Modell basierend auf der entsprechenden erfassten Aufnahmeposition;
  • - Erstellen einer semantischen Labelmap für jedes aufgenommene Trainingsbild;
  • - Trainieren eines semantischen Segmentierungsalgorithmus basierend auf dem wenigstens einen Trainingsbild und der entsprechenden wenigstens einen semantischen Labelmap;
  • - Erstellen wenigstens einer simulierten Ansicht wenigstens eines zweiten Teils der Bauteilanordnung;
  • - Speichern einer zweiten semantischen Information der wenigstens einen simulierten Ansicht zusammen mit einer zugehörenden zweiten Poseinformation bezüglich dem 3-D Modell.
In a third aspect, the above object is achieved by a training method for Generating a 3D model of a component arrangement with reference data for a working method according to the first aspect and / or a recognition system according to the second aspect. The training process includes the following steps:
  • - Recording at least one training image of at least a third part of the component arrangement;
  • - Detecting a recording position for each recorded training image;
  • - Registering the at least one training image in the 3D model based on the corresponding captured recording position;
  • - Creation of a semantic label map for each recorded training image;
  • Training of a semantic segmentation algorithm based on the at least one training image and the corresponding at least one semantic label map;
  • - Creating at least one simulated view of at least a second part of the component arrangement;
  • - Storing a second semantic information item of the at least one simulated view together with an associated second position information item with regard to the 3-D model.

Die oben genannten Eigenschaften, Merkmale und Vorteile der Erfindung und die Art und Weise, wie diese erreicht werden, werden durch die folgende Beschreibung der Ausführungsbeispiele der Erfindung in Verbindung mit den entsprechenden Figuren weitergehend erläutert, wobei
in den Figuren zeigt:

  • 1 eine Darstellung eines 3D-Modells einer Bauteilanordnung,
  • 2 ein Flussdiagramm eines Arbeitsverfahrens für ein Erkennungssystem gemäß einer Ausgestaltung der Erfindung,
  • 3 ein Flussdiagramm eines Trainingsverfahrens für ein Erkennungssystem zum Erzeugen eines 3D-Modells einer Bauteilanordnung mit Referenzdaten gemäß einem Ausführungsbeispiel der Erfindung,
  • 4 eine schematische Darstellung eines Erkennungssystems gemäß einem Ausführungsbeispiel der Erfindung, und
  • 5 schematische Darstellung eines Arbeitsverfahrens für ein Erkennungssystem und eines Traningsverfahrens für ein Erkennungssystem zum Erzeugen eines 3D-Modells einer Bauteilanordnung mit Referenzdaten gemäß einem Ausführungsbeispiel der Erfindung.
The above-mentioned properties, features and advantages of the invention and the manner in which these are achieved are explained in more detail by the following description of the exemplary embodiments of the invention in conjunction with the corresponding figures, wherein
in the figures shows:
  • 1 a representation of a 3D model of a component arrangement,
  • 2 a flowchart of a working method for a recognition system according to an embodiment of the invention,
  • 3 a flowchart of a training method for a recognition system for generating a 3D model of a component arrangement with reference data according to an embodiment of the invention,
  • 4th a schematic representation of a detection system according to an embodiment of the invention, and
  • 5 Schematic representation of a working method for a recognition system and a training method for a recognition system for generating a 3D model of a component arrangement with reference data according to an exemplary embodiment of the invention.

1 zeigt eine Darstellung eines 3D-Modells einer Bauteilanordnung 17. Die Bauteilanordnung 17 ist in diesem Ausführungsbeispiel ein vorderer Teil eines Schienenfahrzeugs. 1 shows a representation of a 3D model of a component arrangement 17th . The component arrangement 17th is in this embodiment a front part of a rail vehicle.

Die Bauteilanordnung 17 umfasst mehrere Bauteile. Hier sichtbare Bauteile sind beispielsweise ein Türblatt 18, ein Außenspiegel 19, einen Scheinwerfer 20, etc. Die hier gezeigte Darstellung der Bauteilanordnung 17 ist ein Rendering des 3D-Modells mit unterschiedlicher Farbgebung. Die unterschiedlichen Farben repräsentieren unterschiedliche Bauteilklassen.The component arrangement 17th comprises several components. Components visible here are, for example, a door leaf 18th , an outside mirror 19th , a headlight 20th , etc. The representation of the component arrangement shown here 17th is a rendering of the 3D model with different colors. The different colors represent different component classes.

2 zeigt ein Flussdiagramm eines Arbeitsverfahrens für ein Erkennungssystem gemäß einem Ausführungsbeispiel der Erfindung. 2 shows a flow chart of a working method for a recognition system according to an embodiment of the invention.

In einem Schritt 100 wird von einem Benutzer mit einem Aufnahmegerät zunächst ein Farbbild einer Bauteilanordnung aufgenommen. Die Bauteilanordnung umfasst eine Mehrzahl von Bauteilen, von denen Bauteilinformationen, wie beispielsweise Typennummern, Bestellnummern, oder ähnliche, gewonnen werden sollen. Die Bauteilanordnung ist beispielsweise Teil eines Schienenfahrzeugs, eines Flugzeugs, eines Schiffs, oder eines sonstigen technischen Produkts. Die Bauteilanordnung entspricht beispielsweise der Bauteilanordnung gemäß 1.In one step 100 a color image of a component arrangement is first recorded by a user with a recording device. The component arrangement comprises a plurality of components from which component information, such as type numbers, order numbers, or the like, is to be obtained. The component arrangement is, for example, part of a rail vehicle, an airplane, a ship, or some other technical product. The component arrangement corresponds, for example, to the component arrangement according to FIG 1 .

Das aufgenommene Farbbild zeigt einen ersten Bildausschnitt der Bauteilanordnung. Der erste Bildausschnitt zeigt zumindest teilweise ein oder mehrere Bauteile, die erkannt werden sollen, um zumindest eine der oben genannten Bauteilinformationen dem Benutzer zur Verfügung zu stellen. Dies ist beispielsweise notwendig, wenn ein entsprechendes Ersatzteil nachbestellt werden soll. Wenn das oder die Bauteile, die erkannt werden sollen, beispielsweise zwischen anderen Bauteilen eingebaut sind, so genügt es, wenn das Farbbild beispielsweise nur eine sichtbare Oberfläche des oder der zu erkennenden Bauteile zeigt. Das Aufnahmegerät wird genauer mit Bezug auf 4 beschrieben.The recorded color image shows a first image section of the component arrangement. The first image section shows at least partially one or more components that are to be recognized in order to make at least one of the above-mentioned component information available to the user. This is necessary, for example, if a corresponding spare part is to be reordered. If the component or components that are to be recognized are installed between other components, for example, it is sufficient if the color image shows, for example, only a visible surface of the component or components to be recognized. The recording device will be more specific with reference to 4th described.

In einem weiteren Schritt 101 wird eine erste semantische Information eines Bildinhalts des Farbbildes bestimmt. Die erste semantische Information stellt eine Zuordnung eines jeden Pixels des aufgenommenen Farbbildes zu einer semantischen Klasse dar. Die semantischen Klassen sind in dem hier gezeigten Beispiel Bauteilklassen, denen die Bauteile der Bauteilanordnung zugeordnet sind.In a further step 101 a first semantic information of an image content of the color image is determined. The first semantic information represents an assignment of each pixel of the recorded color image to a semantic class. In the example shown here, the semantic classes are component classes to which the components of the component arrangement are assigned.

Bauteilklassen sind funktionale Gruppen, zu denen mehrere unterschiedliche Bauteile repräsentativ zusammengefasst sind. Beispiele für derartige Bauteilklassen sind in diesem Ausführungsbeispiel die Bauteilklassen: „Glaskörper“, „Türanlage“, „Fahrwerkselemente“, „Innenausbau“, „Wagenkasten“, „Klimaanlage“ etc. Die Bauteilklasse „Türanlage“, beispielsweise, umfasst sämtliche Bauteile, die in einer Türanlage der Bauteilanordnung verbaut sind, wie zum Beispiel ein Türblatt, ein Türrahmen, ein Klemmschutz, eine Lichtschranke und sonstige Elektronik zur Steuerung einer Türanlage.Component classes are functional groups to which several different components are grouped together. Examples of such component classes in this exemplary embodiment are the component classes: "Glass body", "Door system", "Chassis elements", "Interior fittings", " Car body ”,“ air conditioning ”etc. The component class“ door system ”, for example, includes all components that are installed in a door system of the component arrangement, such as a door leaf, a door frame, an anti-trap guard, a light barrier and other electronics for controlling a door system .

Die Zuordnung jedes Pixels des Farbbildes zu einer entsprechenden semantischen Klasse wird maschinell mittels einer semantischen Segmentierung durchgeführt. Eine semantischen Segmentierung eines Bildes ist die automatisierte Clusterung eines Bildes, d.h. Zusammenfassen von Pixeln mit ähnlichen Pixelwerten, in diesem Fall Farbwerten, zu Bildsegmenten und Klassifikation der Bildsegmente in eine feste Anzahl von semantischen Klassen.The assignment of each pixel of the color image to a corresponding semantic class is carried out automatically by means of semantic segmentation. A semantic segmentation of an image is the automated clustering of an image, i.e. Combining pixels with similar pixel values, in this case color values, to form image segments and classifying the image segments into a fixed number of semantic classes.

Bei der Bestimmung der ersten semantischen Information des Bildinhalts des aufgenommenen Farbbildes wird jeder Pixel des Farbbilds basierend auf einem Farbwert des Pixels, beispielsweise einem Vektor im RGB-Raum, einer speziellen semantischen Klasse zugeordnet. Die Zuweisung eines jeden Pixels zur entsprechenden semantischen Klasse basiert hierbei auf eine Wahrscheinlichkeitsanalyse, welcher Klasse der jeweilige Pixel am wahrscheinlichsten angehört. Diese Klasse wird dann als semantische Klasse des Pixels bestimmt.When determining the first semantic information of the image content of the recorded color image, each pixel of the color image is assigned to a special semantic class based on a color value of the pixel, for example a vector in RGB space. The assignment of each pixel to the corresponding semantic class is based on a probability analysis of which class the respective pixel most likely belongs to. This class is then determined as the semantic class of the pixel.

Für die semantische Segmentierung des aufgenommenen Farbbildes wird ein entsprechend trainierter semantischer Segmentierungsalgorithmus verwendet. Ein Verfahren zum Erstellen eines solchen Segmentierungsalgorithmus, z.B. in Form eines Deep Learning Netzwerks, wird näher mit Bezug auf 3 beschrieben.A suitably trained semantic segmentation algorithm is used for the semantic segmentation of the recorded color image. A method for creating such a segmentation algorithm, for example in the form of a deep learning network, is described in more detail with reference to FIG 3 described.

In einem weiteren Schritt 102 wird die erste semantische Information mit einer gespeicherten zweiten semantischen Information einer Vielzahl simulierter Ansichten eines 3D-Modells der Bauteilanordnung abgeglichen. Das 3D-Modell ist beispielsweise ein CAD-Modell oder ähnliches Modell der Bauteilanordnung.In a further step 102 the first semantic information is compared with a stored second semantic information of a plurality of simulated views of a 3D model of the component arrangement. The 3D model is, for example, a CAD model or a similar model of the component arrangement.

Die simulierten Ansichten des 3D-Modells werden beispielsweise so erzeugt, dass für jeden Teil der Bauteilanordnung ein simuliertes Bild aus allen, für einen Benutzer möglichen Blickwinkeln erzeugt wird. Schritte für diese Blickwinkel sind in diesem Ausführungsbeispiel quantisiert, beispielsweise in 5° Schritten, um eine überschaubare Anzahl an simulierten Bildern zu erhalten. Das Erzeugen der zweiten semantischen Information und der simulierten Bilder wird ebenfalls genauer mit Bezug auf 3 beschrieben.The simulated views of the 3D model are generated, for example, in such a way that a simulated image is generated for each part of the component arrangement from all possible viewing angles for a user. Steps for these viewing angles are quantized in this exemplary embodiment, for example in 5 ° steps, in order to obtain a manageable number of simulated images. The generation of the second semantic information and the simulated images is also more precisely described with reference to FIG 3 described.

Die erste semantische Information und die zweite semantische Information werden in dem hier gezeigten Ausführungsbeispiel anhand von Histogrammen der semantischen Informationen verglichen. Für jede simulierte Ansicht des 3D-Modells liegt ein solches Histogramm vor. Dies hat zudem den Vorteil, dass lediglich die Histogramme der semantischen Information der simulierten Ansichten abgespeichert vorliegen müssen. Dies hat eine erheblich geringeren Datenmenge an gespeicherten Daten zur Folge, als wenn alle simulierten Bilder abgespeichert wären. Die erste semantische Information des Bildinhalts des aufgenommenen Farbbildes liegt ebenfalls in einem solchen Histogramm vor.In the exemplary embodiment shown here, the first semantic information and the second semantic information are compared on the basis of histograms of the semantic information. Such a histogram is available for every simulated view of the 3D model. This also has the advantage that only the histograms of the semantic information of the simulated views have to be stored. This results in a considerably smaller amount of stored data than if all simulated images were stored. The first semantic information of the image content of the recorded color image is also available in such a histogram.

Die Histogramme stellen Häufigkeitsverteilungen der semantischen Klassen der jeweiligen Bilder dar. Ein Histogramm eines entsprechenden Bildes sagt beispielsweise aus, dass die semantische Klasse „A“ insgesamt 40% des Bildinhalts und die semantischen Klasse „B“ insgesamt 60% des Bildinhalts des entsprechenden Bildes ausmacht. Anstelle prozentualer Angaben in dem Histogramm ist es auch möglich, absolute Werte von zugewiesenen Pixeln für jede semantische Klasse in den Histogrammen anzugeben.The histograms represent the frequency distributions of the semantic classes of the respective images. A histogram of a corresponding image says, for example, that the semantic class “A” makes up a total of 40% of the image content and the semantic class “B” makes up a total of 60% of the image content of the corresponding image. Instead of percentages in the histogram, it is also possible to specify absolute values of allocated pixels for each semantic class in the histograms.

In einem weiteren Schritt 103 wird die zweite semantische Information der gespeicherten zweiten semantischen Informationen der simulierten Bilder des 3D-Modells bestimmt, die eine größte Ähnlichkeit zur ersten semantischen Information aufweist. Das heißt, es wird das Histogramm der ersten semantischen Information des aufgenommenen Farbbildes mit den gespeicherten Histogrammen der zweiten semantischen Informationen verglichen und das gespeicherte Histogramm der zweiten semantischen Information bestimmt, welches die größte Ähnlichkeit zu dem Histogramm der ersten semantischen Information aufweist. Auf diese Weise wird bestimmt, welches simulierte Bild zu dem aufgenommenen Farbbild identisch ist oder diesem zumindest am ähnlichsten ist.In a further step 103 the second semantic information of the stored second semantic information of the simulated images of the 3D model is determined, which has the greatest similarity to the first semantic information. That is, the histogram of the first semantic information of the recorded color image is compared with the stored histograms of the second semantic information and the stored histogram of the second semantic information is determined which has the greatest similarity to the histogram of the first semantic information. In this way it is determined which simulated image is identical to or at least most similar to the recorded color image.

Hierbei kann in einem optionalen Schritt 103a ein Grenzwert für eine Ähnlichkeit zwischen der ersten und den zweiten semantischen Informationen berücksichtigt werden. Der Wert der Ähnlichkeit gibt an, zu welchem Grad die semantischen Informationen übereinstimmen. Dieser Wert ist also auch ein Hinweis darauf, wie ähnlich das aufgenommene Farbbild und eine entsprechende simulierte Ansicht sind. Liegt dieser Wert bei 100%, so sind erste und zweite semantische Information identisch. Liegt dieser Wert beispielsweise bei 50%, so stimmen 50% der Klassen der ersten semantischen Information mit Klassen der zweiten semantischen Information überein, die restlichen 50% sind jedoch verschieden. Bei einem Ähnlichkeitswert von 0% sind alle Klassen der ersten semantischen Information unterschiedlich von den Klassen der zweiten semantischen Information. In diesem Fall wäre kein Bauteil in dem Farbbild einer Klasse der Bauteile in dem simulierten Bild zuordbar.This can be done in an optional step 103a a limit value for a similarity between the first and the second semantic information can be taken into account. The value of the similarity indicates the degree to which the semantic information matches. This value is also an indication of how similar the recorded color image and a corresponding simulated view are. If this value is 100%, the first and second semantic information are identical. If this value is, for example, 50%, then 50% of the classes of the first semantic information correspond to classes of the second semantic information, but the remaining 50% are different. With a similarity value of 0%, all classes of the first semantic information are different from the classes of the second semantic information. In this case, no component in the color image could be assigned to a class of the components in the simulated image.

Liegt für das zu dem aufgenommenen Farbbild identische oder ähnlichste simulierte Bild der Wert der Ähnlichkeit zwischen erster und zweiter semantischer Information unter diesem Grenzwert, so kann ein Warnsignal generiert werden, welches angibt, dass eine Bestimmung eines zu dem Farbbild passenden simulierten Bildes nicht oder nur unzureichend möglich ist. Mit dem Warnsignal ist es möglich, einem Benutzer mitzuteilen, wenn ein zu bestimmendes Bauteil mit einer nur unzureichenden Wahrscheinlichkeit, dass es sich um das richtige Bauteil handelt, bestimmt werden kann, oder dass eine Bestimmung gänzlich unmöglich ist, da keine hinreichende oder überhaupt keine Posebestimmung des Aufnahmegeräts möglich ist. Ein solcher Fall kann beispielsweise bei einer Abnutzung oder Verschmutzung von zu bestimmenden Bauteilen vorliegen, oder wenn zu bestimmende Bauteile in einer anderen Konfiguration, als im 3D-Modell abgebildet (z.B. Türe offen/Türe zu), in der mit dem Farbbild aufgenommenen Szene erfasst sind. Somit ist das erste Warnsignal auch ein Hinweis für den Benutzer, dass er gegebenenfalls eine Bauteilbestimmung durch Reinigung oder Anpassung der Konfiguration (z.B. Türe öffnen/schließen) ermöglichen kann.If, for the simulated image that is identical or most similar to the recorded color image, the value of the similarity between the first and second semantic information is below this limit value, then a warning signal can be generated which indicates that a determination of a simulated image that matches the color image is insufficient or insufficient is possible. With the warning signal, it is possible to inform a user when a component to be determined can be determined with only an insufficient probability that it is the correct component, or that a determination is completely impossible because no adequate or no position determination is possible of the recording device is possible. Such a case can exist, for example, when components to be determined are worn or soiled, or when components to be determined are recorded in a configuration other than the one shown in the 3D model (e.g. door open / door closed) in the scene recorded with the color image . Thus, the first warning signal is also an indication for the user that he can, if necessary, enable component identification by cleaning or adjusting the configuration (eg opening / closing the door).

Optional kann das Verfahren zur Bauteilerkennung für den Fall, dass dieser Grenzwert unterschritten wird, an dieser Stelle abgebrochen werden.Optionally, the method for component detection can be terminated at this point in the event that the value falls below this limit value.

In einem weiteren Schritt 104 wird eine erste Poseinformation des Aufnahmegeräts basierend auf einer Auswertung einer gespeicherten zweiten Poseinformation des bestimmten simulierten Bildes bezüglich des 3D-Modells bestimmt.In a further step 104 a first position information of the recording device is determined based on an evaluation of a stored second position information of the particular simulated image with respect to the 3D model.

Für jedes gespeicherte Histogramm der zweiten semantischen Information für jedes simulierte Bild ist, zusammen mit jedem gespeicherten Histogramm, eine zweite Poseinformation gespeichert. Die gespeicherten Daten umfassen hier also nicht die simulierten Bilder selbst, sondern zu jedem simulierten Bild ein entsprechendes Histogramm und jedem Histogramm zugeordnet eine zweite Poseinformation. Diese zweite Poseinformation gibt jeweils sechs Freiheitsgrade bezüglich des 3D-Modells an, die ein Gerät zur Aufnahme des entsprechenden simulierten Bildes gehabt hätte. Es handelt sich somit quasi um eine fiktive Pose des jeweiligen simulierten Bildes.For each stored histogram of the second semantic information for each simulated image, a second position information is stored together with each stored histogram. The stored data do not include the simulated images themselves here, but rather a corresponding histogram for each simulated image and a second item of information associated with each histogram. This second position information indicates six degrees of freedom with respect to the 3D model that a device would have had for recording the corresponding simulated image. It is thus more or less a fictional pose of the respective simulated image.

In dem hier gezeigten Ausführungsbeispielen wird die gespeicherte zweite Poseinformation des bestimmten, ähnlichsten simulierten Bildes als Poseinformation des Aufnahmegeräts übernommen. Das heißt, da das bestimmte simulierte Bild und das aufgenommene Farbbild bezüglich ihrer semantischen Informationen identisch oder hochgradig ähnlich sind, wird von der gespeicherten fiktiven zweiten Poseinformation auf die Pose des Aufnahmegeräts relativ zu dem 3D-Modell, d.h. in Koordinaten eines Koordinatensystems des 3D-Modells, geschlossen.In the exemplary embodiment shown here, the stored second position information of the specific, most similar simulated image is adopted as position information of the recording device. That is, since the particular simulated image and the recorded color image are identical or highly similar in terms of their semantic information, the stored fictitious second pose information is used to refer to the pose of the recording device relative to the 3D model, i.e. in coordinates of a coordinate system of the 3D model, closed.

In einem letzten Schritt 105 wird anschließend wenigstens eine Bauteilinformation des wenigstens einen zu erkennenden Bauteils, welches mit dem Farbbild aufgenommen wurde, basierend auf der bestimmten ersten Poseinformation ausgewertet. Hierzu wird im vorliegenden Ausführungsbeispiel ausgehend von der bestimmten ersten Poseinformation das 3D-Modell mit codierter Bauteilinformation des wenigstens einen zu erkennenden Bauteils gerendert. Auf diese Weise wird eine Ansicht des 3D-Modells erzeugt, aus der direkt die Bauteilinformationen der in der gerenderten Ansicht gezeigten Bauteile abgerufen werden können.In a final step 105 at least one component information item of the at least one component to be recognized, which was recorded with the color image, is then evaluated based on the determined first position information. For this purpose, in the present exemplary embodiment, the 3D model with coded component information of the at least one component to be recognized is rendered based on the determined first position information. This creates a view of the 3D model from which the component information of the components shown in the rendered view can be called up directly.

Die gerenderte Ansicht des 3D-Modells stellt dann, wenn das obige Verfahren erfolgreich durchgeführt wurde, zumindest mit hoher Übereinstimmung den Bildinhalt des aufgenommenen Farbbildes dar. Die gerenderte Ansicht kann beispielsweise direkt dem Benutzer mit den Bauteilinformationen angezeigt werden, die gerenderte Ansicht kann mit dem aufgenommenen Farbbild überlagert werden, oder es können auch die ausgewerteten Bauteilinformationen direkt in dem aufgenommenen Farbbild angezeigt werden. Auf diese Weise kann ein Benutzer des obigen Verfahrens mit einem handelsüblichen, herkömmlichen Mobiltelefon, Tablet-Computer, oder sonstigem Aufnahmegerät ein Farbfoto eines zu erkennenden Bauteils aufnehmen und sich Bauteilinformationen in dem aufgenommenen Farbfoto oder einem entsprechenden gerenderten Bild des 3D-Modells anzeigen lassen. Mit dem hier beschriebenen Verfahren werden keine aufwändigen Geräte mit 3D Sensoren o.ä. zur Bauteilerkennung benötigt.The rendered view of the 3D model then, if the above method has been carried out successfully, represents the image content of the recorded color image at least with a high degree of correspondence. The rendered view can, for example, be displayed directly to the user with the component information, the rendered view can be displayed with the recorded Color image can be superimposed, or the evaluated component information can also be displayed directly in the recorded color image. In this way, a user of the above method can take a color photo of a component to be recognized with a commercially available, conventional mobile phone, tablet computer or other recording device and display component information in the recorded color photo or a corresponding rendered image of the 3D model. With the method described here, no complex devices with 3D sensors or the like are required. required for component recognition.

3 zeigt ein Flussdiagramm eines Trainingsverfahrens zum Erzeugen eines 3D-Modells einer Bauteilanordnung mit Referenzdaten für ein Erkennungssystem. Beispielsweise kann dieses Trainingsverfahren für ein Erkennungssystem, wie es mit Bezug auf 4 beschrieben ist, verwendet werden. Beispielsweise kann das Trainingsverfahren verwendet werden, ein 3D-Modell einer Bauteilanordnung mit Referenzdaten, wie es in dem Arbeitsverfahren gemäß 2 verwendet wird, zu erzeugen. Die Bauteilanordnung entspricht beispielsweise der Bauteilanordnung 17 gemäß 1. 3 FIG. 10 shows a flow diagram of a training method for generating a 3D model of a component arrangement with reference data for a recognition system. For example, this training method can be used for a recognition system as described with reference to 4th can be used. For example, the training method can be used, a 3D model of a component arrangement with reference data, as it is in the working method according to FIG 2 is used to generate. The component arrangement corresponds, for example, to the component arrangement 17th according to 1 .

Ein Ziel des Trainingsverfahren ist es, einen semantischen Segmentierungsalgorithmus, wie er mit Bezug auf 2 erwähnt ist, zu generieren und zu trainieren, und ein 3D-Modell einer Bauteilanordnung derart mit Referenzdaten zu versehen, dass eine zuverlässige Bauteilerkennung, wie sie gemäß 2 beschrieben ist, durchgeführt werden kann. Die Referenzdaten sind insbesondere die oben erwähnten gespeicherten zweiten semantischen Informationen, sowie die entsprechenden zweiten Poseinformationen.One goal of the training method is to develop a semantic segmentation algorithm such as the one referring to 2 is mentioned, to generate and train, and to provide a 3D model of a component arrangement with reference data in such a way that a reliable component recognition, as in accordance with 2 is described can be performed. The reference data are in particular the above-mentioned stored second semantic data Information, as well as the corresponding second pose information.

In einem ersten Schritt 201 wird ein 3D-Modell, beispielsweise ein CAD-Modell oder ähnliches Modell, einer Bauteilanordnung aufbereitet. Alle Bauteile der Bauteilanordnung werden spezifischen Bauteilklassen zugeordnet. Gewöhnlich wird diese Zuordnung jedoch bereits bei einer Erzeugung des 3D-Modells vorgenommen, sodass in einem solchen Fall keine zusätzliche Zuordnung notwendig ist. Insbesondere bei CAD-Modellen ist eine solche Zuordnung bereits bei der Erzeugung vorgesehen, sodass bei der Verwendung eines solchen Modells kein zusätzlicher Aufwand zur Aufbereitung des Modells entsteht.In a first step 201 a 3D model, for example a CAD model or similar model, of a component arrangement is prepared. All components of the component arrangement are assigned to specific component classes. Usually, however, this assignment is already made when the 3D model is generated, so that no additional assignment is necessary in such a case. In the case of CAD models in particular, such an assignment is already provided during generation, so that when using such a model there is no additional effort to prepare the model.

Ferner werden bei der Aufbereitung des 3D-Modells die Bauteile entsprechend ihren Bauteilklassen eingefärbt. Jeder Bauteilklasse in dem 3D-Modell ist dann eine spezifische Farbe zugewiesen. Dies dient der einfacheren Auswertung der zweiten semantischen Information, kann aber ebenfalls bereits bei einer Erzeugung des 3D-Modells berücksichtigt werden.Furthermore, when preparing the 3D model, the components are colored according to their component classes. Each component class in the 3D model is then assigned a specific color. This serves to simplify the evaluation of the second semantic information, but can also be taken into account when the 3D model is generated.

Des Weiteren können bei der Aufbereitung des 3D-Modells die Modelldaten bereinigt werden. Dies bedeutet, dass beispielsweise bewegliche Elemente in dem 3D-Modell, die in unterschiedlichen Zuständen in dem Modell hinterlegt sind, auf einen Zustand in dem Modell reduziert werden. Vorteilhaft hierbei ist es, eine Reduzierung auf einen Zustand, wie er üblicherweise in der realen Szene bei einer Wartung der Bauteilanordnung vorliegen würde, zu reduzieren. So werden beispielsweise Fenster eines Schienenfahrzeugs, die in dem 3D-Modell sowohl geöffnet als auch geschlossen dargestellt sind, auf den geschlossenen Zustand reduziert.Furthermore, the model data can be cleaned up when preparing the 3D model. This means that, for example, movable elements in the 3D model that are stored in the model in different states are reduced to one state in the model. It is advantageous here to reduce a reduction to a state that would normally be present in the real scene during maintenance of the component arrangement. For example, windows of a rail vehicle that are shown both open and closed in the 3D model are reduced to the closed state.

In einem zweiten Schritt 202 werden Trainingsbilder in dem 3D-Modell registriert. Die Trainingsbilder sind in diesem Ausführungsbeispiel Farbbilder, die beispielsweise mit gewöhnlichen Mobilgeräten oder Tablet-Computern aufgenommen werden können. Beim Aufnehmen jedes Trainingsbilds wird auch eine zugehörende Aufnahmeposition jeweils erfasst. Hierfür wird beispielsweise eine inertiale Messeinheit (engl.: inertial measurement unit, IMU) verwendet. Diese ist beispielsweise ebenfalls in dem Aufnahmegerät integriert, sodass jedes aufgenommene Trainingsbild mit der zugehörenden Aufnahmeposition verknüpft wird. Beispielsweise eignen sich hierfür Tools für visuelle Odometrie, beispielsweise implementiert mittles „Google Tango“. Mit derartigen Tools wird dieser Schritt 202 automatisiert und für einen Benutzer ohne großen Aufwand durchgeführt. Die Trainingsbilder werden zusammen mit den jeweiligen Aufnahmepositionen lagerichtig, d.h. über Zuordnung wenigstens dreier Punktepaare, in dem 3D-Modell eingebracht.In a second step 202 training images are registered in the 3D model. In this exemplary embodiment, the training images are color images that can be recorded, for example, with conventional mobile devices or tablet computers. When each training image is recorded, an associated recording position is also recorded. For example, an inertial measurement unit (IMU) is used for this. This is also integrated in the recording device, for example, so that each recorded training image is linked to the associated recording position. For example, tools for visual odometry are suitable for this, for example implemented using “Google Tango”. With such tools, that step becomes 202 automated and carried out for a user without great effort. The training images are placed in the correct position together with the respective recording positions, ie by assigning at least three pairs of points, to the 3D model.

Diese Trainingsbilder können mittels Datenargumentierung und/oder Simulation von beispielsweise Beleuchtungsunterschiede, Schattenwurf, unterschiedlichen Kameracharakteristiken eines Aufnahmegeräts der Trainingsbilder, oder ähnlichem überarbeitet werden. Auf diese Weise ist ein an reale Szenen besser angepasstes Ergebnis des Trainingsverfahrens erzielbar.These training images can be revised by means of data argumentation and / or simulation of, for example, lighting differences, shadows, different camera characteristics of a recording device for the training images, or the like. In this way, a result of the training method that is better adapted to real scenes can be achieved.

In einem weiteren Schritt 203 werden für jedes aufgenommene und in dem 3D-Modell registrierte Trainingsbild sogenannte semantische Labelmaps erstellt. Diese semantischen Labelmaps definieren für jeden Pixel eines jeden Trainingsbilds, zu welcher Bauteilklasse ein Bauteil der Bauteilanordnung, welches diesen Pixel umfasst, gehört. Eine semantische Information der semantischen Labelmaps wird aus dem 3D-Modell übernommen. Hierzu werden basierend auf den Aufnahmepositionen der Trainingsbilder entsprechende Ansichten des 3D-Modells gerendert. Da unterschiedliche Bauteilklassen in dem 3D-Modell durch eindeutige Farben repräsentiert sind, sind die gerenderten Bilder Ansichten des 3D-Modells, in dem jeder Pixel der gerenderten Ansicht eine für eine Bauteilklasse spezifische Farbe aufweist. Über die spezifischen Farben sind ist so jedem Pixel eine Bauteilklasse zugeordnet. Mit anderen Worten: die semantischen Labelmaps werden aus dem 3D-Modell mittels Rendering von Ansichten des 3D-Modells entsprechend den aufgenommenen Trainingsbildern generiert.In a further step 203 So-called semantic label maps are created for each training image recorded and registered in the 3D model. These semantic labelmaps define for each pixel of each training image to which component class a component of the component arrangement which comprises this pixel belongs. Semantic information from the semantic label maps is taken from the 3D model. For this purpose, corresponding views of the 3D model are rendered based on the recording positions of the training images. Since different component classes are represented by unique colors in the 3D model, the rendered images are views of the 3D model in which each pixel of the rendered view has a specific color for a component class. A component class is assigned to each pixel via the specific colors. In other words: the semantic label maps are generated from the 3D model by means of rendering views of the 3D model in accordance with the recorded training images.

In einem weiteren Schritt 204 wird ein semantischer Segmentierungsalgorithmus basierend auf den Trainingsbildern und den entsprechenden semantischen Labelmaps trainiert. Hierfür werden tiefe künstliche neuronale Netze zum Trainieren eines solchen Algorithmus eingesetzt. Bei diesem Schritt wird dem semantischen Segmentierungsalgorithmus mittels eines Deep Learning Verfahres beigebracht, Farbdaten von Farbbildern, wie beispielsweise den Trainingsbildern und später den aufgenommenen Farbbildern zur Bauteilerkennung, auf die entsprechenden semantischen Klassen, den sogenannten Labels, zuzuordnen. Ausgehend von den Farbdaten wird eine Mapping Funktion durch eine Deep Learning Architektur trainiert, die Farbwerte auf eine Objektklasse mappen kann. D.h. es wird ein Optimierungsproblem gelöst, das Farbdaten auf Objektklassen mappen kann, indem Farbdaten und die Ground Truth Daten (Maps) vorgelegt werden.In a further step 204 a semantic segmentation algorithm is trained based on the training images and the corresponding semantic labelmaps. For this purpose, deep artificial neural networks are used to train such an algorithm. In this step, the semantic segmentation algorithm is taught using a deep learning process to assign color data from color images, such as the training images and later the recorded color images for component recognition, to the corresponding semantic classes, the so-called labels. Based on the color data, a mapping function is trained by a deep learning architecture that can map color values to an object class. In other words, an optimization problem is solved that can map color data to object classes by presenting color data and the ground truth data (maps).

Hierbei ist es insbesondere möglich, vorhandene und vortrainierte semantische Segmentierungsalgorithmen zu verwenden. Beispielsweise sogenannten Fahrerassistenzsystemen (engl.: advanced driver assistance systems, ADAS) aus dem Bereich des autonomen Fahrens sind geeignet, hier verwendet zu werden. Diese semantischen Segmentierungsalgorithmen, deren semantische Klassen beispielsweise „Bäume“, „Fußgänger“, „Fahrzeuge“, etc. zu erkennen trainiert sind, können an die hier verwendeten semantischen Klassen, d.h. die Bauteilklassen der Bauteilanordnung, angepasst werden. Dies ermöglicht einen wesentlich schnelleren Trainingsprozess des semantischen Segmentierungsalgorithmus für die hier verwendete Anwendung.In particular, it is possible to use existing and pre-trained semantic segmentation algorithms. For example, so-called advanced driver assistance systems (ADAS) from the field of autonomous driving are suitable for use here. These semantic segmentation algorithms, their semantic classes For example, “trees”, “pedestrians”, “vehicles”, etc. are trained to recognize, can be adapted to the semantic classes used here, ie the component classes of the component arrangement. This enables a significantly faster training process for the semantic segmentation algorithm for the application used here.

In einem weiteren Schritt 205 werden Blickwinkelsimulationen des 3D-Modells erzeugt. Hierzu werden simulierte Ansichten aller relevanten Teile des 3D-Modells erzeugt. Insbesondere werden von jedem relevanten Teil simulierte Bilder für jede mögliche Aufsicht auf die relevanten Teile erzeugt. Um eine unendliche Anzahl von Blickwinkelsimulationen zu vermeiden, werden die Blickwinkel quantisiert simuliert, d.h. es werden beispielsweise jeweils 5° Schritte der möglichen Blickwinkel simuliert. Selbstverständlich sind auch kleinere oder größere Quantisierungsschritte bei der Blickwinkelsimulation möglich.In a further step 205 Perspective simulations of the 3D model are generated. For this purpose, simulated views of all relevant parts of the 3D model are generated. In particular, simulated images of each relevant part are generated for every possible view of the relevant parts. In order to avoid an infinite number of viewing angle simulations, the viewing angles are simulated in a quantized manner, ie for example 5 ° steps of the possible viewing angles are simulated in each case. Of course, smaller or larger quantization steps are also possible for the viewing angle simulation.

Relevante Teile des 3D-Modells sind beispielsweise alle Teile des 3D-Modells, in denen sich Bauteile befinden, die gegebenenfalls bei einer Wartung ausgetauscht werden können. So können die simulierten Ansichten anhand einer Ersatzbauteilliste erzeugt werden, was einen übermäßigen Aufwand für irrelevante Teile des 3D-Modells verhindert. Es können also beispielsweise lediglich simulierte Ansichten erzeugt werden für Bereiche, in denen sich austauschbare Teile befinden.Relevant parts of the 3D model are, for example, all parts of the 3D model in which there are components that can be replaced during maintenance if necessary. In this way, the simulated views can be generated using a replacement parts list, which prevents excessive effort for irrelevant parts of the 3D model. For example, only simulated views can be generated for areas in which there are interchangeable parts.

Die simulierten Ansichten repräsentieren Blickwinkel, wie ein Benutzer die relevanten Teile beobachten könnte. Da für einen Abgleich eines aufgenommenen Farbbilds eines zu erkennenden Bauteils mit den simulierten Ansichten, wie oben mit Bezug auf 2 beschrieben, lediglich semantische Informationen notwendig sind, werden zur Erzeugung der simulierten Ansichten lediglich Renderings der semantischen Informationen, d.h. Bilder mit entsprechend eindeutiger Farbgebung, der simulierten Blickwinkel erzeugt.The simulated views represent angles of how a user could observe the relevant parts. As for a comparison of a recorded color image of a component to be recognized with the simulated views, as above with reference to FIG 2 described, only semantic information is necessary, only renderings of the semantic information, ie images with correspondingly clear coloring, of the simulated viewing angles are generated to generate the simulated views.

In einem weiteren Schritt 206 werden aus den zuvor erstellten simulierten Ansichten jeweils semantische Informationen gewonnen, die jeweils semantische Informationen der Bildinhalte der simulierten Ansichten darstellen. Diese semantische Information der simulierten Ansichten stellt die oben beschriebene zweite semantische Information dar. Für alle Blickwinkel werden Histogramme der zweiten semantischen Information generiert.In a further step 206 semantic information is obtained from the previously created simulated views, which each represent semantic information of the image content of the simulated views. This semantic information of the simulated views represents the second semantic information described above. Histograms of the second semantic information are generated for all viewing angles.

In einem letzten Schritt 207 des Trainingsverfahrens werden die zweiten semantischen Informationen, d.h. die Histogramme, der simulierten Ansichten zusammen mit jeweils zugehörenden Poseinformationen der simulierten Blickwinkel in einer Datenbank abgespeichert. Da die simulierten Ansichten basierend auf den Blickwinkelsimulationen erzeugt werden sind die jeweiligen zweiten Poseinformationen bekannt. Die Histogramme der zweiten semantischen Information werden jeweils über die zweiten Poseinformationen mit dem 3D-Modell verknüpft, sodass jeweils Paare von Histogrammen und entsprechender zweiter Poseinformation einer simulierten Ansicht abgespeichert wird.In a final step 207 During the training process, the second semantic information, ie the histograms, of the simulated views are stored in a database together with the respective associated pose information of the simulated viewing angles. Since the simulated views are generated based on the viewing angle simulations, the respective second pose information is known. The histograms of the second semantic information are each linked to the 3D model via the second pose information, so that pairs of histograms and corresponding second pose information of a simulated view are stored.

4 zeigt eine schematische Darstellung eines Erkennungssystems 1 gemäß einem Ausführungsbeispiel der Erfindung. Das Erkennungssystem 1 eignet sich insbesondere dazu, mit dem Arbeitsverfahren gemäß 2 betrieben zu werden und für ein Trainingsverfahren gemäß 2 verwendet zu werden. 4th shows a schematic representation of a recognition system 1 according to an embodiment of the invention. The recognition system 1 is particularly suitable for using the working method according to 2 to be operated and for a training procedure in accordance with 2 to be used.

Das Erkennungssystem 1 besteht aus einem mobilen Aufnahmegerät 2, einem Server 3 und einem Datenspeicher 4. Datenspeicher 4, Server 3 und mobiles Aufnahmegerät 2 sind jeweils über ein Netzwerk 5 miteinander verbunden. Server 3 und Datenspeicher 4, in diesem Ausführungsbeispiel verbunden über das Netzwerk 5, bilden gemeinsam eine Datenverarbeitungsvorrichtung 21.The recognition system 1 consists of a mobile recording device 2 , a server 3 and a data store 4th . Data storage 4th , Server 3 and mobile recording device 2 are each over a network 5 connected with each other. server 3 and data storage 4th , in this embodiment connected via the network 5 , together form a data processing device 21st .

Das Aufnahmegerät 2 weist einen Farbsensor 6, beispielsweise als Teil einer RGB-Kamera, auf. Der Farbsensor 6 ist dazu eingerichtet, ein Farbbild eines Teils einer Bauteilanordnung aufzunehmen, in dem sich ein zu bestimmendes Bauteil befindet. Die Bauteilanordnung entspricht beispielsweise der Bauteilanordnung gemäß 1. Die von dem mobilen Aufnahmegerät 2 aufgenommenen Farbbilder werden über das Netzwerk 5 an den Server 3 gesendet.The recording device 2 has a color sensor 6th , for example as part of an RGB camera. The color sensor 6th is set up to record a color image of a part of a component arrangement in which a component to be determined is located. The component arrangement corresponds, for example, to the component arrangement according to FIG 1 . The one from the mobile recording device 2 Captured color images are made over the network 5 to the server 3 Posted.

Der Server 3 weist einen Prozessor 7 und einen Arbeitsspeicher 8 auf. Prozessor 7 und Arbeitsspeicher 8 werden dazu verwendet, die von dem mobilen Aufnahmegerät 2 erhaltenen Farbbilder auszuwerten. Hierfür sind in einer Speichervorrichtung 9 des Servers 3 verschiedene Softwaremodule gespeichert. Benötigte Softwaremodule werden von dem Prozessor 7 in den Arbeitsspeicher 8 geladen.The server 3 assigns a processor 7th and a working memory 8th on. processor 7th and memory 8th are used by the mobile recording device 2 evaluate received color images. For this are in a storage device 9 of the server 3 various software modules are stored. Required software modules are from the processor 7th into memory 8th loaded.

Der Prozessor 7 ist dazu eingerichtet, aus der Speichervorrichtung 9 ein semantisches Segmentierungsmodul 10 aufzurufen. Das semantische Segmentierungsmodul 10 umfasst ein zuvor trainierten semantischen Segmentierungsalgorithmus, welcher dazu verwendet wird, das mit dem mobilen Aufnahmegerät 2 aufgenommene Farbbild semantisch zu segmentieren. Auf diese Weise kann jedem Pixel des Farbbildes eine Bauteilklasse der Bauteilanordnung zugeordnet werden.The processor 7th is set up from the storage device 9 a semantic segmentation module 10 to call. The semantic segmentation module 10 comprises a previously trained semantic segmentation algorithm, which is used with the mobile recording device 2 semantically segment the recorded color image. In this way, a component class of the component arrangement can be assigned to each pixel of the color image.

Außerdem ist der Prozessor 7 dazu eingerichtet, ein Abgleichmodul 11 in den Arbeitsspeicher 8 zu laden. Das Abgleichmodul 11 ist dazu eingerichtet, eine erste semantische Information des aufgenommenen Farbbildes mit auf dem Datenspeicher 4 gespeicherten zweiten semantischen Informationen von simulierten Ansichten der Bauteilanordnung abzugleichen. Diese erste bzw. zweiten semantischen Informationen entsprechend den mit Bezug auf die 2 und 3 beschriebenen semantischen Informationen.Also is the processor 7th set up a matching module 11 into memory 8th to load. The matching module 11 is set up to provide a first semantic information of the recorded color image with on the data memory 4th to match stored second semantic information of simulated views of the component arrangement. This first and second semantic information corresponding to the with reference to the 2 and 3 described semantic information.

Das Abgleichmodul 11 ist dazu eingerichtet, unter den zweiten semantischen Informationen diejenige zweite semantischen Informationen zu bestimmen, die die größte Ähnlichkeit zur ersten semantischen Information besitzt.The matching module 11 is set up to determine that second semantic information from the second semantic information which has the greatest similarity to the first semantic information.

Zusammen mit den zweiten semantischen Informationen sind auf dem Datenspeicher 4 zu jeder zweiten semantischen Information eine zugehörende zweite Poseinformation gespeichert. Die zweiten Poseinformationen entsprechend den mit Bezug auf die 2 und 3 beschriebenen zweiten Poseinformationen.Together with the second semantic information is on the data store 4th A corresponding second pose information is stored for every second semantic information item. The second pose information corresponds to that relating to the 2 and 3 described second pose information.

Ein Positionierungsmodul 12 des Servers 3 ist dazu eingerichtet, die zweite Poseinformation, die zu der zweiten semantischen Information mit der größten Ähnlichkeit zur ersten semantischen Information gehört, in den Arbeitsspeicher 8 zu laden und diese zweite Poseinformation als erste Poseinformation des Aufnahmegeräts bezüglich der Bauteilanordnung zu bestimmen.
Auf der Speichervorrichtung 9 ist des Weiteren ein Rendermodul 13 gespeichert, das dazu eingerichtet ist, Teilansichten des 3D-Modells basierend auf der ersten Poseinformation zu rendern.A positioning module 12th of the server 3 is set up to store the second item of pose information, which belongs to the second semantic information item with the greatest similarity to the first semantic information item, in the main memory 8th to load and to determine this second position information as the first position information of the recording device with respect to the component arrangement.
On the storage device 9 is also a rendering module 13 is stored, which is set up to render partial views of the 3D model based on the first pose information.

Ferner ist auf der Speichervorrichtung 9 ein Auswertungsmodul 14 gespeichert, das dazu eingerichtet ist, Bauteilinformationen von in den gerenderten Teilansichten dargestellten Bauteilen zu ermitteln. Die ermittelten Bauteilinformationen können von dem Server 3 über das Netzwerk 5 an das Aufnahmegerät 2 gesendet werden.It is also on the storage device 9 an evaluation module 14th stored, which is set up to determine component information of components shown in the rendered partial views. The determined component information can from the server 3 over the network 5 to the recording device 2 be sent.

Das Aufnahmegerät 2 weist eine Anzeigevorrichtung 15 in Form eines Displays auf, die dazu eingerichtet ist, einem Benutzer die ausgewerteten Bauteilinformationen anzuzeigen.The recording device 2 has a display device 15th in the form of a display which is set up to display the evaluated component information to a user.

In einem alternativen Ausführungsbeispiel des Erkennungssystems 1 ist der Datenspeicher in dem Server 3 integriert. In einem weiteren alternativen Ausführungsbeispiel des Erkennungssystem 1 sind Elemente des Servers 3 vollständig oder teilweise in dem mobilen Aufnahmegerät 2 integriert. In einem weiteren alternativen Ausführungsbeispiel sind Elemente des Servers 3 und des Datenspeichers 4 teilweise oder vollständig in dem mobilen Aufnahmegerät 2 integriert.In an alternative embodiment of the detection system 1 is the data store in the server 3 integrated. In a further alternative embodiment of the detection system 1 are elements of the server 3 completely or partially in the mobile recording device 2 integrated. In a further alternative embodiment there are elements of the server 3 and the data memory 4th partially or completely in the mobile recording device 2 integrated.

Das Aufnahmegerät 2 kann zusätzlich eine initiale Messeinheit 16 aufweisen, sodass sich das mobile Aufnahmegerät 2 auch für das mit Bezug auf 3 beschriebenen Trainingsverfahren verwenden lässt.The recording device 2 can also have an initial unit of measurement 16 have so that the mobile recording device 2 also for that related to 3 can use the training method described.

5 zeigt eine schematische Darstellung eines Arbeitsverfahrens für ein Erkennungssystem und eines Traningsverfahrens für ein Erkennungssystem zum Erzeugen eines 3D-Modells einer Bauteilanordnung mit Referenzdaten gemäß einem Ausführungsbeispiel der Erfindung. Auf oben, bezüglich der 1 bis 4 bereits ausführlich erläuterte Details wird an dieser Stelle nicht nochamls eingegangen sondern gelten ebenfalls für 5. 5 shows a schematic representation of a working method for a recognition system and a training method for a recognition system for generating a 3D model of a component arrangement with reference data according to an embodiment of the invention. Up, regarding the 1 to 4th Details that have already been explained in detail will not be discussed at this point but also apply to 5 .

In einem Schritt 500 des Trainingsverfahrens wird das 3D-Modell der Bauteilanordnung aufbereitet. In einem Schritt 501 werden mit einem Aufnahmegerät aufgenommene Traningsbilder der Bauteilanordnung in dem 3D-Modell registriert. In einem Schritt 502 werden, basierend auf dem 3D-Modell semantische Labelmaps für die Trainingsbilder generiert. In einem Schritt 503 werden simulierte Ansichten der Bauteilanordnung entsprechend möglicher Blickwinkel erstellt. In einem Schritt 504 wird eine Datenbank 506 mit Histogrammen einer zweiten semantischen Information der simulierten Ansichten und zugehörenden zweiten Poseinformationen der simulierten Ansichten erstellt. In einem Schritt 505 wird ein semantischer Segmentierungsalgorithmus 507 basierend auf den Trainingsbildern und den Labelmaps trainiert.In one step 500 During the training process, the 3D model of the component arrangement is prepared. In one step 501 Training images of the component arrangement recorded with a recording device are registered in the 3D model. In one step 502 semantic label maps are generated for the training images based on the 3D model. In one step 503 simulated views of the component arrangement are created according to possible viewing angles. In one step 504 becomes a database 506 created with histograms of a second semantic information of the simulated views and associated second pose information of the simulated views. In one step 505 becomes a semantic segmentation algorithm 507 trained based on the training images and the labelmaps.

In einem Schritt 508 des Arbeitsverfahrens wird ein Farbbild mit einem Aufnahmegerät aufgenommen. In einem Schritt 509 wird eine semantische Segmentierung des Farbbildes mittels dem semantischen Segmentierungsalgorithmus 507 durchgeführt, um eine erste semantische Information zu erhalten. In einem Schritt 510 wird die erste semantische Information mit den zweiten semantischen Informationen in der Datenbank 506 abgeglichen. In einem Schritt 511 wird eine Lokalisierung des Aufnahmegeräts basierend auf der zweiten Poseinformation der zweiten semantischen Information in der Datenbank 506, die der ersten semantischen Information am ähnlichsten ist, durchgeführt. In einem Schritt 512 werden Bauteilinformationen der Bauteile, die in dem Farbbild erfasst sind, ermittelt.In one step 508 During the working process, a color image is recorded with a recording device. In one step 509 a semantic segmentation of the color image is made using the semantic segmentation algorithm 507 carried out in order to obtain a first semantic information. In one step 510 becomes the first semantic information with the second semantic information in the database 506 matched. In one step 511 a localization of the recording device is based on the second position information of the second semantic information in the database 506 that is most similar to the first semantic information is performed. In one step 512 component information of the components that are recorded in the color image is determined.

Obwohl die Erfindung anhand von Ausführungsbeispielen detailliert dargestellt und beschrieben wurde, ist die Erfindung nicht auf die offenbarten Ausführungsbeispiele und die darin erläuterten konkreten Merkmalskombinationen beschränkt. Weitere Variationen der Erfindung können von einem Fachmann erhalten werden, ohne den Schutzumfang der beanspruchten Erfindung zu verlassen.Although the invention has been illustrated and described in detail on the basis of exemplary embodiments, the invention is not restricted to the disclosed exemplary embodiments and the specific combinations of features explained therein. Further variations of the invention can be obtained by one skilled in the art without departing from the scope of the claimed invention.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102017217063 A1 [0003]DE 102017217063 A1 [0003]

Claims (13)

Arbeitsverfahren umfassend die Schritte: - Aufnehmen (100) wenigstens eines Farbbildes eines ersten Teils einer Bauteilanordnung (17) mit einem Aufnahmegerät (2), wobei der erste Teil der Bauteilanordnung (17) wenigstens ein zu erkennendes Bauteil (18, 19, 20) umfasst; - Bestimmen (101) einer ersten semantischen Information eines Bildinhalts des Farbbildes; - Abgleichen (102) der ersten semantischen Information mit wenigstens einer gespeicherten zweiten semantischen Information eines Bildinhalts wenigstens einer simulierten Ansicht eines 3D-Modells der Bauteilanordnung (17); - Bestimmen (104) einer ersten Poseinformation des Aufnahmegeräts (2) bezüglich des 3D-Modells basierend auf einer Auswertung einer gespeicherten zweiten Poseinformation der zweiten semantischen Information, welche eine größte Ähnlichkeit zu der ersten semantischen Information aufweist; - Ermitteln (105) wenigstens einer Bauteilinformation des wenigstens einen zu erkennenden Bauteils (18, 19, 20) basierend auf der bestimmten ersten Poseinformation.Working process comprising the steps: - Recording (100) at least one color image of a first part of a component arrangement (17) with a recording device (2), the first part of the component arrangement (17) comprising at least one component (18, 19, 20) to be recognized; - determining (101) first semantic information of an image content of the color image; - comparing (102) the first semantic information with at least one stored second semantic information of an image content of at least one simulated view of a 3D model of the component arrangement (17); - Determination (104) of a first position information of the recording device (2) with respect to the 3D model based on an evaluation of a stored second position information of the second semantic information, which is most similar to the first semantic information; - Determining (105) at least one piece of component information of the at least one component to be recognized (18, 19, 20) based on the determined first position information. Arbeitsverfahren gemäß Anspruch 1, wobei die erste semantische Information jedem Pixel des Farbbildes und die zweite semantische Information jedem Pixel der simulierten Ansicht des 3D-Modells eine von mehreren semantischen Klassen zuordnet.Working procedure according to Claim 1 wherein the first semantic information assigns one of several semantic classes to each pixel of the color image and the second semantic information assigns each pixel of the simulated view of the 3D model. Arbeitsverfahren gemäß Anspruch 2, wobei die semantischen Klassen Bauteilklassen des 3D-Modells der Bauteilanordnung (17) zugeordnet sind.Working procedure according to Claim 2 , the semantic classes being assigned to component classes of the 3D model of the component arrangement (17). Arbeitsverfahren gemäß Anspruch 3, wobei die erste bzw. zweite semantische Information jeweils ein Histogramm der in dem Farbbild bzw. in der simulierten Ansicht enthaltenen Bauteilklassen darstellt.Working procedure according to Claim 3 , the first and second semantic information each representing a histogram of the component classes contained in the color image or in the simulated view. Arbeitsverfahren gemäß einem der Ansprüche 1 bis 4, wobei der Schritt des Ermittelns (105) der wenigstens einen Bauteilinformation die folgenden weiteren Schritte umfasst: - Rendern eines Bildausschnitts des 3D-Modells basierend auf der ersten Poseinformation; und - Anzeigen des gerenderten Bildausschnitts auf einer Anzeigevorrichtung (15) zusammen mit der wenigstens einen Bauteilinformation des wenigstens einen zu erkennenden Bauteils (18, 19, 20).Working method according to one of the Claims 1 to 4th wherein the step of determining (105) the at least one component information comprises the following further steps: rendering an image section of the 3D model based on the first position information; and - displaying the rendered image section on a display device (15) together with the at least one component information item of the at least one component to be recognized (18, 19, 20). Arbeitsverfahren gemäß einem der Ansprüche 1 bis 5, wobei die Bauteilanordnung (17) Teil eines Schienenfahrzeugs ist.Working method according to one of the Claims 1 to 5 , wherein the component arrangement (17) is part of a rail vehicle. Erkennungssystem umfassend ein Aufnahmegerät (2) und eine Datenverarbeitungsvorrichtung (21), wobei: - das Aufnahmegerät (2) dazu eingerichtet ist, wenigstens ein Farbbild eines ersten Teils einer Bauteilanordnung (17) aufzunehmen, wobei der erste Teil der Bauteilanordnung (17) wenigstens ein zu erkennendes Bauteil (18, 19, 20) umfasst; - die Datenverarbeitungsvorrichtung (21) dazu eingerichtet ist, eine erste semantische Information eines Bildinhalts des Farbbildes zu bestimmen; - die Datenverarbeitungsvorrichtung (21) ferner dazu eingerichtet ist, die erste semantische Information mit wenigstens einer gespeicherten zweiten semantischen Information eines Bildinhalts wenigstens einer simulierten Ansicht des 3D-Modells abzugleichen; - die Datenverarbeitungsvorrichtung (21) ferner dazu eingerichtet ist, eine erste Poseinformation des Aufnahmegeräts (2) bezüglich des 3D-Modells basierend auf einer Auswertung einer gespeicherten zweiten Poseinformation der zweiten semantischen Information, welche eine größte Ähnlichkeit zu der ersten semantischen Information aufweist, zu bestimmen; - die Datenverarbeitungsvorrichtung (21) ferner dazu eingerichtet ist, wenigstens eine Bauteilinformation des wenigstens einen zu erkennenden Bauteils (18, 19, 20) basierend auf der bestimmten ersten Poseinformation zu ermitteln.A detection system comprising a recording device (2) and a data processing device (21), wherein: - The recording device (2) is set up to record at least one color image of a first part of a component arrangement (17), the first part of the component arrangement (17) comprising at least one component (18, 19, 20) to be recognized; - The data processing device (21) is set up to determine a first semantic information item of an image content of the color image; - the data processing device (21) is further set up to match the first semantic information with at least one stored second semantic information of an image content of at least one simulated view of the 3D model; - The data processing device (21) is further set up to determine a first position information of the recording device (2) with respect to the 3D model based on an evaluation of a stored second position information of the second semantic information, which is most similar to the first semantic information ; - The data processing device (21) is also set up to determine at least one piece of component information of the at least one component to be recognized (18, 19, 20) based on the determined first position information. Erkennungssystem gemäß Anspruch 7, wobei das Aufnahmegerät (2) und die Datenverarbeitungsvorrichtung (21) in getrennten und über ein Netzwerk (5) miteinander verbundenen Einheiten implementiert sind.Detection system according to Claim 7 wherein the recording device (2) and the data processing device (21) are implemented in separate units connected to one another via a network (5). Erkennungssystem gemäß einem der Ansprüche 7 und 8, wobei das Erkennungssystem ferner eine Anzeigevorrichtung (15) umfasst, wobei - die Datenverarbeitungsvorrichtung (21) dazu eingerichtet ist, einen Bildausschnitt des 3D-Modells basierend auf der ersten Poseinformation zu rendern; und - die Anzeigevorrichtung (15) dazu eingerichtet ist, den gerenderten Bildausschnitt zusammen mit der wenigstens einen Bauteilinformation des wenigstens einen zu erkennenden Bauteils (18, 19, 20) anzuzeigen.Detection system according to one of the Claims 7 and 8th , wherein the recognition system further comprises a display device (15), wherein - the data processing device (21) is set up to render an image section of the 3D model based on the first position information; and - the display device (15) is set up to display the rendered image section together with the at least one component information of the at least one component (18, 19, 20) to be recognized. Erkennungssystem gemäß einem der Ansprüche 7 bis 9, wobei die Bauteilanordnung (17) Teil eines Schienenfahrzeugs ist.Detection system according to one of the Claims 7 to 9 , wherein the component arrangement (17) is part of a rail vehicle. Trainingsverfahren zum Erzeugen eines 3D-Modells einer Bauteilanordnung (17) mit Referenzdaten für ein Arbeitsverfahren gemäß einem der Ansprüche 1 bis 6 und/oder für ein Erkennungssystem gemäß einem der Ansprüche 7 bis 10, wobei das Trainingsverfahren die folgenden Schritte umfasst: - Aufnehmen wenigstens eines Trainingsbildes wenigstens eines dritten Teils der Bauteilanordnung (17); - Erfassen einer Aufnahmeposition für jedes aufgenommene Trainingsbild; - Registrieren des wenigstens einen Trainingsbildes in dem 3D-Modell basierend auf der entsprechenden erfassten Aufnahmeposition; - Erstellen einer semantischen Labelmap für jedes aufgenommene Trainingsbild; - Trainieren eines semantischen Segmentierungsalgorithmus basierend auf dem wenigstens einen Trainingsbild und der entsprechenden wenigstens einen semantischen Labelmap; - Erstellen wenigstens einer simulierten Ansicht wenigstens eines zweiten Teils der Bauteilanordnung (17); - Speichern einer zweiten semantischen Information der wenigstens einen simulierten Ansicht zusammen mit einer zugehörenden zweiten Poseinformation bezüglich dem 3-D Modell.Training method for generating a 3D model of a component arrangement (17) with reference data for a working method according to one of the Claims 1 to 6th and / or for a recognition system according to one of Claims 7 to 10 , wherein the training method comprises the following steps: - recording at least one training image of at least a third part of the component arrangement (17); - Detecting a recording position for each recorded training image; - Registering the at least one training image in the 3D model based on the corresponding recorded recording position; - Creation of a semantic label map for each recorded training image; Training of a semantic segmentation algorithm based on the at least one training image and the corresponding at least one semantic label map; - Creating at least one simulated view of at least a second part of the component arrangement (17); - Storing a second semantic information item of the at least one simulated view together with an associated second position information item with regard to the 3-D model. Trainingsverfahren gemäß Anspruch 11, wobei die semantische Labelmap für jedes aufgenommene Trainingsbild basierend auf Daten des 3D-Modells erzeugt wird.Training procedure according to Claim 11 , the semantic label map being generated for each recorded training image based on data from the 3D model. Trainingsverfahren gemäß einem der Ansprüche 10 und 11, wobei die Bauteilanordnung (17) Teil eines Schienenfahrzeugs ist.Training method according to one of the Claims 10 and 11 , wherein the component arrangement (17) is part of a rail vehicle.
DE102019208864.3A 2019-06-18 2019-06-18 Detection system, working procedures and training procedures Ceased DE102019208864A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102019208864.3A DE102019208864A1 (en) 2019-06-18 2019-06-18 Detection system, working procedures and training procedures
EP20176975.9A EP3754544A1 (en) 2019-06-18 2020-05-28 Detection system, work method and training method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019208864.3A DE102019208864A1 (en) 2019-06-18 2019-06-18 Detection system, working procedures and training procedures

Publications (1)

Publication Number Publication Date
DE102019208864A1 true DE102019208864A1 (en) 2020-12-24

Family

ID=70918252

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019208864.3A Ceased DE102019208864A1 (en) 2019-06-18 2019-06-18 Detection system, working procedures and training procedures

Country Status (2)

Country Link
EP (1) EP3754544A1 (en)
DE (1) DE102019208864A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778362A (en) * 2023-06-21 2023-09-19 武汉大学 Identification method of power pole acceptance components based on domain knowledge and deep learning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190184288A1 (en) * 2014-11-10 2019-06-20 Lego A/S System and method for toy recognition

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879815B2 (en) * 2011-08-23 2014-11-04 Siemens Aktiengesellschaft Automatic initialization for 2D/3D registration
WO2019013736A1 (en) * 2017-07-10 2019-01-17 Siemens Mobility GmbH Calibration of model data based on user feedback
DE102017217063A1 (en) 2017-09-26 2019-03-28 Siemens Mobility GmbH A recognition system, method of operation and training method for generating a 3D model with reference data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190184288A1 (en) * 2014-11-10 2019-06-20 Lego A/S System and method for toy recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778362A (en) * 2023-06-21 2023-09-19 武汉大学 Identification method of power pole acceptance components based on domain knowledge and deep learning
CN116778362B (en) * 2023-06-21 2024-03-05 广东电网有限责任公司汕尾供电局 Identification method of power pole acceptance components based on domain knowledge and deep learning

Also Published As

Publication number Publication date
EP3754544A1 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
EP3438901A1 (en) Test drive scenario database system for realistic virtual test drive scenarios
DE102018215055A1 (en) Method for determining a lane change indication of a vehicle, a computer-readable storage medium and a vehicle
DE102019208735B4 (en) Method for operating a driver assistance system for a vehicle and a driver assistance system for a vehicle
DE102011107458A1 (en) Method for evaluating an object recognition device of a motor vehicle
EP3292510A1 (en) Method and apparatus for detecting and assessing road reflections
DE102017208718A1 (en) Method of detecting objects in an image of a camera
DE102021203020A1 (en) GENERATIVE ADVERSARIAL NETWORK MODELS FOR DETECTING SMALL STREET OBJECTS
DE112020002874T5 (en) Scene attribute annotation of complex street typographies
EP4121897B1 (en) Method and systems for providing synthetic labelled training data sets and use of same
DE102022214330A1 (en) Method for generating at least one ground truth from a bird's eye view
DE112022003908T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, SERVER DEVICE, VEHICLE DEVICE AND INFORMATION PROCESSING PROGRAM
DE102019208864A1 (en) Detection system, working procedures and training procedures
EP3876157B1 (en) Computer-implemented method and system for generating synthetic sensor data and training method
DE102021131179A1 (en) Shape prioritized image classification using deep convolution meshes
DE102021206190A1 (en) Procedure for recognizing objects of searched types in camera images
DE102021104077B3 (en) Method, system and computer program product for the automated generation of traffic data
EP3659113A1 (en) Detection system, working method and training method for generating a 3d model with reference data
DE102023204603A1 (en) Method for creating a reference map representation
DE102018221625A1 (en) Transfer of additional information between camera systems
DE102013102528A1 (en) Method for determining a mounting position of an interior sensor system in a vehicle
DE102019102423A1 (en) Method for live annotation of sensor data
DE102023104342A1 (en) Apparatus and method for modifying ground truth to check the accuracy of a machine learning model
DE102022110233A1 (en) COMPUTER-IMPLEMENTED METHOD FOR SELECTING TRAINING DATA SETS FROM A VARIETY OF DATA SETS
EP3384469A2 (en) Method for reproducing a simulated environment
DE102024208434A1 (en) Method for automatically generating annotations for sensor data to provide a dataset for machine learning.

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final