ADAS and automous systems are getting more and more complex and need more information about the environment. For this additional sensors are integrated to get 360° surround view and information about other objects in the scene. To validate the information additional reference data sources (LIDAR, Radar, ..) is needed to verify the results of ADAS. Philosys Label Editor now supports the annotation of reference data sources and displays of all information available in the scene. The annotated data can be used for testing ADAS.
New features and improvements
- Support for 2D-annotation with 3D objects in raw views
- Point cloud support
- Time reference
- Manipulation of labels and extrapolation
- Object detection interface
Labeling in raw views
Since LEV4 the main development effort goes into improving Video3D provider for 3D-Labeling. Up to now it was either possible to annotate in pure 2D or pure 3D view. With the introduction of raw views within Video3D provider it is now possible to label in both 3D and on 2D images within the same project. 3D uses world coordinates and 2D uses pixel coordinates as before. The only restriction is the use of 3D object definitions for 2D image labeling. This means, that the typical 2D objects used for 2D labeling before, have to be replaced by the available 3D objects. This shouldn't be an issue, as the 3D polygon can replace most of the 2D label shapes.
Doing 2D image labeling with Video3D provider opens the possibility to use both window management for improved GUI and object detection for more efficient labeling.
Point cloud support
The support of point cloud annotation has been improved to allow a more flexible visualization and better annotation.
- Concurrent display of multiple point clouds
- Support of additional point cloud formats
- GUI to change visualization of point clouds
- Stationary point clouds with world coordinates
- Clone value for 3D objects
The results of splitting point clouds can now be displayed concurrently. They can have different formats and visualization parameters. A simple GUI allows modification of visualization parameters. This all helps to annotate for different functions within one project.
Stationary point clouds allow annotation of stationary objects with the scene. The stationary point cloud has to be generated in preprocessing by using SLAM algorithm. It has to be provided at the beginning of the scene and is interpreted depending on odometry data provided for each frame. This allows to annotate stationary objects only once per scene and saves a lot of time compared to ego-relative labeling in each frame.
Clone value type of objects now allows a more flexible definition of stationary objects compared to pure stationary objects.
Time reference
Now any data stream can be used as time reference. This also allows annotation of scene data without any video stream.
Up to now it was only possible to use ADTF chunk time as reference. Now it is also possible to use ADTF stream time and store it into label file.
Labelmanipulation, Profiles and Extrapolation
- copy clone value labels with multiple selection
- add polygon point with lasso mode
- restrict display of specific label objects to some views only
- display profiles for specific objects and overlays
- copy and linear extrapolation for 3D objects
Especially copy/duplication of clone value objects reduce annotation time. Objects with similar shape can be duplicated easily. Profiles help to organize annotation data for multiple functions within one label project. The extrapolators help to track moving 3D objects within top view.
Object detection interface
Object detection interface has been extended for supporting advanced features, like support of multiple objects with one object detector and/or specific object detectors for different objects. The new interface also allows the use of different reference point clouds be labeled concurrently. The support of dynamic context menu entries provided by object detectors allow a very high flexibility regarding available operations for label objects on point clouds.
High Resolution
The screen shot above shows different types of objects created by using a generic object detector for point cloud data. The procedure is to point into the point cloud where an object is expected and select the appropriate object type from context menu. If an object is detected the corresponding label is returned and can then be processed further with the help of of other operation provided through the context menu.
Object detectors can also be used within raw images.
High Resolution
The screen shot shows a scene where the track borders were annotated with an object detector, just with a few mouse clicks.
A callback into the object detector during a frame change allows preprocessing of image data similar to preprocessing normally done with ADTF filters.
Miscellaneous changes
Due to the complexity of ADTF a crash of LE during annotation cannot always be prevented. LE already supported auto-save to prevent complete data loss. But due to increasing amount of data the save took very long and therefor most users didn't use this feature. At least for projects using object interpolation, the new auto-save will reduce save time drastically, as only key frames will be stored in the auto-save file. This makes the use of auto-save more attractive and in the seldom cases of a crash, will help to recover already labeled data.
External data used during labeling was already stored into the label file to reduce time consuming scans of the DAT file. Now also info tags are stored into label file allowing for a faster LE start.
Philosys is happy to integrate customer-specific and financed features on request by our engineering team.
Support Subscriptions
The Label Editor Basic support subscription contains all bug fixes, minor software updates and provision for installation packages starting from ADTF version 2.9.
The Label Editor Pro support subscription contains all services of the Basic support subscription and all upgrades to new versions of Label Editor Basic and all purchased options.
The subscription must connect seamless to the first year of use, or to the previous subscription. The subscription is valid for one year and must be ordered for all bought licenses within the company.
The Philosys Label Editor is used during development and test of diverse Advanced Driver Assistance Systems (ADAS) for ground-truth-data collection. Various objects are marked and tagged with detailed traits. All kinds of vehicles, lane boundaries, traffic signs as well as pedestrians and wildlife are registered and verified by the assistance system for use.
The ADTF based Philosys Label Editor is available as of the beginning of 2011. Its many features facilitate the annotation of video scenes. This results in a significant cost reduction for the annotation process.
Normal 0 21 false false false DE X-NONE X-NONE
Ende 2012 wird der neue Philosys Label Editor Version 2 erscheinen. Dieser enthält eine Vielzahl von neuen Features, die nicht nur den Prozess der Annotation beschleunigen, sondern auch neue Anwendungsgebiete erschließen.
- Integration externer Referenzdaten
- Interpolation
- Geometrisches Objekt Polygon
- Projektmodus
Die folgenden Kapitel geben eine Übersicht über die Funktionalität und Anwendung der neuen Funktionen.
Integration externer Referenzdaten
Zur Validierung komplexerer Assistenzsysteme werden neben der reinen Position des Objektes auf dem Videobild, und einfachen durch den Annotator aus dem Videobild zu bestimmender Attributen, oft auch Daten benötigt, die aus anderen Quellen als dem Videobild kommen. Dies sind neben bestimmten CAN-Daten für das eigene Fahrzeug, oft auch Daten von Sensoren, die nur in den Fahrzeugen für die Aufzeichnung verbaut werden. Dies können unter anderem z. B. objektbildende Laserscanner sein. Diese erkennen wie das zu testende Assistenzsystem ebenfalls Objekte und können eine Reihe von nützlichen Daten, wie die Entfernung zum jeweiligen Objekt, relative Geschwindigkeit, usw., bereitstellen.
Interessant sind hier die Daten die der Annotator nicht so einfach selbst bestimmen kann, wie die Entfernung zum Objekt und dessen relative Geschwindigkeit. Anstatt diese Referenzdaten alle manuell von der Laserscanner Software in die Annotationsdaten zu übernehmen, bietet es sich hier an diese Aufgabe direkt mit Hilfe des Labeleditors zu erledigen.
Notwenig ist dazu dass die Sensordaten zeitsynchron zusammen mit den Videodaten aufgezeichnet werden. Die Umwandlung der Sensordaten in das Format das der Philosys Labeleditor versteht, erfolgt dann mit Hilfe eines neu zu erstellenden Decoder-Filters, der in Filtergraph, der das Video für den Labeleditor aufbereitet, integriert wird. Die Schnittstelle des Labeleditors für externe Referenzdaten ist XML. Diese Daten sind im Prinzip genauso aufgebaut wie das Ergebnis der Annotation, die Labeldaten. Sie müssen auch wie die Labeldaten in der Strukturdatei beschrieben werden.
Wurde die Struktur der externen Referenzdaten beschrieben, und von dem Filter die gewünschten Referenzdaten in dieses Format konvertiert, dann kann der Philosys Labeleditor diese Daten im Detail im ObjectView darstellen. Wenn in den Daten auch geometrische Objekte vorhanden sind, dann werden diese auch im VideoView angezeigt. Es gibt dann einmal die Möglichkeit bestimmte in der Strukturdefinition beschriebene Datenelemente einfach in ein gerade aktives Annotationsobjekt für das aktuelle Frame zu übernehmen. Oder aber man kann einen Link zwischen Referenzobjekt und Annotationsobjekt herstellen, womit dann die entsprechenden Datenelemente für alle Frames in denen das Referenzobjekt und das Annotationsobjekt existieren, übernommen werden. Dies reduziert den Aufwand für die Übernahme erheblich. Das Feature funktioniert auch zusammen mit der Interpolation. Existieren Referenzdaten zu einem interpolierten Frame so werden die Referenzdaten verwendet, so dass die Genauigkeit der Referenzdaten erhalten bleibt.
Dieses neue Feature ist der Einstig in die 3D-Annotation für Videodaten mit dem Philosys Labeleditor. Dabei kann so wie bisher das jeweilige Objekt vom Annotator auf dem Bild markiert, zusätzlich können aber noch die Entfernung und andere relevante Daten mit Hilfe der Referenzdaten automatisch gesetzt werden.
Durch die offene Schnittstelle kann der Kunde den nötigen Filter für die Wandlung der Referenzdaten in XML selbst implementieren. Er kann aber auch die Erfahrung von Philosys nutzen und den Decoder-Filter von Philosys erstellen lassen.
Interpolation
Das Annotieren ist ein zeitaufwendiger Prozess. Der Zeitaufwand pro Videominute kann je nach Komplexität mehr als das Hundertfache der Videolaufzeit betragen. Durch das Feature vorhandene Daten jeweils in das nächste Bild zu übernehmen, und die Position geometrischer Objekte dabei auch noch zu Extrapolieren, beschleunigt schon der bisherige Philosys Label Editor das Annotieren gegenüber herkömmlichen Verfahren erheblich.
Durch das neue Feature Interpolation wird die Annotationszeit jetzt in Fällen, wo Objekte sich über viele Frames hinweg kaum in ihrer Position verändern, nochmal deutlich verkürzt. Man markiert wie gewohnt am Anfang der Sichtbarkeit das Objekt auf dem Videobild mit einem beliebigen geometrischen Objekt, und setzt dieses über das per rechten Mausklick erscheinende Kontextmenü als Startbild für die Interpolation. Dann geht man zu dem Bild, an dem man das Objekt normalerweise zuletzt markieren würde, markiert dieses und setzt dieses als Endbild für die Interpolation. Jetzt wird für alle Bilder zwischen Start- und Endbild das geometrische Objekt interpoliert. Die anderen Attribute werden automatisch vom Zustand im Startbild übernommen. Gibt es im interpolierten Bereich eine Abweichung, so kann man an der entsprechenden Position einfach durch anklicken und Repositionierung des interpolierten geometrischen Objektes einen neuen Stützpunkt erzeugen. Die Interpolation wird dann automatisch vor und hinter dem Stützpunkt neu berechnet. Idealerweise setzt man einen neuen Stützpunkt dort wo die Abweichung am größten ist. In vielen Fällen reichen dann wenige Stützpunkte für eine hinreichend genaue Übereinstimmung aus.
Derzeit wird linear interpoliert, das kann aber erweitert werden. Denkbar ist auch eine zukünftige Erweiterung mit einem Tracker.
Als Nebeneffekt reduziert sich auch der Hauptspeicherbedarf bei Szenen mit langer Objektsichtbarkeit deutlich. Natürlich werden zur Gewährleistung der Kompatibilität in der Toolkette wie bisher die Daten für alle Bilder geschrieben.
Geometrisches Objekt Polygon
Um auch unregelmäßige Objekte effizient markieren zu können, wird der Philosys Label Editor um das neue geometrische Objekt Polygon erweitert. Das Polygon wird wie die anderen geometrischen Objekte am einfachsten mit der Maus erstellt. Es gibt dabei die Möglichkeit sowohl einen offenen Linienzug oder ein geschlossenes Polygon zu erzeugen. Der Typ kann auch nachträglich geändert werden.
Wie gewohnt kann man das Polygon über das mit der rechten Maustaste erscheinende Kontextmenü in der in der Struktur-XML vordefinierten Form an der Mausposition erzeugen. Danach kann man durch Neupositionierung der Maus und der linken Maustaste weitere Linien an ein offenes Polygon anhängen. Man kann auf Linien weitere Eckpunkte einfügen und natürlich Punkte, Linien und das gesamte Polygon verschieben. Natürlich funktioniert mit dem Polygon auch die hilfreiche Extrapolation beim automatischen Übertrag von einem Bild zum Nächsten.
Mit dem Polygon kann man nicht nur unregelmäßige Objekte markieren, sondern mit seiner offenen Form auch als Linienzug nutzen. Damit ist es z. B. auch möglich Spuren genauer und einfacher zu markieren.
Projektmodus
Der Projektmodus erlaubt es die für die Annotation nötigen Dateien mit einem Befehl zu laden. Dazu packt man den Filtergraph, die Strukturdatei, die DAT-Datei und die Annotationsdatei in ein Verzeichnis. Die Generierung des Inhalts kann dann durch ein entsprechendes Szenenmanagement-system geschehen.
Damit ist es jetzt einfach möglich ohne komplizierte Namenstransformationen mit mehreren Kameras aufgezeichnete Szenen für verschiedene Projekte individuell zu annotieren. Zu dem erleichtert es die Arbeit der Annotatoren und vermeidet fehlerhafte Namen beim Abspeichern der Daten.
Der Philosys Label Editor wird bei der Entwicklung unterschiedlichster Assistenzsysteme zur Gewinnung von Ground-Truth-Daten eingesetzt. Dabei werden die verschiedensten Objekte markiert und mit detaillierten Attributen versehen. Angefangen von Fahrzeugen aller Art, Fahrbahnbegrenzungen, Verkehrszeichen, bis hin zu Fußgängern und Wildtieren. Die erfassten Daten werden anschließend zur Verifizierung der von Assistenzsystemen erkannten Objekte verwendet.
