Clemens RabeAbstractDriver assistance systems of the
future, that will support the driver in complex driving situations,
require a thorough understanding of the car's environment. This includes
not only the comprehension of the infrastructure, but also the precise
detection and measurement of other moving traffic participants. In this
thesis, a novel principle is presented and investigated in detail, that
allows the reconstruction of the 3d motion field from the image sequence
obtained by a stereo camera system. Given correspondences of stereo
measurements over time, this principle estimates the 3d position and the
3d motion vector of selected points using Kalman Filters, resulting in a
real-time estimation of the observed motion field. Since the state
vector of the Kalman Filter consists of six elements, this principle is
called 6d-Vision. To estimate the absolute motion field, the ego-motion
of the moving observer must be known precisely. Since cars are usually
not equipped with high-end inertial sensors, a novel algorithm to
estimate the ego-motion from the image sequence is presented. Based on a
Kalman Filter, it is able to support even complex vehicle models, and
takes advantage of all available data, namely the previously estimated
motion field and eventually available inertial sensors. As the 6d-Vision
principle is not restricted to particular algorithms to obtain the
image measurements, various optical flow and stereo algorithms are
evaluated. In particular, a novel dense stereo algorithm is presented,
that gives excellent precision results and runs at real-time. In
addition, two novel scene flow algorithms are introduced, that measure
the optical flow and stereo information in a combined approach, yielding
more precise and robust results than a separate analysis of the two
information sources. The application of the 6d-Vision principle to
real-world data is illustrated throughout the thesis. As practical
applications usually require an object understanding, rather than a 3d
motion field, a simple, yet efficient algorithm to detect and track
moving objects is presented. This algorithm was successfully implemented
in a demonstrator vehicle, that performs an autonomous braking resp.
steering manoeuvre to avoid collisions with moving pedestrians. ZusammenfassungFahrerassistenzsysteme der Zukunft,
die den Fahrer in kritischen Situationen unterstützen sollen, benötigen
ein umfangreiches Verständnis der Fahrzeugumgebung. Dieses umfasst nicht
nur die Erkennung und Interpretation der Infrastruktur, sondern auch
die Detektion und präzise Vermessung anderer Verkehrsteilnehmer. In
dieser Arbeit wird ein neues Verfahren vorgestellt und ausführlich
untersucht, welches die Rekonstruktion des 3d-Bewegungsfeldes aus
Stereo-Bildsequenzen erlaubt. Auf Basis zeitlicher Korrespondenzen von
Stereo-Messungen wird sowohl die 3d-Position, als auch der
3d-Geschwindigkeitsvektor einzelner Punkte mit Hilfe von Kalman Filtern
geschätzt. Dies erlaubt die Schätzung des beobachteten Bewegungsfeldes
in Echtzeit. Da der geschätzte Zustandsvektor sechs Elemente umfasst,
wurde dieses Verfahren 6d-Vision genannt. Um das absolute Bewegungsfeld
zu schätzen muss die Eigenbewegung des Beobachters bekannt sein. Da
Fahrzeuge in der Regel nicht mit einer hoch-präzisen Intertialsensorik
ausgestattet sind, muss die Eigenbewegung aus der Bildfolge bestimmt
werden. In dieser Arbeit wird dazu ein neuer Algorithmus vorgestellt und
untersucht, der mit Hilfe eines Kalman Filters die Eigenbewegung
schätzt, und sich optimal in den Datenverarbeitungsprozess des 6d-Vision
Verfahrens integriert. Da das 6d-Vision Verfahren nicht auf bestimmte
Bildverarbeitungsalgorithmen beschränkt ist, werden in dieser Arbeit
verschiedene Algorithmen zur Bestimmung des Optischen Flusses und der
Stereo-Korrespondenzen im Hinblick auf Genauigkeit und Robustheit
untersucht. Hierbei wird ein neues dichtes Stereo-Verfahren vorgestellt,
das im Hinblick auf Genauigkeit sehr gute Ergebnisse erzielt und zudem
in Echtzeit läuft. Daneben werden zwei neue Scene-Flow-Algorithmen
vorgestellt, die in einem kombinierten Verfahren den Optischen Fluß und
Stereo-Korrespondenzen bestimmen, und einer getrennten Analyse
hinsichtlich Genauigkeit und Robustheit überlegen sind. Das Verfahren
wurde ausführlich auf der Straße getestet und stellt heute eine wichtige
Informationsgrundlage für verschiedene Anwendungen dar. Beispielhaft
wird in dieser Arbeit auf ein Versuchsfahrzeug eingegangen, das ein
autonomes Brems- bzw. Ausweichmanöver durchführt, um eine drohende
Kollision mit einem Fußgänger zu vermeiden. [Download] [View] [BibTeX] |
Publications > 2011 >