Digitalisierung : OpenBIM mit Fotogrammetrie und KI

Im 19. Jahrhundert zogen die Goldgräber aus, um Schätze in den Bergen zu finden. Heute sind die Berge den schieren Massen an Informationen gewichen und die nutzbaren Daten das neue Gold. Um Daten als Informationen bzw. Wissen zugänglich zu machen, ist jedoch zuerst eine umfangreiche Aufbereitung, Standardisierung und Anreicherung notwendig. Anschließend müssen die aufbereiteten Informationen an den entsprechenden Stellen im Planungs-, Bau- oder Betriebsprozess im passenden Format eingebracht werden und können dann als Grundlage für Entscheidungen dienen.

Dieser Ansatz bildet die Grundlage für die Erarbeitung des Workflows zur teilautomatisierten Bestandserfassung, nachfolgend am Beispiel einer Brücke dargelegt.

Grundlage unseres Workflows für die teilautomatisierte Bestandserfassung bilden Fotoaufnahmen. Fotos haben einen sehr hohen Informationsgehalt – gerade auf Grund dessen sind sie aber nur schwer verwertbar. Daher müssen sie zumindest in einen räumlichen oder zeitlichen Kontext gesetzt werden, um einen Mehrwert daraus generieren zu können.

Durch die weite Verbreitung von Handykameras und optischen Systemen entstand eine Masse an Daten, die manuell kaum mehr bewältigbar ist. Diese Masse ist es jedoch auch, die den Fortschritt der Forschung im Bereich Computer Vision - also dem Auswerten visueller Daten mittels geeigneter Algorithmen - stark vorangetrieben hat. Durch das Aufkommen neuronaler Netze und das Trainieren dieser Modelle anhand umfangreicher Bilddatensätze können heute hochkomplexe Informationen aus Bildern abgeleitet werden. In der Baubranche finden solche neuronalen Netze bereits Anwendung, beispielsweise bei der automatisierten Riss- und Schadenserkennung.

Räumliche Daten wie Punktwolken oder Gebäudemodelle sind nicht weniger komplex, allerdings lassen sich Informationen mit Hilfe von geeigneter Software oft deutlich intuitiver herauslesen als aus Fotos. Die Konzepte von Distanz, relativer Position und Größe sind auf 3D Daten gleich anwendbar wie im alltäglichen Leben und daher für den Menschen mit nur einem Blick extrahierbar. Außerdem lassen sich weitere Problemstellungen anhand eines 3D Modelles bearbeiten, die mit 2D Daten deutlich aufwendiger umzusetzen sind – Sichtbarkeits-, Sonnenstand- oder Kollisionsanalysen beispielsweise.

Die Informationen aus einem räumlichen Datensatz lassen sich einfach in 2D überführen. Dies geht zwar mit einem Informationsverlust einher - immerhin werden die Daten um eine Dimension minimiert -, allerdings können so weitere Auswertungsverfahren auf die Daten angewendet werden, um die spezifischen Eigenschaften jeweils optimal zu nutzen. Im einfachsten Fall ist bereits das Erstellen eines Screenshots solch eine Umwandlung von 3D zu 2D.

Der Übergang von zweidimensionalen, visuellen Daten zur räumlichen, dreidimensionalen Repräsentation hingegen ist nicht ganz so einfach. Die Information, die beim Dimensionsverlust verloren gegangen ist, muss nun wieder rekonstruiert werden. Bei Bildern ist es die Information der Tiefe, die wiederhergestellt werden muss – also wie weit ein abgebildeter Punkt vom Aufnahmezentrum entfernt ist.

Unter Fotogrammetrie versteht man eine Vielzahl an Methoden und Algorithmen, um zweidimensionale Bilder so zu verknüpfen, dass daraus räumliche, dreidimensionale Daten abgeleitet werden können. Ähnlich wie das Gehirn die Bilder beider Augen kombiniert, um eine Tiefenwahrnehmung zu generieren, so können auch digitale Fotoaufnahmen eines Objektes so zueinander in Relation gestellt werden, dass zusätzliche geometrische Informationen wie Ausrichtung oder Form daraus gewonnen werden können. Dies geschieht über die Erkennung von markanten Punkten in jeder Aufnahme, gefolgt von einem Matching dieser Punkte innerhalb der Bilder – es wird also bestimmt, welche Fotos die gleichen Teilbereiche eines Objektes darstellen, und inwieweit sich die Fotos überlagern.

Wenn genügend Fotoaufnahmen zur Verfügung stehen, so kann ein dreidimensionales Modell erzeugt werden – man spricht von einer 3D Rekonstruktion.

Output der 3D Rekonstruktion ist für gewöhnlich eine dichte Punktwolke. Sind die Fotos georeferenziert, so ist es auch die Punktwolke und alle darin abgebildeten Objekte. Das bedeutet auch, dass die Punktwolke korrekt skaliert ist und Messungen möglich sind. Die Genauigkeit der Messungen unterliegt natürlich der Genauigkeit der Punktwolke selbst. Eine nachgelagerte Georeferenzierung ist ebenfalls möglich, benötigt aber zusätzliche Passpunktaufnahmen vor Ort oder - bei geringer Genauigkeitsanforderung - manuelle Ausmessung der Punkte aus beispielsweise einem Geoinformationssystem (GIS).

Laserscanner mit integrierter Kamera verbinden bereits die Messungen eines zweidimensionalen Bildes mit einer dreidimensionalen Raummessung. Denn im Gegensatz zur reinen Fotoaufnahmen wird beim Laserscanner eine zusätzliche Distanzmessung durchgeführt, welche den Zusammenhang zwischen 2D Foto und 3D Raum eindeutig bestimmt. Mit dem Aufkommen günstigerer Laserscanner und Handlaserscanner verbessert sich die Datengrundlage stetig und die Anwendungsfälle für Punktwolkendaten wachsen weiter. So lassen sich aus bereits sehr dünnen Punktwolken Meshes generieren, die als eine erste Annäherung eines dreidimensionalen Objektes dienen können. Jedenfalls ist sowohl bei der Aufnahme mit Laserscannern als auch bei der Generierung einer Punktwolke anhand von Bildern die Beziehung zwischen Fotos und Punkten bekannt. Diese Beziehung kann genutzt werden, um Auswertungen im jeweils dafür geeigneten Datenset durchzuführen und anschließend die gewonnene Information auf das andere Datenset zu übertragen. Eine Möglichkeit hierfür stellt die Erfassung einzelner Objekte (hier am Beispiel Schilder) und deren Metadaten da, die im nächsten Abschnitt detaillierter beschrieben ist.

Viele der bisher genannten Prozesse zur Datenauswertung oder Datengenerierung wurden im aktuellen Hype um künstliche Intelligenz und Machine Learning von der Forschung aufgegriffen und weiterentwickelt. So gibt es mittlerweile Machine Learning Modelle, die mit hoher Zuverlässigkeit markante Punkte in Bildern detektieren oder zwischen Bildern Verknüpfungen herstellen. Eingebettet in den Rekonstruktionsprozess liefern diese Modelle teils bessere Ergebnisse und verringern die Anzahl an benötigten Fotos zur Rekonstruktion. Besonders beeindruckend sind auch sogenannte neuronale Strahlungsfelder (Neural Radiance Fields, NeRFs). Dabei handelt es sich um neuronale Netzwerke, die ebenfalls anhand von Bildern komplexe dreidimensionale Szenen rekonstruieren können. Der Vorgang unterscheidet sich von der klassischen Fotogrammetrie dadurch, dass zwischen den rekonstruierten Datenpunkten automatisch synthetische Daten generiert werden. Der Output ist daher keine Punktwolke, sondern eine fotorealistische 3D Ansichten.

Wir haben uns viele dieser Methoden angesehen und in einer Arbeitsgruppe aus ExpertInnen diverser Fachrichtungen einen Workflow zur teilautomatisierten Modellerstellung am Beispiel einer Brücke erarbeitet.

Die openBIM Bestandserfassung gewinnt immer mehr an Bedeutung, da einerseits die Generierung von Modellen rein aus Neu- und Sanierungsprojekt aufgrund der großen Zahl von Objekten Jahrzehnte in Anspruch nehmen würde und andererseits neue Prozesse und Anwendungen der Betriebsführung erst bei einem weitgehend digitalisierten Bestand sinnvoll einsetzbar sind.

Das modellbasierte Arbeiten bietet z.B. für die Brückeninspektion als Unterstützung bei Instandhaltungsplanung eine Verbesserung der Dokumentation und Entscheidungsgrundlage. Derzeit ist die Modellerstellung der Flaschenhals des Prozesses, da die manuelle Modellierung zeitaufwendig ist. Eine teils unvollständige Dokumentation des Bestands kommt erschwerend hinzu. Das unwegsame Gelände im Brückennahbereich verhindert zudem oftmals die vollständige Erfassung der Brücke. An diesen Punkten setzt der entwickelte Workflow an.

Grundlage für die Brückenbestandserfassung sind Bilder aus einer Drohnenbefliegung. Die Befliegung hat den Vorteil, dass das Bestandsobjekt aus allen Blickrichtungen aufgenommen werden und so eine Punktwolke in ausreichend hohem Detailgrad aus allen Blickrichtungen generiert werden kann. Im städtischen Gebiet oder wenn eine Befliegung schwer möglich ist, kann auf konventionelle Fotos oder terrestrisches Laserscanning (TLS) zurückgegriffen werden. Um eine hohe Genauigkeit in der Positionierung - besonders der Höhenkoordinate - zu erreichen, kann ein zusätzliches RTK Modul während der Befliegung zum Einsatz kommen.

Diese Fotos dienen direkt als Input für die Berechnung einer georeferenzierten Punktwolke, aus der wiederum ein georeferenziertes Mesh berechnet wird. In einem nachgelagerten Prozess wird das generierte Mesh an die Anforderungen der Einsatzszenarien angepasst. Hierbei wird unter anderem das Aufnahmeobjekt freigestellt und das Mesh entsprechend der Bauteile aufgetrennt und gemäß IFC-Spezifikation klassifiziert. Weiters wird die Datengröße reduziert ohne wesentliche Geometrieinformationen zu verlieren sowie das mit Informationen und Links angereicherte Modell als weiter verarbeitbare IFC-Datei ausgegeben. Diese Vorgehensweise erlaubt es mit geringerem Zeitaufwand ein Objekt geometrisch und alphanumerisch in ein BIM-Modell für die Betriebsführung zu überführen.

Um den Detailgrad des Modelles zu erhöhen und einzelne Elemente direkt als solche zu modellieren, kommen neuronale Netze zum Einsatz. Diese Netze sollen vordefinierte, für die Bestandserfassung relevante Objekte, z.B. Masten oder Geländer auf den Fotos erkennen, und farblich markieren – es wird also eine Instanz-Segmentierung durchgeführt. Es wäre auch möglich, die Segmentierung direkt auf die Punktwolke selbst anzuwenden. Da aber kaum öffentlich zugängliche Punktwolkendaten für den spezifischen Anwendungsfall der Baubestandserfassung zur Verfügung stehen und diese Daten erst aufwendig synthetisch generiert werden müssten, erweist sich das Antrainieren eines solchen Modelles als deutlich umfangreicher für Punktwolkendaten. Bei der Segmentierung der Fotos ist der vorhandene Datenbestand hingegen größer und das Labeln der Daten ist mit gängiger Software durchführbar.

Für unseren Anwendungsfall haben wir uns in einem ersten Schritt auf die Erkennung und Segmentierung von Schildern konzentriert, zumal diese wertvollen Informationen zum Aufnahmeobjekt tragen.
Da durch die Fotogrammetrie der Zusammenhang zwischen Punktwolke und Bildern bekannt ist, lassen sich die im Foto erkannten Objekte direkt im Raum verorten. Wenn also die Position eines Objektes im Foto bekannt ist, dann ist auch automatisch die Position dieses Elementes im Raum bekannt. Intuitiv betrachtet kommt es zu einer Projektion vom Bild auf die Punktwolke.
Sobald die Position des Elementes innerhalb der Punktwolke bekannt ist, können die bereits erwähnten räumlichen Analyseverfahren angewendet werden, um weitere Informationen zur Anreicherung des IFC Modelles zu gewinnen. Abgesehen von der Anzahl an Elementen und deren absoluten Positionen sind das beispielsweise die Größe, Ausrichtung oder relative Positionen zueinander. Für den Anwendungsfall der Schilderkennung wurde zudem der Text auf den Schildern extrahiert und über Open Source Bibliotheken zum Lesen und Schreiben des IFC-Datenformates direkt ins Modell geschrieben.

Nach der Erstellung und Anreicherung des Modells erfolgt die Übertragung in ein IFC fähiges Geoinformationssystem (GIS). Dadurch dient das Modell als Ausgangspunkt für weitere Prozesse und die Verknüpfung der Dokumentation.