logo NCGeo

Automatic reconstruction of industrial installations using point clouds and images

T. Rabbani, Automatic reconstruction of industrial installations using point clouds and images, 62

Tahir Rabbani Shah

Publications on Geodesy 62, Delft, 2006. 194 pagina's.
ISBN-13: 978 90 6132 297 9. ISBN-10: 90 6132 297 9.


Abstract

Up to date and accurate 3D models of industrial sites are required for different applications like planning, documentation and training. Traditional methods for acquiring as-built information like manual measurements by tape and tacheometry are not only slow and cumbersome but most of the time they also fail to provide the amount of detail required. Many industrial facilities provide a limited personnel access because of the presence of radioactive, toxic or hazardous materials together with an unsafe working environment, which necessitates the use of non-contact measurement methods.

Traditional photogrammetry depends on point or line measurements from which it is very hard to get complete CAD models without extensive manual editing and refinement. Compared to photogrammetry laser scanning provides explicit and dense 3D measurements. There has been a rapid increase in the speed and accuracy of the laser scanners in the last decade, while their costs and sizes have been continuously shrinking. All modeling tools available on the market depend on heavy operator intervention for most of the modeling tasks. Although there are some semi-automatic tools like plane or cylinder growing even there the operator has to start the growing process for each primitive. Furthermore, the fitted surfaces must be manually edited by the operator to convert them to a CAD description.

This thesis presents new methods and techniques which can be used for automatic or efficient semiautomatic 3D modeling of existing industrial installations from point clouds and images. The goal is to use explicit 3D information from the point clouds to automatically detect the objects and structure present in the scene. The detected objects are then used as targets for model based registration, which can be automated by searching for object correspondences. To avoid manual editing the presented techniques use models from a catalogue of commonly found CAD objects as templates for model fitting. In the final fitting phase images are also included to improve the quality of parameter estimation.

Segmentation is a very important step that needs to be carried out as a pre cursor to object recognition and model fitting. We present a method for the segmentation of the point clouds, which avoids over-segmentation while partitioning the input data into mutually disjoint, smoothly connected regions. It uses a criterion based on a combination of surface normal similarity and spatial connectivity, which we call smoothness constraint. As we do not use surface curvature our algorithm is less sensitive to noise. Moreover, there are only a few parameters which can be adjusted to get a desired trade-off between under- and over-segmentation.

Segmentation is followed by a stage of object recognition based on a variation of the Hough transform for automatic plane and cylinder detection in the point clouds. For plane detection the Hough transform is three dimensional. For the cylinder detection the direct application of the Hough transform requires a 5D Hough space, which is quite impractical because of its space and computational complexity. To resolve this problem we present a two-step approach requiring a 2D and 3D Hough space. In the first step we detect strong hypotheses for the cylinder orientation. The second step estimates the remaining three parameters of the cylinder i.e. radius and position.

The problem of fitting models like planes, cylinders, spheres, cones, tori and CSG models to point clouds is very important for data reduction. For the fitting of CSG models this thesis presents three different methods for approximating the orthogonal distance, which are compared based on speed and accuracy.

We also present methods for using modeled objects in individual scans as targets for registration. As the available geometric structure is used, there is no need to place artificial targets. We present two different methods for this purpose called Indirect and Direct method. The Indirect method is a quick way to get approximate values while the Direct method is then used to refine the approximate solution. We also present techniques for automatically finding the corresponding objects for registration of scans. The presented techniques are based on constraint propagation which use the geometric information available from the previously made correspondence decision to filter out the possibilities for future correspondences.

Although point clouds are very important for the automation because of their explicit 3D information, images provide a complementary source of information as they contain well-defined edges of the bounded objects. We present methods for the fitting of CSG models to a combination of point clouds and images. We also present techniques for the specification of geometric constraints between sub-parts of a CSG tree and their inclusion in the model estimation process. A taxonomy of commonly encountered geometric constraints and their mathematical formulation is also given.

We hope that the techniques presented in this thesis will lead to an improvement in efficiency and quality of the models obtained for industrial installations from point clouds and images.


Contents

  • List of Figures  iv
  • List of Tables  vii
  • Introduction  1
  • Segmentation using smoothness constraint  27
  • Object recognition  41
  • Model fitting to point clouds  59
  • Model-based registration  81
  • Automatic correspondence search  103
  • Constrained CSG fitting  119
  • Conclusions  135
  1. Uniform sampling of the orientation space  139
  • Bibliography  153

Samenvatting

Actuele en precieze 3D-modellen van industriële installaties zijn nodig voor een verscheidenheid aan toepassingen zoals planning, documentatie en training. Traditionele methoden voor de inwinning van as-built informatie - bijvoorbeeld met behulp van een meetband en tachymetrie - zijn niet alleen tijdrovend en moeizaam, maar zijn meestal ook niet in staat om de benodigde hoeveelheid detail te leveren. Veel industriële complexen zijn beperkt toegankelijk als gevolg van radioactieve, toxische of anderszins gevaarlijke stoffen. Een onveilige werkomgeving maakt het gebruik van contactloze meetmethoden noodzakelijk.

Traditionele fotogrammetrie is afhankelijk van punt- of lijnmetingen waarmee het erg moeilijk is om complete CAD-modellen te vervaardigen zonder veel handmatig werk. In tegenstelling tot fotogrammetrie levert laserscanning expliciete 3D-metingen met een hoge dichtheid. In de laatste tien jaar zijn de laserscanners aanzienlijk sneller en preciezer geworden, terwijl de kosten en de grootte steeds afnemen. Alle op de markt beschikbare modelleersoftware vraagt veel interactie van een operateur. Wel zijn er enkele semi-automatische hulpmiddelen beschikbaar zoals voor het automatisch 'laten groeien' van vlakken of cilinders, maar zelfs daar moet de operateur het groeiproces voor ieder object starten. Bovendien moeten de gevonden oppervlakken handmatig bewerkt worden om ze te converteren naar een CAD-beschrijving.

Dit proefschrift presenteert nieuwe methoden en technieken die gebruikt kunnen worden voor automatische of efficiënte semi-automatische 3D-modellering van bestaande industriële installaties met behulp van puntenwolken en beelden. Het doel is om de expliciete 3D-informatie van de puntenwolken te gebruiken om automatisch objecten en structuur in de scène te vinden. De gevonden objecten worden vervolgens gebruikt als referentieobjecten voor modelgebaseerde registratie, die geautomatiseerd kan worden door te zoeken naar corresponderende objecten. Om handwerk te vermijden gebruiken de gepresenteerde technieken modellen uit een catalogus met veel voorkomende CAD-objecten als mallen voor modelfitting. In de laatste fase van de fitting worden ook beelden gebruikt om de kwaliteit van de parameterschatting te verbeteren.

Segmentatie is een zeer belangrijke stap die moet worden uitgevoerd als voorbereiding voor objectherkenning en modelfitting. We presenteren een methode voor segmentatie van puntenwolken die oversegmentatie voorkomt, terwijl de invoer wordt gepartitioneerd in niet-overlappende, gladde en samenhangende oppervlakken. Er wordt een criterium gebruikt dat gebaseerd is op een combinatie van overeenkomst in oppervlaktenormalen en ruimtelijke verbondenheid, wat we de gladheidsvoorwaarde noemen. Omdat we geen oppervlaktekromming gebruiken is ons algoritme minder gevoelig voor ruis. Verder zijn er maar een paar parameters die aangepast kunnen worden om een balans tussen onder- en oversegmentatie te vinden.

Segmentatie wordt gevolgd door een fase van objectherkenning die gebaseerd is op een vorm van Hough-transformatie voor automatische vlak- en cilinderdetectie in de puntenwolken. Voor vlakdetectie is de Hough-transformatie driedimensionaal. Voor de cilinderdetectie zou directe toepassing van de Hough-transformatie een 5D Hough-ruimte nodig hebben wat zeer onpraktisch is vanwege de hoeveelheid benodigd computergeheugen en rekencapaciteit. Om dit op te lossen presenteren we een benadering in twee stappen die een 2D en een 3D Hough-ruimte nodig heeft. In de eerste stap detecteren we sterke hypothesen voor de oriëntatie van de cilinder. De tweede stap schat de overige drie parameters van de cilinder, namelijk de straal en de positie.

Het fitten van vlakken, cilinders, bollen, tori en CSG-modellen is erg belangrijk voor datareductie. Voor het fitten van CSG-modellen presenteert dit proefschrift drie verschillende methoden voor het benaderen van de loodrechte afstand. Deze methoden worden vergeleken op basis van snelheid en precisie.

Ook presenteren we methoden voor de registratie van laserscans die gebruik maken van gemodelleerde objecten in de individuele scans. Omdat de beschikbare geometrische structuur wordt gebruikt, is het niet nodig om meetmerken te plaatsen. We presenteren hiervoor twee methoden, de indirecte en de directe genoemd. De indirecte methode is een snelle manier om benaderde waarden te verkrijgen, terwijl de directe methode vervolgens wordt gebruikt om de benaderde oplossing te verfijnen. Ook presenteren we technieken voor het automatisch vinden van corresponderende objecten voor het registreren van scans. De gepresenteerde technieken zijn gebaseerd op voorwaarde-voortplanting en gebruiken de geometrische informatie, die beschikbaar is uit eerder vastgestelde correspondenties, om zo de mogelijkheden voor nieuwe correspondenties uit te filteren.

Hoewel puntenwolken belangrijk zijn voor de automatisering vanwege hun expliciete 3D informatie, bieden beelden een aanvullende informatiebron omdat deze goed gedefinieerde randen van de objecten bevatten. We presenteren methoden voor fitten van CSG-modellen op een combinatie van puntenwolken en beelden. Ook presenteren we technieken voor de specificatie van geometrische voorwaarden tussen onderdelen van een CSG-boom en het gebruik van deze voorwaarden in het schattingsproces. Een classificatie van veel voorkomende geometrische voorwaarden en hun wiskundige formulering wordt eveneens gegeven.

We hopen dat de technieken, die in dit proefschrift gepresenteerd worden, zullen leiden tot een verbetering van de efficiëntie van de reconstructie en de kwaliteit van uit puntenwolken en beelden verkregen modellen van industriële installaties.

Ga naar boven
JSN Boot template designed by JoomlaShine.com