logo NCGeo

Knowledge-based interpretation of aerial images for updating of road maps

Marlies de Gunst, Knowledge-based interpretation of aerial images for updating of road maps, 44

Marlies de Gunst

Publications on Geodesy 44, Delft, 1996. 192 pagina's.
ISBN-13: 978 90 6132 259 7. ISBN-10: 90 6132 259 6.


Summary

In modem map production a shift took place from analogue maps to maps in digital format, stored in Geographic Information Systems (GIS). Because of the advantages of GIS, this development caused a wider use of topographic data and therefore a larger demand. To be effective, GIS depends on accurate and up-to-date input data. The major part of this data is acquired from aerial photographs and satellite images. However, the photogrammetric processing of the data forms the bottleneck in the geo-information supply. Its present form, outlining manually every object in the photograph, is labour-intensive and time-consuming. Therefore, automation of the acquisition of topographic information from aerial images is highly desirable.

Considering the current state-of-the-art of automation of photogrammetric processing, the conclusion can be drawn that tasks involving interpretation capabilities of human operators are very difficult to solve by computer. A large number of publications deals with the problem of interpretation of aerial images in general and extraction of roads in particular, but results are not suitable for application in practice. An important reason for disappointing results is the complex contents of aerial images. It has been shown that none of the image processing operators are perfect and that we have to select useful image processing operators and combine them into effective image analysis processes. Even though maps are recognized to be a quite valuable knowledge source for interpretation, they are hardly used in previous work.

The science of computer vision is confronted with similar problems when trying to automate interpretation tasks. Knowledge-based concepts have shown to be most promising for these tasks. The design philosophy is to make the involved object properties more clear by organizing a priori knowledge into models or knowledge bases for each object class and to separate this knowledge from general problem-solving computation. This thesis focuses on the potential of knowledge-based concepts for updating road maps by interpretation of aerial images. The aim is to design and evaluate an interpretation strategy based on a knowledge base, which reflects the complex contents of aerial images.

In the designed interpretation strategy bottom-up processing (segmentation, object recognition) is integrated with top-down reasoning (hypothesis generation, inconsistency detection). Outdated or incomplete road maps are utilized to initiate the search for new parts of the road network in up-to-date aerial images. Hypotheses are generated for detection of changes a road network may undergo and for the presence of new roads that appear in the context of the changed parts. Recognized related parts on their turn generate hypotheses for further search based upon spatially related objects. Thus a chain of successive search actions is formed. This process is called contextual reasoning. Each search action activates it s own image processing technique and values for its parameters, especially suitable for change detection or segmentation of a specific type of road.

They operate on a restricted region of interest in the grey-value domain. This strategy is called goal-directed segmentation. By generation of hypotheses, the combination of several image processing techniques is realized. A priori defined properties of the searched type of road in the knowledge base are used for testing hypotheses and result in object recognition. Since errors are inevitable in image analysis, inconsistencies need to be detected and solved. For this purpose constraints in the knowledge base are defined for the presence of objects in relation to the presence of other objects. If the object is not found, alternative hypotheses are generated, resulting in resegmentation.

The contents of the knowledge base plays an important role in the performance of the interpretation strategy. Objects and their relationships are the basic primitives, represented in the knowledge base by frames. Object definitions are used for the task of object recognition in the interpretation strategy. Object relationships are used for hypotheses generation, goal-directed segmentation and inconsistency detection. The question is, which parts of the road network should be defined as objects and which properties should be used to build a road model. The complex contents of aerial images requires recognition of meaningful parts of the road network instead of linear structures. The standards for road construction can be used to define properties of specialized road types.

By means of a case study the concepts are concretized for a certain updating situation and it is tested if our research objectives are met. The case is considered in which the outdated map only contains a motorway and that connected link roads present in aerial photographs are newly constructed. For this case experiments on nine different scanned aerial photographs are done. This imagery originates from the photogrammetric practice of the Survey Department of Rijkswaterstaat. They were divided into a learning and a test set. Experiments on images at a resolution of 0.4 and 1.6 m. are done in order to investigate the influence of resolution. The effect of incorporation of knowledge from the standards for road construction is tested by using two different road models in the knowledge base. One defines general parts of the road network as objects, e.g. road elements and junction, and includes their general properties. The other defines specific objects like 2-,3- or 4-lane carriageways and fly-overs with properties based on the standards for road construction. The knowledge base contains temporal and spatial relationships, which activate segmentation techniques. No special attention is given in the scope of this thesis to development of image processing techniques. The used segmentation techniques are based on evaluation of the grey-value profile perpendicular to the road. The procedure for detection of junctions yields an original contribution. Standards for road construction are also used to set parameters and their values are represented explicitly in the knowledge base.

The results of the case study show, that for rather simple configurations, detection and classification are good for both used road network models, but for more complex configurations or worse road appearance, the specialized model gives better results than the generalized model. The reason is that restriction of the search space and of constraints for recognition realized by incorporation of the standards for road construction reduce both the number of omission and commission errors in detection. Besides, it is very well possible to recognize meaningful objects like main carriageways with various number of lanes and discriminate Y-junction from fly-overs.
Thus, addition of knowledge from the standards and definition of specialized road types contribute to the improvement of the interpretation. Results using images at a resolution of 0.4 m. are worse than at a resolution of 1.6 m. The reason is that object properties and segmentation routines developed at low resolution can only be applied at a limited range of image resolutions' which was exceeded at high resolution.

Main contributions are the way in which outdated or incomplete maps are utilized in the interpretation strategy and the incorporation of standards for road construction in the knowledge base. Although goal-directed segmentation improves results on interpretation, segmentation remains the weakest and most time-consuming part of the interpretation strategy. Special attention should be paid on the development of techniques for goal-directed segmentation. One of the reasons for omission errors is the limited part of the road network covered by the aerial photograph. This problem can be solved by using neighbouring photographs. Inherent to the use of spatial relationships to search new roads is the dependency between successive search actions. Therefore inconsistency detection and alternative hypotheses generation play an important role in the interpretation strategy, but are hard to define. It should be examined which constraints can be defined within models of topographic objects en their relationships.

In conclusion, the designed interpretation strategy and knowledge-based concepts are suitable for extraction of topographic objects, in particular road networks, from aerial images' The concepts are applicable on various resolutions, for example on satellite images, but the knowledge base needs to be tuned carefully for objects at those scales. At this stage of development the concepts are not yet mature enough to be put in practice as a fully automatic process and it is doubtful if this will ever be achieved. At this time we should concentrate on semi-automatic solutions for the photogrammetric practice. The concepts support inclusion of semi-automatic image processing techniques.


Contents

1. Introduction  1
Part I. Theory and concepts  9
2. Concepts in knowledge-based image interpretation  11
3. Review of previous work on road extraction  27
4. Concepts for knowledge-based road extraction  45
Part II. Case study: extraction of new roads linked to existing motorways  75
5. Contents of the knowledge base and the designed interpretation strategy  77
6. Results and evaluation  105
Part III. Conclusions and recommendations  129
7. Conclusions and recommendations  131
References  143
Appendix A. Photogrammetric processing of digital imagery  153
Appendix B. Glossary of road terms  159
Appendix C. Additional subjects on determination of parameter settings for image processing techniques  163
Appendix D. Notations and abbreviations  173
Summary  175
Samenvatting  179
Acknowledgments  183
Curriculum vitae  184


Samenvatting

Kennisgestuurde interpretatie van luchtfoto's voor het bijwerken van wegenkaarten

In het moderne kaartvervaardigingsproces heeft een verschuiving plaatsgevonden van analoge kaarten naar kaarten in digitaal formaat, die kunnen worden gebruikt in Geografische Informatie Systemen (GIS). Door de extra mogelijkheden die GIS biedt, is het gebruik van topografische informatie toegenomen en daarmee ook de vraag ernaar. Om de effectiviteit te kunnen waarborgen, is GIS afhankelijk van nauwkeurige en actuele data als invoer. Het grootste gedeelte van deze data wordt ingewonnen uit luchtfoto's en satellietbeelden. Echter, het fotogrammetrische verwerkingsproces van deze data is het knelpunt in de geografische informatievoorziening. In zijn huidige vorm, waarbij elk topografisch object handmatig wordt aangemeten in de luchtfoto, is dit een arbeidsintensief en tijdrovend proces.

Als we kijken naar de huidige stand van de automatisering van het fotogrammetrische proces, kan de conclusie worden getrokken dat taken, waarbij de operateur de foto moet interpreteren om te kunnen karteren, moeilijk op te lossen zijn met behulp van de computer. Een groot aantal publicaties is gewijd aan interpretatie van luchtfoto's in het algemeen en aan het detecteren van wegen in het bijzonder. Echter, de resultaten zijn nog niet geschikt om in de praktijk te worden toegepast. E en belangrijke oorzaak van de tegenvallende resultaten is de complexe inhoud van luchtfoto's. Een conclusie, die uit de literatuur kan worden getrokken, is dat geschikte beeldverwerkingstechnieken moeten worden geselecteerd en gecombineerd in procedures, omdat geen van de beeldverwerkingstechnieken op zich perfect geschikt is voor het detecteren van topografische objecten. Hoewel kaarten worden beschouwd als een waardevolle kennisbron voor interpretatie, is nauwelijks literatuur beschikbaar waarin ze ook daadwerkelijk worden gebruikt ter ondersteuning van de interpretatie.

Binnen het vakgebied van de "computer vision" wordt men geconfronteerd met soortgelijke problemen bij het automatiseren van interpretatie taken. Kennisgestuurde concepten worden beschouwd als meest belovende oplossing voor het automatisch uitvoeren van deze taken. De filosofie voor het ontwerp van systemen is om de gebruikte eigenschappen van objecten zo duidelijk mogelijk te maken door a priori kennis hierover te verzamelen in modellen of kennisdatabases voor elk object type en om bovendien deze kennis te scheiden van algemene oplossingsgerichte procedures. Het onderzoeken van de mogelijkheden van kennisgestuurde concepten voor de interpretatie van luchtfoto's is het onderwerp van dit proefschrift. Het doel is om een interpretatiestrategie te ontwikkelen en te evalueren, die gebaseerd is op een kennis-database die geschikt is om de complexe inhoud van luchtfoto's te representeren.

In de ontworpen interpretatiestrategie worden "bottom-up" processen (segmentatie, objectherkenning) gecombineerd met "top-down" redeneermechanismen (genereren van hypotheses, detecteren van inconsistenties). Verouderde of incomplete wegenkaarten worden gebruikt om het zoekproces naar nieuwe delen van het wegennetwerk te starten. Hypotheses worden gegenereerd over mogelijke veranderingen die het wegennetwerk kan ondergaan en over de aanwezigheid van nieuwe wegen die een contextuele relatie hebben met de gedetecteerde verandering. Gedetecteerde nieuwe wegen op hun beurt genereren hypotheses om verder te zoeken naar andere wegen in de omgeving. Zo ontstaat een keten van opeenvolgende zoekacties. Dit proces wordt contextueel redeneren genoemd. Elke zoekactie activeert zijn eigen beeldverwerkingstechniek met bijbehorende waarden van parameters, die speciaal geschikt zijn om een specifiek type object te segmenteren. Deze strategie wordt doelgericht segmenteren genoemd. Met het genereren van hypotheses wordt voldaan aan de eis dat verschillende beeldverwerkingstechnieken moeten worden gecombineerd. A priori gedefinieerde eigenschappen van het gezochte type weg in de kennis-database worden gebruikt om hypotheses te testen en leiden tot het herkennen van objecten. Omdat fouten in segmentatie onvermijdelijk zijn, dienen inconsistenties te worden gedetecteerd en te worden opgelost. Voor dit doel worden voorwaarden in de kennis-database gedefinieerd om de aanwezigheid van objecten in relatie tot andere objecten te testen. Als een vereist object niet wordt gevonden, worden alternatieve hypotheses gegenereerd die leiden tot opnieuw segmenteren.

De inhoud van de database speelt een belangrijke rol in het wel of niet slagen van de interpretatie. Objecten en hun relaties zijn de basisprimitieven en worden in de kennis-database gerepresenteerd door middel van "frames". Object definities worden gebruikt in de interpretatiestrategie voor objectherkenning en object-relaties voor het genereren van hypotheses, doelgericht segmenteren en het detecteren van inconsistenties. De vraag is welke delen van het wegennetwerk moeten worden gedefinieerd als objecten en welke eigenschappen zouden moeten worden gebruikt om een wegenmodel te bouwen. De complexe inhoud van luchtfoto's vereist het definiëren van betekenis volle delen van het wegennetwerk in plaats van lijnvormige structuren. De richtlijnen voor het ontwerp van autosnelwegen kunnen worden gebruikt om eigenschappen te definiëren van specialistische typen wegen.

Door middel van een casestudie worden de concepten concreet gemaakt aan de hand van een bepaalde situatie en wordt getest of de onderzoeksdoelen worden gehaald. De situatie wordt onderzocht waarin de verouderdek aart alleen een autosnelweg bevat en dat de verbindingswegen, die aanwezig zijn in de luchtfoto, nieuw geconstrueerd zijn. Voor deze situatie worden experimenten gedaan op negen gescande luchtfoto's. Deze beelden komen uit de fotogrammetrische praktijk van de Meetkundige Dienst van Rijkswaterstaat. Ze werden verdeeld in een leer set en een test set. Experimenten worden gedaan op foto's met een resolutie van 0.4 en 1.6 meter om de invloed van de resolutie te testen. Het effect van het gebruik van richtlijnen voor het ontwerp van autosnelwegen wordt getest door twee verschillen wegenmodellen te definiëren in de kennis-database. Het ene model definieert algemene delen van het wegennetwerk als object, zoals onvertakte stukken weg en knooppunten, en bevat algemene eigenschappen van wegen. Het andere model definieert specifieke objecten, zoals2 -,3- en 4-baans snelwegen en viaducten als objecten en gebruikt eigenschappen uit de richtlijnen voor het ontwerp van wegen. De kennis-databasbee vat relaties in ruimte en tijd, gerelateerd aan een specifieke segmentatietechniek. Binnen dit proefschrift wordt geen speciale aandacht geschonken aan het ontwikkelen van beeldverwerkingstechnieken. De gebruikte segmentatietechnieken zijn gebaseerd op evaluatie van het grijswaarden profiel loodrecht op de weg. De procedure voor het detecteren van knooppunten is origineel. De richtlijnen voor het ontwerp van wegen worden ook gebruikt om de waarden van parameters te bepalen. Deze waarden worden expliciet gerepresenteerd in de kennis-database.

De resultaten van de casestudie laten zien dat voor redelijk eenvoudige configuraties van wegen deze goed kunnen worden gedetecteerd en geclassificeerd met behulp van beide wegenmodellen. In geval van meer complexe configuraties, of slechtere zichtbaarheid van wegen, geeft het specialistische wegenmodel betere resultaten dan het algemene model. De reden is dat de beperking van de zoekruimte en van het bereik van gedefinieerde eigenschappen voor herkenning, die mogelijk zijn door gebruik van de richtlijnen voor het ontwerp, het aantal omissie en commissie fouten in de detectie vermindert. Daarnaast is het goed mogelijk om de betekenisvolle typen wegen in het gespecialiseerde model, zoals rijbanen met een verschillend aantal rijstroken, te herkennen en onderscheid te maken tussen viaducten en op/afritten. Kortom, het toevoegen van kennis over de constructie van wegen en het definiëren van betekenisvolle typen wegen draagt bij aan de verbetering van het interpretatie resultaat. Resultaten gebaseerd op beelden met een resolutie van 0.40 m. zijn slechter dan die op een resolutie van 1.6 m. De reden is dat eigenschappen van objecten en segmentatieroutines, ontwikkeld op de lage resolutie, slechts een beperkte geldigheid hebben voor andere resoluties, die in geval van de hoge resolutie wordt overschreden.

Originele bijdragen zijn de manier waarop verouderde en incomplete kaarten worden gebruikt binnen de interpretatiestrategieën het gebruik van richtlijnen voor het ontwerp van autosnelwegen in de kennis-database. Hoewel doelgericht segmenterend e resultaten verbetert, blijft segmentatie de zwakste en meest tijdrovende schakel in de interpretatiestrategie. Speciale aandacht zou moeten worden gegeven aan de ontwikkeling van technieken voor doelgericht segmenteren. Een van de redenen voor omissie fouten is het beperkte deel van het wegennetwerk dat binnen het bereik van één luchtfoto valt. Dit probleem kan worden opgelost door aangrenzende foto's uit de fotovlucht te gebruiken. Inherent aan het gebruik van ruimtelijke relaties om nieuwe wegen te zoeken, is de afhankelijkheid tussen opeenvolgende zoekacties. Daarom spelen detectie van inconsistenties en het genereren van alternatieve hypotheses een belangrijke rol in de interpretatiestrategie, maar deze zijn moeilijk te definiëren. Het is daarom gewenst te analyseren welke voorwaarden gebruikt kunnen worden om topografische objecten en hun relaties te modelleren.

De algemene conclusie kan worden getrokken dat de ontworpen interpretatiestrategieën de kennisgestuurde concepten geschikt zijn om topografische objecten, in het bijzonder wegennetwerken, te detecteren in luchtfoto's en correct te classificeren. De concepten zijn toepasbaar op meerdere resoluties, bijvoorbeeld op satellietbeelden, m aar de definities van objecten en beeldverwerkingsroutines dienen te worden aangepast voor deze resolutie. In dit stadium van de ontwikkeling zijn de concepten nog niet volwassen genoeg om volledig automatisch te kunnen worden ingezet in een productieproces en het is twijfelachtig of dit ooit zal gebeuren. O p dit moment moeten we ons voor de praktijk concentreren op semi-automatische oplossingen. De concepten bieden de mogelijkheid om semi-automatische beeldverwerkingsroutines aan te sturen.

Go to top
JSN Boot template designed by JoomlaShine.com