FME - Niet alleen voor Ruimtelijke Data!

FME en administratieve data

FME is bij uitstek de tool voor ruimtelijke data transformatie, integratie, formaat conversie, migratie en validatie.
Wat velen minder goed weten is dat FME ook een uitstekende tool is voor administratieve, niet ruimtelijke data (non-spatial).
De kracht van FME en gebruiksvriendelijke user-interface maakt het een serieuze kandidaat voor elke data gerelateerde taak.

Volgens Willy Bakker, Informatiearchitect bij de provincie Groningen, maakt FME het mogelijk om veel meer te bereiken.
"Beperk jezelf niet door je alleen te richten op data in GIS-formaten. Met een beetje kennis van XML of JSON, web API's en de juiste FME transformers, kom je een heel eind.
Data analyses worden een stuk krachtiger als je geografische en administratieve bronnen kan combineren."
Een recent voorbeeld van de mogelijkheden van FME om met non-spatial, online, administratieve data te werken is terug te zien in de volgende webinar How to Connect to Any API (Without Writing Any Code)

Monuments API

Wikipedia bevat pagina’s met monumenten, bijvoorbeeld de volgende lijst met gemeentelijke monumenten in Appingedam.
Als je in Wikipedia op de link bewerken klikt, zie je dat de gegevens zijn ingevoerd met behulp van een template.
Het gebruik van een template maakt het mogelijk om periodiek de gegevens van monumenten in Wikipedia uit te lezen en in een gestructureerd formaat op te slaan in de Monuments database.
De Monuments database heeft een API (Application Programming Interface)
Deze API kun je gebruiken voor je eigen toepassingen, bijvoorbeeld om de gegevens in te lezen in je FME Workspace. Met het volgende GET-request vraag je bijvoorbeeld de eerste tien gemeentelijke monumenten van de gemeente Appingedam op in JSON-formaat.

Een real-life voorbeeld

Monument

Willy vertelt waarom ze bij de provincie de Monuments database API hebben besloten te gebruiken.

"Het behoud van cultureel erfgoed is voor de provincie Groningen een belangrijk onderwerp.
Gemeentelijke monumenten zijn onderdeel van het Groninger cultureel erfgoed.

De bevolkingskrimp en aardbevingen als gevolg van de gaswinning vormen een bedreiging voor monumenten, dorpsgezichten en archeologisch waardevolle gebieden.
De provincie is afhankelijk van goede gegevens voor het nemen van de juiste beslissingen.

Gemeentelijke monumenten bijgehouden in het gemeentelijke beperkingenregister. Dit register is helaas niet als open data beschikbaar.
Wikipedia is 'the next best thing'. Vandaar dat we bij de provincie daarmee aan de slag zijn gegaan. We onderzoeken op dit moment de kwaliteit van de gegevens in Wikipedia, zodat we een goede inschatting kunnen maken of deze goed genoeg is voor onze toepassingen. Hierbij maken we gebruik van FME Desktop."

De FME workspace

Willy heeft haar FME workspace beschikbaar gemaakt via GitHub.
In de workspace maakt Willy gebruik van verschillende data bronnen, waaronder PDOK services en natuurlijk de Monuments API.
In het bijzonder maakt Willy efficiënt en gevorderd gebruik van de CQL-filter mogelijkheden van de PDOK BAG service, als je daarover meer wil weten zie haar blog post.

Ik heb zelf een tweede versie van de workspace gemaakt.
Van de verschillende benaderingen is veel te leren, ik heb zelf van de eerste workspace versie het toepassen van de CQL-filter geleerd.
Mijn workspace bevat een aantal verbeteringen waardoor het efficiënter loopt, een van zo’n best practices voorbeeld is het creëren van de geometrie helemaal aan het eind van de transformatie.

Nog een mogelijke verbetering ligt in het lezen van de input online XLS file.
Weet jij hoe je ervoor kan zorgen dat de input XLS maar een keer per dag gelezen en gedownload wordt? (Ben je in een van de FMEWT presentaties van Ken geweest? dan weet het zeker….)

Om ervoor te zorgen dat ieder geïnteresseerde de beschikking heeft over de workspace, kan je het in GitHub vinden en natuurlijk in de FME Hub

BGT en BAG panden vergelijking via FME

Panden

De BGT (Basisregistratie Grootschalige Topografie) is een hot item in het Nederlandse GIS landschap.
Het lijkt alsof de Landelijke Voorziening (LV) dagelijks wordt bijgevuld en als we alle social media berichten rondom taarten en BGT moeten geloven, zou je denken dat de LV al lang is gevuld.
In de BGT zijn panden opgenomen, ook in de BAG (Basisregistraties Adressen en Gebouwen) zijn panden opgenomen.

De twee panden representaties zijn vaak anders waardoor vaak verschillen kunnen ontstaan in de registraties. Een van de bronhouders die het meest met de twee registraties te maken heeft (en vaak in eigen beheer heeft) zijn gemeenten.

FME als vergelijkingstool

Anders denken

FME laat je het probleem van panden representaties anders benaderen dan bijvoorbeeld het uitbesteden van het probleem bij een bedrijf die dat eenmalig voor je in a 'black box' methode doet.

Met FME ben je volledig in controle over het vergelijkingsproces en nog beter! je kan zelf het proces beïnvloeden.

FME laat je het proces eigen maken en maakt het mogelijk om het anders te benaderen (zoals je het zelf wil)

Hoe dan?

Iedereen die met FME heeft gewerkt weet dat als je FME opent je een lege applicatie voor je hebt . Dat betekent niet dat er niet is na gedacht over de verwachte vergelijkingsresultaten.

De lege canvas wordt uiteindelijk gevuld met readers, transformers en writers die het werk voor je doen. Misschien het belangrijkste hiervan is dat ze het ook blijven doen, keer na keer (ivp eenmalig resultaat en uitgave)

Echte wereld voorbeeld

De BGT- eenheid BLSW (Barneveld, Leusden, Scherpenzeel en Woudenberg) heeft hun eigen FME panden vergelijking tool laten ontwikkelen.

Deze tool is in samenwerking ontwikkeld en geeft de klant altijd de gewenste resultaten.

De input voor de vergelijking zijn de panden uit de BAG en BGT registraties.

BLSW gemeenten

De klant heeft een aantal testen laten ontwerpen aan de hand van eigen inzicht en wensen.
Dit heeft geresulteerd in een FME product waarbij de vergelijking steeds opnieuw gedaan kan worden.

De gemeenten zullen de FME tool blijven gebruiken als een middel voor kwaliteitswaarborging tussen beide registraties.


"FME" is a registered trademark of Safe Software Inc.