FME - Niet alleen voor Ruimtelijke Data!

FME en administratieve data

FME is bij uitstek de tool voor ruimtelijke data transformatie, integratie, formaat conversie, migratie en validatie.
Wat velen minder goed weten is dat FME ook een uitstekende tool is voor administratieve, niet ruimtelijke data (non-spatial).
De kracht van FME en gebruiksvriendelijke user-interface maakt het een serieuze kandidaat voor elke data gerelateerde taak.

Volgens Willy Bakker, Informatiearchitect bij de provincie Groningen, maakt FME het mogelijk om veel meer te bereiken.
"Beperk jezelf niet door je alleen te richten op data in GIS-formaten. Met een beetje kennis van XML of JSON, web API's en de juiste FME transformers, kom je een heel eind.
Data analyses worden een stuk krachtiger als je geografische en administratieve bronnen kan combineren."
Een recent voorbeeld van de mogelijkheden van FME om met non-spatial, online, administratieve data te werken is terug te zien in de volgende webinar How to Connect to Any API (Without Writing Any Code)

Monuments API

Wikipedia bevat pagina’s met monumenten, bijvoorbeeld de volgende lijst met gemeentelijke monumenten in Appingedam.
Als je in Wikipedia op de link bewerken klikt, zie je dat de gegevens zijn ingevoerd met behulp van een template.
Het gebruik van een template maakt het mogelijk om periodiek de gegevens van monumenten in Wikipedia uit te lezen en in een gestructureerd formaat op te slaan in de Monuments database.
De Monuments database heeft een API (Application Programming Interface)
Deze API kun je gebruiken voor je eigen toepassingen, bijvoorbeeld om de gegevens in te lezen in je FME Workspace. Met het volgende GET-request vraag je bijvoorbeeld de eerste tien gemeentelijke monumenten van de gemeente Appingedam op in JSON-formaat.

Een real-life voorbeeld

Monument

Willy vertelt waarom ze bij de provincie de Monuments database API hebben besloten te gebruiken.

"Het behoud van cultureel erfgoed is voor de provincie Groningen een belangrijk onderwerp.
Gemeentelijke monumenten zijn onderdeel van het Groninger cultureel erfgoed.

De bevolkingskrimp en aardbevingen als gevolg van de gaswinning vormen een bedreiging voor monumenten, dorpsgezichten en archeologisch waardevolle gebieden.
De provincie is afhankelijk van goede gegevens voor het nemen van de juiste beslissingen.

Gemeentelijke monumenten bijgehouden in het gemeentelijke beperkingenregister. Dit register is helaas niet als open data beschikbaar.
Wikipedia is 'the next best thing'. Vandaar dat we bij de provincie daarmee aan de slag zijn gegaan. We onderzoeken op dit moment de kwaliteit van de gegevens in Wikipedia, zodat we een goede inschatting kunnen maken of deze goed genoeg is voor onze toepassingen. Hierbij maken we gebruik van FME Desktop."

De FME workspace

Willy heeft haar FME workspace beschikbaar gemaakt via GitHub.
In de workspace maakt Willy gebruik van verschillende data bronnen, waaronder PDOK services en natuurlijk de Monuments API.
In het bijzonder maakt Willy efficiënt en gevorderd gebruik van de CQL-filter mogelijkheden van de PDOK BAG service, als je daarover meer wil weten zie haar blog post.

Ik heb zelf een tweede versie van de workspace gemaakt.
Van de verschillende benaderingen is veel te leren, ik heb zelf van de eerste workspace versie het toepassen van de CQL-filter geleerd.
Mijn workspace bevat een aantal verbeteringen waardoor het efficiënter loopt, een van zo’n best practices voorbeeld is het creëren van de geometrie helemaal aan het eind van de transformatie.

Nog een mogelijke verbetering ligt in het lezen van de input online XLS file.
Weet jij hoe je ervoor kan zorgen dat de input XLS maar een keer per dag gelezen en gedownload wordt? (Ben je in een van de FMEWT presentaties van Ken geweest? dan weet het zeker….)

Om ervoor te zorgen dat ieder geïnteresseerde de beschikking heeft over de workspace, kan je het in GitHub vinden en natuurlijk in de FME Hub