FME - Niet alleen voor Ruimtelijke Data!

FME en administratieve data

FME is bij uitstek de tool voor ruimtelijke data transformatie, integratie, formaat conversie, migratie en validatie.
Wat velen minder goed weten is dat FME ook een uitstekende tool is voor administratieve, niet ruimtelijke data (non-spatial).
De kracht van FME en gebruiksvriendelijke user-interface maakt het een serieuze kandidaat voor elke data gerelateerde taak.

Volgens Willy Bakker, Informatiearchitect bij de provincie Groningen, maakt FME het mogelijk om veel meer te bereiken.
"Beperk jezelf niet door je alleen te richten op data in GIS-formaten. Met een beetje kennis van XML of JSON, web API's en de juiste FME transformers, kom je een heel eind.
Data analyses worden een stuk krachtiger als je geografische en administratieve bronnen kan combineren."
Een recent voorbeeld van de mogelijkheden van FME om met non-spatial, online, administratieve data te werken is terug te zien in de volgende webinar How to Connect to Any API (Without Writing Any Code)

Monuments API

Wikipedia bevat pagina’s met monumenten, bijvoorbeeld de volgende lijst met gemeentelijke monumenten in Appingedam.
Als je in Wikipedia op de link bewerken klikt, zie je dat de gegevens zijn ingevoerd met behulp van een template.
Het gebruik van een template maakt het mogelijk om periodiek de gegevens van monumenten in Wikipedia uit te lezen en in een gestructureerd formaat op te slaan in de Monuments database.
De Monuments database heeft een API (Application Programming Interface)
Deze API kun je gebruiken voor je eigen toepassingen, bijvoorbeeld om de gegevens in te lezen in je FME Workspace. Met het volgende GET-request vraag je bijvoorbeeld de eerste tien gemeentelijke monumenten van de gemeente Appingedam op in JSON-formaat.

Een real-life voorbeeld

Monument

Willy vertelt waarom ze bij de provincie de Monuments database API hebben besloten te gebruiken.

"Het behoud van cultureel erfgoed is voor de provincie Groningen een belangrijk onderwerp.
Gemeentelijke monumenten zijn onderdeel van het Groninger cultureel erfgoed.

De bevolkingskrimp en aardbevingen als gevolg van de gaswinning vormen een bedreiging voor monumenten, dorpsgezichten en archeologisch waardevolle gebieden.
De provincie is afhankelijk van goede gegevens voor het nemen van de juiste beslissingen.

Gemeentelijke monumenten bijgehouden in het gemeentelijke beperkingenregister. Dit register is helaas niet als open data beschikbaar.
Wikipedia is 'the next best thing'. Vandaar dat we bij de provincie daarmee aan de slag zijn gegaan. We onderzoeken op dit moment de kwaliteit van de gegevens in Wikipedia, zodat we een goede inschatting kunnen maken of deze goed genoeg is voor onze toepassingen. Hierbij maken we gebruik van FME Desktop."

De FME workspace

Willy heeft haar FME workspace beschikbaar gemaakt via GitHub.
In de workspace maakt Willy gebruik van verschillende data bronnen, waaronder PDOK services en natuurlijk de Monuments API.
In het bijzonder maakt Willy efficiënt en gevorderd gebruik van de CQL-filter mogelijkheden van de PDOK BAG service, als je daarover meer wil weten zie haar blog post.

Ik heb zelf een tweede versie van de workspace gemaakt.
Van de verschillende benaderingen is veel te leren, ik heb zelf van de eerste workspace versie het toepassen van de CQL-filter geleerd.
Mijn workspace bevat een aantal verbeteringen waardoor het efficiënter loopt, een van zo’n best practices voorbeeld is het creëren van de geometrie helemaal aan het eind van de transformatie.

Nog een mogelijke verbetering ligt in het lezen van de input online XLS file.
Weet jij hoe je ervoor kan zorgen dat de input XLS maar een keer per dag gelezen en gedownload wordt? (Ben je in een van de FMEWT presentaties van Ken geweest? dan weet het zeker….)

Om ervoor te zorgen dat ieder geïnteresseerde de beschikking heeft over de workspace, kan je het in GitHub vinden en natuurlijk in de FME Hub

BGT en BAG panden vergelijking via FME

Panden

De BGT (Basisregistratie Grootschalige Topografie) is een hot item in het Nederlandse GIS landschap.
Het lijkt alsof de Landelijke Voorziening (LV) dagelijks wordt bijgevuld en als we alle social media berichten rondom taarten en BGT moeten geloven, zou je denken dat de LV al lang is gevuld.
In de BGT zijn panden opgenomen, ook in de BAG (Basisregistraties Adressen en Gebouwen) zijn panden opgenomen.

De twee panden representaties zijn vaak anders waardoor vaak verschillen kunnen ontstaan in de registraties. Een van de bronhouders die het meest met de twee registraties te maken heeft (en vaak in eigen beheer heeft) zijn gemeenten.

FME als vergelijkingstool

Anders denken

FME laat je het probleem van panden representaties anders benaderen dan bijvoorbeeld het uitbesteden van het probleem bij een bedrijf die dat eenmalig voor je in a 'black box' methode doet.

Met FME ben je volledig in controle over het vergelijkingsproces en nog beter! je kan zelf het proces beïnvloeden.

FME laat je het proces eigen maken en maakt het mogelijk om het anders te benaderen (zoals je het zelf wil)

Hoe dan?

Iedereen die met FME heeft gewerkt weet dat als je FME opent je een lege applicatie voor je hebt . Dat betekent niet dat er niet is na gedacht over de verwachte vergelijkingsresultaten.

De lege canvas wordt uiteindelijk gevuld met readers, transformers en writers die het werk voor je doen. Misschien het belangrijkste hiervan is dat ze het ook blijven doen, keer na keer (ivp eenmalig resultaat en uitgave)

Echte wereld voorbeeld

De BGT- eenheid BLSW (Barneveld, Leusden, Scherpenzeel en Woudenberg) heeft hun eigen FME panden vergelijking tool laten ontwikkelen.

Deze tool is in samenwerking ontwikkeld en geeft de klant altijd de gewenste resultaten.

De input voor de vergelijking zijn de panden uit de BAG en BGT registraties.

BLSW gemeenten

De klant heeft een aantal testen laten ontwerpen aan de hand van eigen inzicht en wensen.
Dit heeft geresulteerd in een FME product waarbij de vergelijking steeds opnieuw gedaan kan worden.

De gemeenten zullen de FME tool blijven gebruiken als een middel voor kwaliteitswaarborging tussen beide registraties.


"FME" is a registered trademark of Safe Software Inc.

ETL Solution's Geocoder.

BAG geocodeerservice.

In het verleden heb ik gebruik gemaakt van de BAG geocodeerservice in aantal blog posts.
De BAG geocodeerservice, zoals de naam aangeeft, maakt gebruik van gegevens uit de BAG waarbij in het geval van objecten met meerdere adressen (hoofd- en nevenadressen) een adres slecht wordt opgenomen.
In deze services zitten dus niet alle BAG adressen.
De BAG geocodeerservice is een aparte soort service omdat het een locatie teruggeeft.

Vaak is de BAG geocodeerservice ingebed in applicaties en plugins. In sommige gevallen zijn de applicaties wel gratis verkrijgbaar maar er ontbreekt vaak aan de functionaliteit van de service binnen de applicatie (alleen vertonen van locatie)

Nu er is ook een andere mogelijkheid: ETL Solution's Geocoder!
Zoals andere ETL Solution producten, de motor is FME en FME Cloud maak het simpel te gebruiken (email verzenden)
Het grootste voordeel hiervan is dat je geen applicatie nodig hebt.

 

FME en de BAG geocodeerservice.

Echter is het vrij simpel om de BAG geocodeerservice binnen FME te gebruiken.

De URL kan opgebouwd worden in de HTTPCaller transformer en de response kan verder omgezet worden naar geometrie via de GeometryReplacer.

User Case voorbeeld.

Stel, je werk bij een organisatie die adresgegevens gebruikt.
De organisatie heeft de beslissing genomen om de adresgegevens beschikbaar te stellen aan het publiek via een viewer.
Dus je hebt de locaties van de adresgegevens nodig in een ruimtelijk bestand.
Hoe zou je zoiets aanpakken? buiten de deur zetten en laten doen? dat is vaak duur en traag.


Nu met de ETL Solution's Geocoder  kan je het zelf en het enige wat je hoeft te doen is een email te verzenden.

Ik maak gebruik van de LRKP data om aan te tonen hoe makkelijk het is en omdat het vrij beschikbaar is en geen locatie bevat.
Met behulp van de ETL Solution's Geocoder wordt het input bestand omgezet naar een ruimtelijk bestand (filegeodatabase of shapefile, de keuze is aan jou)
De volgorde van de acties is als volgt:

1. Je stuurt een mail naar FME Cloud, de mail bevat een bijlage (adressen XLS)
2. FME Cloud wordt door de mail geactiveerd en komt in actie.
3. Na afloop van de conversie wordt een mail terug gestuurd met daarin een download link voor de shapefile of filegeodatabase .

Het resultaat zie je in de kaart onderaan.


Wil je meer weten over dit product en abonnement types neem gerust contact op via info@etlsolution.nl.
Zie ook ETL Solution voor een compleet overzicht en informatie over andere producten.

SPLITS Translator

SPLITS

Het splitsen van percelen wordt  uitgevoerd ten behoeve van verkoop en projectontwikkeling activiteiten.
De kadastrale webapplicatie SPLITS ondersteunt  het splitsen door het verzenden van alle gegevens van de splitsingen naar het Kadaster.
In de webapplicatie kan je nieuwe grenslijnen aangeven door het in de applicatie te tekenen, maar ook ondersteund de applicatie het gebruik van GML (Geography Markup Language) als input voor het splitsen.

SPLITS applicatie.

Het gebruik van GML heeft de volgende voordelen:

• Het tekenwerk kan plaats vinden binnen een professionele CAD omgeving waardoor het flexibeler is om aanpassingen door te voeren.
• Meerdere percelen kunnen gemakkelijker gesplitst worden (denk aan grootte bouwprojecten)
• Snelle verwerking in de applicatie.

FME Cloud en SPLITS

In mijn vorige posts heb ik laten zien hoe je een event-driven ETL conversie kan opstarten via een email + inhoud, en email + bijlage.

Deze FME Cloud conversie is een combinatie van de twee. De email is de trigger en nu worden de bijlage en email inhoud gebruikt.
Met FME kan je vele formaten lezen. Normaliter gebruik je een aparte (dedicated) reader per formaat. Maar er is ook een generieke reader die de mogelijkheid bied om meerdere formaten te lezen met een reader.
In de huidige conversie maak ik gebruik van zo'n generieke reader die de meeste gebruikte CAD formaten ondersteund ( DWG, DXF en  DGN). Door het gebruik van een generieke reader is het heel makkelijk om de workspace aan te passen om andere formaten te ondersteunen.

Zelf proberen? dat kan ! 

Why not?

Nou genoeg over het technische gedoe, volg deze simpele stappen:

1. Verzend een email naar : fme@etlsolution.nl
2. Email onderwerp:SplitsGML_be16ab0c-3449-11e5-a1e7-028deac61efd
3. Email bijlage: uw DXF/DWG of DGN bestand.
4. Email inhoud: Laag:(laagnaam vd lijnen). (LET OP lettergevoelig en moet beginnen met Laag: (hoofdletter L en :) en eindigen met '.'(punt)) Bijvoorbeeld: Laag:mijnlaag.

Het gratis proberen van dit product is mogelijk tussen 9:00 t/m 16:00 uur op  maandag 27 juli t/m woensdag 29 juli.

Transformatie gemakkelijk gemaakt door FME Cloud.

FME Cloud biedt de mogelijkheden om data te transformeren en beschikbaar te stellen zonder enige gedetailleerde kennis van de data schema of zelfs een applicatie.

In mijn vorige post, gepresenteerd op de FMEWT 2015, heb ik laten zien hoe gemakkelijk het is om FME, via een e-mail trigger, het zware werk te laten doen. Dus ophalen van de gegevens, transformeren en beschikbaar maken.

In dat scenario hoefde de gebruiker alleen de gegevens te selecteren en de url te verzenden. 

In het volgende scenario heeft de gebruiker al data in zijn bezit die hij omgezet wil hebben. 

Dus nu bevat de e-mail naar FME Cloud een bijlage. 

De FME Server e-mail mogelijkheden worden ondersteund door een reeks van tutorials op het Knowledge Center (nieuwe naam voor de oude FMEPedia)

In de tutorials vind je alle informatie die nodig is om het maximale te behalen uit de inkomende e-mail. 

De AERIUS project werd ook gepresenteerd op de FMEWT 2015, want FME is overal te vinden .... 

De AERIUS calculator is een van de componenten van het nationaal PAS project. De calculator resulteert in een GML bestand. 

Het inlezen van GML moet geen probleem zijn voor een doorgewinterde FME gebruiker en met behulp van het Knowledge Center zou een ​​beginneling ook geen probleem hoeven te hebben met het uitzoeken hoe je FME het inleeswerk laat doen. 

Maar wat als je niet beschikt over FME? Of als je alleen in de bruikbare resultaten geïnteresseerd bent? 

Het antwoord daarop is: FME Cloud! 

Om dit te demonstreren heb ik gebruik gemaakt van FME's transformatie mogelijkheden om een ​​eenvoudig en makkelijk te gebruiken AERIUS2FGDB vertaling op te zetten.

De vertaling is event-triggered en dat betekent dat jij het zelf moet opstarten. 

Hoe? dat is gemakkelijk:

1. stuur een e-mail naar: fme@etlsolution.nl 
2. E-mail onderwerp: AERIUS2FGDB_b28ba3b0-0da6-11e5-a040-028deac61efd
3. E-mail attachment : AERIUS GML

Resultaat ? 

De AERIUS GML wordt omgezet naar filegeodatabase (FGDB) formaat en wordt via een e-mail ter beschikking gesteld met een download link.

Ben je gewoon geïnteresseerd in het testen van de werkwijze van dit product? Dan heb Ik al een AERIUS resultaat voor je beschikbaar.

Geïnteresseerd in de toepassing van dit product voor je organisatie en je specifieke behoeften? neem vrijblijvend contact met mij op via itay@etlsolution.nl

Gratis testen van dit product zal beschikbaar zijn op 08/06/2015 t/m 10/06/2015 09:00 AM -16:00 PM (CET )

BGT via FMECloud

FME Cloud

Wat is FME Cloud? Simpel gezegd: FME Cloud is FME Server in de Cloud.
FME Cloud is de eerste locatie bewuste iPaaS (Integration Platform as a Service) en dat betekent dat je alle FME Server functionaliteiten tot je beschikking hebt, zonder de hardware.
Zie de volgende link voor meer informatie over FME Cloud.
Een van de vele voordelen van FME Cloud is de mogelijkheid om processen te activeren via een externe trigger (e.i. event driven). Voorbeelden van zo’n externe trigger kan een email of een sensor waarde zijn.

BGT

De opbouw van de BGT is in volle gang, een groot deel van de bronhouders werkt nog aan het samenstellen van de vlakkenkaart.
Met ingang van 1 januari 2016 wordt de BGT de gedetailleerde kaart van Nederland.
Bronhouders leveren hun BGT aan bij de landelijke voorziening (LV), vanuit daar wordt het via PDOK in CityGML formaat beschikbaar gemaakt. Voor een overzicht van de BGT gebieden zie: BGTWeb
CityGML is niet direct te gebruiken in GIS pakketten of database, er moet eerst een formaat conversie plaatsvinden zodat de BGT gegevens beschikbaar en bruikbaar kunnen zijn voor een database/GIS omgeving.

Event driven BGT2FGDB conversie.

FME is dé tool voor ruimtelijke data conversie en FME Cloud is dé cloud tool voor ruimtelijke data conversie :)

De trigger

De formaat conversie is uitgevoerd met FME Cloud en wordt via een trigger gestart, in dit geval is een email de trigger.
Er zijn een aantal voorwaarden waar de trigger aan moet voldoen om het proces te starten, deze voorwaarden zijn te vinden in de volgende korte handleiding.

De conversie

Tijdens de formaat conversie worden een aantal data specifieke aanpassingen gedaan.
Voorbeelden van deze aanpassingen zijn: verwijderen van formaat specifieke ongeldige tekens, omzetting naar hoofdletters, null waarden mapping, datum conversies, nieuwe geometrie wordt aangemaakt (denk aan nummeraanduidingreeks en openbareruimtelabel)

Het resultaat.

Het resultaat is een uniforme en complete BGT dataset in FileGeodatabase (FGDB) formaat.
De FGDB is een veel gebruikt en efficiënte GIS formaat.
Dit formaat kan zowel in closed- en open- source GIS applicaties gebruikt worden.
Na het uitvoeren van de formaat conversie wordt het resultaat beschikbaar gemaakt via een email met daarin een download link.

Voordelen en eigenschappen van de conversie zijn: 

Makkelijk te gebruiken. 

Geen applicatie nodig. 

Online en altijd beschikbaar*. 

Betrouwbaar en snel. 

Resultaat klaar voor database inlees actie en GIS applicaties. 

Uniek: er bestaat geen vergelijkbare data distributie methodiek.

Resultaat in QGIS

Ben je geïnteresseerd en wil je het zelf proberen? neem contact op via bgt@etlsolution.nl voor een trial licentie, vermeld je naam, organisatie en eventuele vragen.


*Product is nog in testfase.

BGT 2 GBKN

De BGT.

De Basisregistratie Grootschalige Topografie (BGT) is een gedetailleerde topologische kaart van Nederland waarin alle fysieke objecten zoals gebouwen, wegen, water en bodembedekking eenduidig worden geregistreerd.

De laatste jaren is de gehele geo-sector van Nederland bezig met de opbouw van deze vlak gebaseerde kaart die uiteindelijk de oude lijnen kaart (GBKN) zal vervangen.

Deze enorme nationale inspanning omvat ministeries, nationale agentschappen, gemeenten, provincies, bedrijven en de kadaster.

De overgang naar een vlakdekkende kaart is niet gemakkelijk en vereist continue afstemming en samenwerking tussen de betrokken partijen.

BGT in PDOK.

FME en de BGT.

Dit is een taak die kan worden omschreven als CAD naar GIS conversie in FME termen.

Het merendeel van de Nederlandse GIS-bedrijven zijn, op welke manier dan ook, betrokken bij het bijstaan van de betrokken partijen om hun deel van de kaart te assembleren.

Bij de civiele techniek sector (voornamelijk CAD-gebruikers) zijn er aanpassingen in de werkprocessen nodig om met een polygoon gebaseerde kaart te werken.
Dit is waar FME kan worden gebruikt om de vlakkenkaart om te zetten in een lijnenkaart, een meer gebruikelijke geomatrie type in de civiele techniek sector.

BGT - CityGML-formaat.

GIS 2 CAD met FME.

Om aan te tonen hoe gemakkelijk deze taak kan worden gedaan met FME, maak ik gebruik van een klein deel van het publiek beschikbaar BGT verkregen uit de nederlandse SDI (PDOK).
Voor meer informatie over CAD 2 GIS conversies met FME zie FMEpedia.

Stap 1: polygonen 2 lijnen.

Het omzetten van polygonen naar lijnen is een no-brainer voor een doorgewinterde FME gebruiker, maar je moet een paar trucjes achter de hand hebben om dit met succes te volbrengen, voor alle vlakobjecten.

Stap 2: Lijnen prioriteit.

Om de prioriteit aan de resulterende lijnen toe te kennen maak ik gebruik van de AttributeValueMapper transformer, dit is slechts een van de vele manieren om dit te doen, maar voor dit voorbeeld is het voldoende.

Stap 3: Het genereren van lijnen aan de hand van prioriteit.

Wanneer de prioriteit is toegewezen is het een kwestie van gebruik maken van de prioriteit om te testen en herordenen van de lijnen.

Laatste stap: Schrijven naar CAD.

Resultaat DWG.

Voor het doel van deze demonstratie heb ik een DWG-bestand gemaakt voor het bekijken van de resultaten. De visualisatie van de lijnen is niet volgens bekende visualisatieschema, maar dat is iets wat gemakkelijk kan worden gedaan met FME (denk aan NLCS of je eigen visualisatie)

Echte wereld voorbeeld.

Deze demonstratie is gebaseerd op een al door de gemeente Gorinchem gebruikte oplossing.
De oplossing biedt de mogelijkheid aan de gebruiker om de vlakkenkaart om te zetten naar een lijnenkaart DWG bestand gedefinieerd door zijn eigen DWG sjabloon.

Daarnaast is oplossing zo ingesteld dat de gebruiker de mogelijkheid heeft om de gegenereerde lijnen te herschikken, nieuwe visualisatie regels toe te passen en zelfstandig te beslissen welke lagen opgenomen worden in de uitput.

Als je mij niet gelooft, vraag het maar aan Hans ......

Kleine tip voor het lezen van de BGT in FME: maak gebruik van de CityGML reader met de IMGeo xsd of download deze workspace en volg de instructies.