Sessie 6: Voorkant voor GeoNetwork

(1)

KNMI Data Centrum

•Voorkant voor Geonetwork

•ADAGUC

KNMI: John van de Vegte, Wim Som de Cerff, Maarten Plieger, Ernst de Vreede, Raymond Sluiter, Jan Willem Noteboom, Ian van der Neut, Hans Verhoef, Robert van Versendaal, Martin van Binnendijk, Henk Kalle, Arthur Knopper,

TriOpSys: Gijs Calis, Jeroen Bos, Siu Siu Ha, Wim van Moosel,

Quality House: Henk-Jan Klein Ikkink, Tuncay Tosun

Wim Som de Cerff, KNMI sdecerff@knmi.nl

(2)

Waarom KNMI datacentrum?

KNMI data:

Veel verschillende soorten datasets (Weer, klimaat, seismologie)

Historisch, real-time, verwachtingen Onderzoek en operationeel

Toepasbaar in verschillende domeinen Maar:

Moeilijk te vinden Moeilijk te gebruiken Weinig standaardisatie Veel ‘data’ portalen

(3)

KDC | Voorkant voor Geonetwork | ADAGUC | OSGeo 2013 3

Aanpak bouw KDC

Funding uit “Deltaplan Infrastructuur KNMI” (IenM) Aanpak:

Betrekken belanghebbenden: Agile ontwikkeling (Scrum)

Data managers KNMI-ers die de data in het datacentum plaatsen Eindgebruikers

Optimaal gebruik van bestaande (Open Source) software

Geonetwork, MongoDB, MySQL, FreeRadius, JavaSpring, Magnolia, …

NADC Processing Suite, ADAGUC WMS/WCS Belangrijkste eisen:

Dataset managers moeten zelfstandig datasets kunnen toevoegen: ’adding a dataset should be as easy as creating a web page’

Ondersteun elk data formaat, leg beperkingen uit en biedt extra’s aan standaard formaten

(4)

Architecture: KDC 1.x

Security

Web

Data

Database

Data

acces

(5)

Geonetwork

Gekozen op basis van eerdere ervaringen (KNMI CSW gekoppeld aan NGR) Gebruikt voor:

Opslag dataset metadata (in NL en Engels) KNMI profiel (WMO, NL, INSPIRE)

Zoeken door dataset metadata

Exporteren naar extern toegankelijke (Geonetwork) CSW/OAI PMH) Tijdens ontwikkelen 19 Geonetwork gerelateerde issues

Nog 4 open, de overige zijn opgelost

Open: Bounding box & datumgrens, zoeken op deel van een woord, eastbound < westbound probleem, ‘-’en ‘_’ gebruik

(6)

Voorkant voor Geonetwork

Waarom?

‘adding a dataset should be as easy as creating a web page’ meerdere interfaces nodig (‘huishoudelijke metadata’)

Geonetwork interface niet gebruikersvriendelijk genoeg…

SCRUM ontwikkeling, dus we kwamen er op tijd achter! Implementatie: ‘refactoring’ gebruikersinterface

(7)

(8)

Extra functionaliteit

Zelfde look & feel KDC gebruikers interface Minimaliseren aantal velden om in te vullen

Beperkte keuzemogelijkheden, waar mogelijk Koppeling met helpfunctie

Validatie van de invoer Tussentijds opslaan

Kopie maken eerder ingevoerde set (‘save as’)

(9)

Nadelen…

Nadelen keuze re-factoren gebruikersinterface:

KNMI specifieke oplossing…

(10)

CSW OAI- _PMH INSPIRE

(11)

(12)

ADAGUC WMS/WCS Server

WMS 1.1.1/1.3.0

WCS 1.0.0

NetCDF4 CF en KNMI-HDF5 data files:

Field data: modeldata, radar en satelliet incl. RGB products

Swath data: SCIAMACHY, ASCAT

Punt data

Styling: contouring, shading, wind barbs, wind vectors;

(13)

ADAGUC WMS/WCS Server

Support voor OGC TIME, ELEVATON dimensions en voor user-defined dimensions

GetFeatureInfo – uitgebouwd met: time series graph, JSON en GML output WMS extensions of ncWMS: COLORSCALERANGE, NUMCOLORBANDS

Fast reprojection of data

(14)

ADAGUC web portal component (Viewer)

WMS 1.1.1 / 1.3.0 portal Display legends, select styles, select dimensions Mapping component is JavaScript (embeddable component for HTML/PHP) Gebruikt GetFeatureInfo om data op te halen en om time series graphs af te beelden

Data bewerkingen en download met WCS 1.0.0 services

Eenvoudig layers combineren van verschillende WMS services Voorbeelden, zie http://adaguc.knmi.nl, met demonstratie data (inclusief realtime regen radar)

(15)

15

Performance

ADAGUC cached niet, maar leest direct netCDF!

Toekomst: image caching, b.v. Varnish

Response tijd van ADAGUC GetMap request, in milliseconde:

Herprojecteer en teken wolken optische dikte van MSG-CPP

Van 3712x3712 pixels in satellite view, netCDF formaat

Naar verschillende beeldgrootte in verschillende projecties, PNG image

256x256 1024x1024 2048x2048

LatLon 270 ms 340 ms 640 ms

Mercator 250 ms 260 ms 430 ms Stereographic 206 ms 290 ms 550 ms

Conclusie: Reponse tijden geschikt voor interactief gebruik op het web

Gebruikt full MSG resolutie, opgeslagen op disk

(16)

Weermodel

(17)

(18)

Open Source

ADAGUC server en viewer zijn Open

Source:

http://dev.knmi.nl/projects/adaguc

Geregistreerd bij OGC

Doel:

Delen Software

Samenwerking zoeken

Huidig werk:

Nederlands WMS 1.3.0 profiel

Inspire VIEW service

Best Practices document OGC’s

MetOcean Domain Working Group

ADAGUC in gebruik in:

climate4impact.eu

euro4m.eu

msgcpp.knmi.nl

eca.knmi.nl

(19)

Alles op een rij

…en nog wat andere OS pakketten + programmeerwerk…

(20)

(21)

UNESCO - IHE | 27 Februari 2013 21

21 KNMI Data Centrum | 14 december 2012

(22)

(23)

UNESCO - IHE | 27 Februari 2013 23

23 KNMI Data Centrum | 14 december 2012

(24)

(25)

Werkte combinatie Agile en OS Geo software?

Yes!

Geonetwork en ADAGUC goede voorbeelden van OS Geo software Agile == ok, hielp bij de scoping + new features

…Maar:

Refactoring kost tijd

Expectation management, KDC is 1.x version

(26)

Samenvattend

Geonetwork en ADAGUC succesvol

toegepast in KDC

SCRUM method werkte, veel geleerd

Nog veel meer om over te praten!

H/W architecture Storage, caching Persistent URI’s

Development, test, acceptation and operational platforms and procedures Development & test tooling