Kvalitetskontroll av observasjonsdata

Sanntidssystemt for kontroll av alle observasjonsdata som samles inn til met.no har vært i operasjonell drift siden januar 2005. Det samme gjelder verktøyet for manuell overvåkning og kvalitetssikring. Målsettingen var å:

• Lage ett sentralt kvalitetskontrollsystem ved met.no
• Kontrollere alle norske observasjonsdata i sanntid (innen 3 minutter over hel time).
• Tilføre observasjonene kvalitetsinformasjon.
• Kontrollere observasjonsdata med avanserte kontrollmetoder etter santid (i ettertid).
• Kunne gjøre en manuell kvalitetssikring av det automatiske systemet, og manuell kvalitetskontroll i ettertid der det var nødvendig.
• Sørge for at all videre produksjon og distribusjon av data fra met.no skal bruke data som har vært igjennom en Kvalobsbehandling.

Utenom målet "avanserte kontrollmetoder etter santid (i ettertid)", så er målsettingen oppfylt. På det gjenstående punktet pågår det forskning og utvikling.

Kvalitetskontrollsystem

Fram til 2005 utviklet met.no et sentralt automatisk, sanntids, kvalitetskontrollsystem som alle observasjonsdata skal gjennomløpe før bruk.

Systemet har vært i drift siden da, og vesentlig forskningsinnsats og utvikling pågår for å forbedre kontrollmetoder, både for sanntidskontroll og mer avansert automatisk kontroll i ettertid, for eksempel basert på geostatistisk metodikk for en romlig kontroll.

Statistisk produktkontroller og bedre tidsseriekontroller er et annet utviklingsspor som skal følges. Til dette automatiske kvalitetskontrollsystemet er det bygget et grensesnitt for manuell overvåkning og kvalitetssikring med ekspertstøttefunksjoner.

Systemet er lagt ut som åpen kildekode, og baserer seg på åpen kildekode med databasemotoren PostgreSQL og språkene Perl, C++ og Qt som plattform.

Klimadatavarehuset

Klimadatavarehuset hos met.no er en viktig byggekloss. Det er "bankhvelvet" som sørger for permanent lagring av observasjonsdata og kvalitetsinformasjon. I tillegg til observasjonsdata er det til enhver tid oppdatert klimastatistikk i Klimadatavarehuset.

Distribusjonskanaler

Distribusjon til brukere er utviklet til å være kanalene:

• eKlima
• wsKlima
• yr.no

eKlima er et interaktivt Web-GUI hvor en bruker kan og sette opp tidsstyrte forespørsler som sender ønskede oppdaterte rapporter med klimadata regelmessig via e-post.

wsKlima er en WebService som gjør det mulig for bruker å programmere sin egen applikasjon mot Klimadatavarehuset.

yr.no bruker wsKlima som kanal for å vise observasjonsdata.

Kvalitetsinformasjon

Brukere kan be om kvalitetsinformasjon sammen med data, og kanaler som yr.no bruker kvalitetsinformasjonen som filtrering av hvilke observasjonsdata som slippes ut.

Sammen med Klimadatavarehuset og distribusjonskanalene er derfor kvalitetsinformasjonen og kvalitetskontrollen av observasjonsdata en annen viktig byggekloss ved met.no.

Kvalitetskontrollen er gjenstand for en betydelig forsknings- og utviklingsinnsats ved met.no for å sørge for data av høy kvalitet, og sikrest mulig kvalitetsinformasjon, til brukerne.

Nivå for flagg/kvalitetsinformasjon om den enkelte dataverdi

Kvalitetsinformasjonen i tabellen er en forenklet kategorisering av de detaljerte kvalitetsflagg som er lagret i Klimadatavarehuset. Disse detaljerte kvalitetsflaggene er også tilgjengelig for brukerne om ønskelig.

Nivå (tall)	Symbol	Kode	Tekst	Beskrivelse
-2				Reservert - ikke i bruk
-1				Ingen informasjon om kvalitetsnivå tilgjengelig
0	*	OK	OK	Verdi er kontrollert og funnet i orden
1	*	OK	OK	Verdi er kontrollert og korrigert, eller verdi mangler og er interpolert - manuelt
2	+	LU	Litt Usikker	Verdi er kontrollert og korrigert, eller originalverdi mangler og er interpolert - automatisk
3	+	LU	Litt Usikker	Verdi er ikke kontrollert
4	+	LU	Litt Usikker	Verdi er litt usikker (ikke korrigert)
5	!	SU	Svært Usikker	Verdi er svært usikker (ikke korrigert)
6	-	FE	Feilaktig	Verdi er feil (ikke korrigert)

Detaljerte kvalitetsflagg

Detaljerte kvalitetsflagg for hver dataverdi i Klimadatavarehuset er lagret i en 5-sifret kode som følger en Nordisk anbefalt standard i Norklim samarbeidet.

QC1 - Kontroll i sanntid
QC2 - Kontroll etter sanntid (i ettertid)
HQC - Manuell kvalitetskontroll

Kvalitetsflaggene forteller:

• I hvilken grad dataverdien er kontrollert.
• Om original dataverdi representerer normal måleprosedyre.
• Originalverdiens kvalitetsnivå.
• Om og hvordan originalverdien er korrigert.
• Viktigste kontrollmetode som er anvendt.

Kvalobs som åpen kildekode

met.no har valgt å legge ut Kvalobssystemet og applikasjonen HQC som åpen kildekode "kvoss" (kvalobs open source software project).

Dette er i samarbeid med SMHI (Sveriges meteorologiska och hydrologiska institut) som ønsker å ta i bruk Kvalobs. Det har i tillegg blitt vist interesse for systemet fra enkelte andre land.

På kvalobs.wiki.met.no finner du lenker til kildekode, Bugzilla, og informasjon om pågående aktivitet i prosjektet. Mer dokumentasjon vil bygges opp på egne nettsider for prosjektet.