Laatste nieuws
'Bug' in rekenmodel OPS oorzaak onjuist stikstofcijfer
02-03-2020 - Op 20 februari heeft Mesdagfonds in een persconferentie in Den Haag een onjuist percentage naar buiten gebracht. Het betreft het percentage van het aandeel van 25% aan stikstofdepositie op natuurgebieden, dat afkomstig zou zijn van de landbouw. Dit percentage is berekend met het rekenmodel OPS en de emissie-datasets die het RIVM op 7 januari 2020 samen met een gebruikershandleiding openbaar heeft gemaakt. Een ‘bug’ in rekenmodel OPS, die tijdens de runs onmogelijk kon worden opgemerkt en ook niet was vermeld in de handleiding, blijkt de oorzaak van de onjuiste berekening. Mesdagfonds laat de berekening nu opnieuw uitvoeren. Wat het juiste percentage is, is op dit moment nog niet bekend.
Het percentage van 25% in het ‘Mesdagonderzoek’ werd meteen ter discussie gesteld door het RIVM. Het percentage zou te laag zijn. Het RIVM meldde in de media ook de vermoedelijke redenen: de onderzoekers van Mesdagfonds zouden ook Natura2000-gebieden die bestaan uit water hebben meegeteld, terwijl alleen de 118 stikstofgevoelige gebieden in ogenschouw genomen hadden moeten worden. Ook zou een minder verfijnd raster zijn gebruikt.
Mesdagfonds heeft daarop nader onderzoek ingesteld. Een minder verfijnd raster geeft hooguit een geringe afwijking. Evenmin blijken de ‘waterige’ natuurgebieden de onderliggende oorzaak. Temeer daar de zogenaamde PAS-lijst met 118 gebieden samen met de PAS is vervallen. Momenteel geldt een uitgebreidere lijst, waarop ook gebieden met water staan.[1]
‘Bug’ in OPS-model
De oorzaak blijkt van een geheel andere aard. De onderzoekers van Mesdagfonds hebben direct na de persconferentie volledige transparantie en openbaarheid gegeven van de invoerdata, de runs en uitvoerdata. Op basis van deze informatie signaleerde een oplettende RIVM-medewerker een ‘hickup’ tussen rekenmodel OPS en de invoer vanuit de beschikbaar gestelde databestanden. OPS zou niet goed overweg kunnen met invoerbestanden met meerdere stoffen (in dit geval stikstofoxiden en ammoniak), waardoor er onjuiste resultaten zijn gegenereerd. De RIVM-medewerker gaf aan dat met het ‘opsplitsen’ van de invoer-datasets, de runs wel tot correcte uitkomsten zouden leiden.
Deze ‘bug’ in de OPS-software hebben wij helaas niet kunnen voorzien. Bij de levering van het materiaal door het RIVM was expliciet aangegeven dat hiermee de depositieberekeningen uitgevoerd konden worden. De onderzoekers van Mesdagfonds hebben nauwgezet de door het RIVM beschikbaar gestelde gebruikershandleiding en documentatie gevolgd. Daarin was echter niet opgenomen dat OPS alleen overweg kan met ‘opgesplitste’ invoerbestanden. Sterker nog, bij de invoer geeft OPS juist aan wél overweg te kunnen met meerdere stoffen tegelijk (het invoerveld maakt variabelen mogelijk). OPS deed tijdens de runs verder ‘gewoon’ zijn werk, en rekende de emissies van zowel stikstofoxiden als ammoniak om in stikstofdeposities, ook weer keurig uitgesplitst per stof. OPS gaf daarbij geen enkele controle- of foutmelding. Wanneer een model niet met een bepaalde invoerwijze overweg kan, behoort het model dat te signaleren. Bij OPS ontbreken echter alle gangbare checks op de invoerdata (het model slaat direct aan het rekenen, ook als de invoer niet klopt). Gebruikers behoren hier op gewezen te worden. Dat is niet gebeurd. Pas achteraf werd deze extra ‘gebruikersinstructie’ verstrekt. (Wanneer het RIVM het model inhoudelijk had laten toetsen, zou dit hiaat aan het licht zijn gekomen).
Inmiddels hebben de onderzoekers geconstateerd dat ook de output-bestanden van het RIVM zelf, ten behoeve van de Commissie Remkes, niet matchen met cijfers die het RIVM naar buiten heeft gebracht. Hieruit blijkt een lager aandeel voor de landbouw, dan voorgesteld. Vanuit Mesdagfonds zijn hierover in de afgelopen weken herhaaldelijk vragen gesteld, maar een antwoord blijft tot nu toe uit. De Commissie Remkes bracht in september 2019 een aandeel van 46% voor de landbouw naar buiten (een vergelijkbaar percentage als de depositie op stikstofgevoelige natuurgebieden).
Conclusies die niet ter discussie staan
Uitsluitend het percentage van 25% staat ter discussie. De conclusies die Mesdagfonds naar buiten bracht t.a.v. de effectiviteit van maatregelen en de haalbaarheid van kritische depositiewaarden, staan nadrukkelijk niet ter discussie. Deze conclusies zijn namelijk getrokken op basis van andere datasets en analyses. Onderstaande conclusies staan dus niet ter discussie:
Slotopmerkingen
Mesdagfonds vindt dat rekenmodellen en datasets van de overheid transparant, controleerbaar en reproduceerbaar moeten zijn, conform de wetenschappelijke spelregels die voor iedereen gelden. Externe specialisten, en niet alleen RIVM medewerkers, moeten kunnen werken met het aangeleverde materiaal. Er moet dus een goede, dat wil zeggen volledige, handleiding beschikbaar zijn voor iedereen die deskundig is op het gebied van rekenmodellen en datasets.
Mesdagfonds laat op dit moment de berekeningen omtrent het aandeel landbouw in de stikstofdepositie op natuurgebieden opnieuw uitvoeren. Ook omdat met het vervallen van de PAS niet alleen de 118 stikstofgevoelige gebieden relevant zijn, maar ook een 12-tal waterige gebieden. Mesdagfonds wil extra computercapaciteit inhuren, zodat de rekentijd kan worden bekort.
Met vriendelijke groet,
Jan Cees Vogelaar,
Voorzitter Mesdag Zuivelfonds
Het percentage van 25% in het ‘Mesdagonderzoek’ werd meteen ter discussie gesteld door het RIVM. Het percentage zou te laag zijn. Het RIVM meldde in de media ook de vermoedelijke redenen: de onderzoekers van Mesdagfonds zouden ook Natura2000-gebieden die bestaan uit water hebben meegeteld, terwijl alleen de 118 stikstofgevoelige gebieden in ogenschouw genomen hadden moeten worden. Ook zou een minder verfijnd raster zijn gebruikt.
Mesdagfonds heeft daarop nader onderzoek ingesteld. Een minder verfijnd raster geeft hooguit een geringe afwijking. Evenmin blijken de ‘waterige’ natuurgebieden de onderliggende oorzaak. Temeer daar de zogenaamde PAS-lijst met 118 gebieden samen met de PAS is vervallen. Momenteel geldt een uitgebreidere lijst, waarop ook gebieden met water staan.[1]
‘Bug’ in OPS-model
De oorzaak blijkt van een geheel andere aard. De onderzoekers van Mesdagfonds hebben direct na de persconferentie volledige transparantie en openbaarheid gegeven van de invoerdata, de runs en uitvoerdata. Op basis van deze informatie signaleerde een oplettende RIVM-medewerker een ‘hickup’ tussen rekenmodel OPS en de invoer vanuit de beschikbaar gestelde databestanden. OPS zou niet goed overweg kunnen met invoerbestanden met meerdere stoffen (in dit geval stikstofoxiden en ammoniak), waardoor er onjuiste resultaten zijn gegenereerd. De RIVM-medewerker gaf aan dat met het ‘opsplitsen’ van de invoer-datasets, de runs wel tot correcte uitkomsten zouden leiden.
Deze ‘bug’ in de OPS-software hebben wij helaas niet kunnen voorzien. Bij de levering van het materiaal door het RIVM was expliciet aangegeven dat hiermee de depositieberekeningen uitgevoerd konden worden. De onderzoekers van Mesdagfonds hebben nauwgezet de door het RIVM beschikbaar gestelde gebruikershandleiding en documentatie gevolgd. Daarin was echter niet opgenomen dat OPS alleen overweg kan met ‘opgesplitste’ invoerbestanden. Sterker nog, bij de invoer geeft OPS juist aan wél overweg te kunnen met meerdere stoffen tegelijk (het invoerveld maakt variabelen mogelijk). OPS deed tijdens de runs verder ‘gewoon’ zijn werk, en rekende de emissies van zowel stikstofoxiden als ammoniak om in stikstofdeposities, ook weer keurig uitgesplitst per stof. OPS gaf daarbij geen enkele controle- of foutmelding. Wanneer een model niet met een bepaalde invoerwijze overweg kan, behoort het model dat te signaleren. Bij OPS ontbreken echter alle gangbare checks op de invoerdata (het model slaat direct aan het rekenen, ook als de invoer niet klopt). Gebruikers behoren hier op gewezen te worden. Dat is niet gebeurd. Pas achteraf werd deze extra ‘gebruikersinstructie’ verstrekt. (Wanneer het RIVM het model inhoudelijk had laten toetsen, zou dit hiaat aan het licht zijn gekomen).
Inmiddels hebben de onderzoekers geconstateerd dat ook de output-bestanden van het RIVM zelf, ten behoeve van de Commissie Remkes, niet matchen met cijfers die het RIVM naar buiten heeft gebracht. Hieruit blijkt een lager aandeel voor de landbouw, dan voorgesteld. Vanuit Mesdagfonds zijn hierover in de afgelopen weken herhaaldelijk vragen gesteld, maar een antwoord blijft tot nu toe uit. De Commissie Remkes bracht in september 2019 een aandeel van 46% voor de landbouw naar buiten (een vergelijkbaar percentage als de depositie op stikstofgevoelige natuurgebieden).
Conclusies die niet ter discussie staan
Uitsluitend het percentage van 25% staat ter discussie. De conclusies die Mesdagfonds naar buiten bracht t.a.v. de effectiviteit van maatregelen en de haalbaarheid van kritische depositiewaarden, staan nadrukkelijk niet ter discussie. Deze conclusies zijn namelijk getrokken op basis van andere datasets en analyses. Onderstaande conclusies staan dus niet ter discussie:
- De Commissie Remkes heeft onjuiste cijfers naar buiten gebracht, deze commissie baseerde zich op onvolledige en weinig transparante informatie.
- Ook bij een volledig verbod op de landbouw, wordt de kritische depositiewaarde (stikstofnorm) in zeventig procent van de stikstofgevoelige natuurgebieden niet gehaald.
- De depositie wordt veroorzaakt door heel veel bronnen, die allemaal een klein beetje doen. Het saneren van een aantal ‘piekbelasters’ (volgens de definitie van de minister: bedrijven met hoge emissies) draagt relatief weinig bij aan de stikstofdoelstellingen. Ook omdat er geen lineair verband is tussen emissies en deposities op Natura2000. Kortom: alle kleine beetjes helpen niet.
- De miljardenschades in de bouw waren niet nodig geweest, als de depositieberekeningen voor de vergunningen en vanuit emissieregistratie waren gekoppeld.
Slotopmerkingen
Mesdagfonds vindt dat rekenmodellen en datasets van de overheid transparant, controleerbaar en reproduceerbaar moeten zijn, conform de wetenschappelijke spelregels die voor iedereen gelden. Externe specialisten, en niet alleen RIVM medewerkers, moeten kunnen werken met het aangeleverde materiaal. Er moet dus een goede, dat wil zeggen volledige, handleiding beschikbaar zijn voor iedereen die deskundig is op het gebied van rekenmodellen en datasets.
Mesdagfonds laat op dit moment de berekeningen omtrent het aandeel landbouw in de stikstofdepositie op natuurgebieden opnieuw uitvoeren. Ook omdat met het vervallen van de PAS niet alleen de 118 stikstofgevoelige gebieden relevant zijn, maar ook een 12-tal waterige gebieden. Mesdagfonds wil extra computercapaciteit inhuren, zodat de rekentijd kan worden bekort.
Met vriendelijke groet,
Jan Cees Vogelaar,
Voorzitter Mesdag Zuivelfonds
[1] Toegevoegd op de website van het RIVM op 27 februari 2020: https://www.rivm.nl/stikstof/vragen-en-antwoorden-over-stikstof-en-ammoniak#welke-natura-2000-gebieden-nemen-we-mee-in-de-berekeningen-413401-more