Een hittegolven-rapport dat geen extreme hitte analyseert

Temperatuurrecords van Nederlandse weerstations. Bron: W. in ’t Erland, Onweer Online

Als we de afgelopen weken iets hebben kunnen merken over het klimaat, dan is het wel dat extreme hitte extremer wordt. In Nederland sneuvelde het warmterecord van 38,6°C uit 1944 in Warnsveld. Niet met een beetje, het werd met meer dan 2°C verpulverd. En dat niet alleen: in 3 dagen tijd werden er door de 34 KNMI-weerstations in Nederland maar liefst 24 maximumtemperaturen gemeten boven dat tot dan toe onaantastbare record. Waarvan 9 hoger dan 40°C. Ook elders in West-Europa werden tal van hitte-records verbroken, met temperaturen die een eeuw geleden zo goed als onmogelijk waren.

Hittegolven zoals vorige wk waren vroeger vrijwel onmogelijk. De kans op zulke #hitte is nu 1-2% per jr. Dit blijkt uit studie #WorldWeatherAttribution waaraan ook #KNMI heeft meegewerkt. https://t.co/6cQ53eiThB Kaart: in donkerrode gebieden was 2019 warmste sinds ten minste 1950 pic.twitter.com/FfQh7ACfnE

— KNMI (@KNMI) August 2, 2019

Het is natuurlijk volkomen logisch dat in een warmer klimaat de kans op extreme hitte groter is. Toch blijken er, zelfs na de recente recordregen, mensen te zijn die deze simpele logica weigeren te accepteren. Bijvoorbeeld aan de hand van het rapport van Dijkstra et al. dat de door het KNMI uitgevoerde homogenisatie van de temperatuurdataset van De Bilt bestrijdt. De suggestieve ondertitel maakt duidelijk dat het rapport niet bedoeld is als objectieve contra-expertise, maar als aanval op het KNMI: “Hoe het KNMI historische hittegolven uit de boeken schrapte”. De door het KNMI uitgevoerde homogenisatie werd op dit blog net voor de hittegolf van juli nog bevestigd door de analyse van Tinus Pulles. Omdat de verdachtmakingen daarna gewoon door zijn gegaan zijn we wat dieper in het rapport van Dijkstra c.s. gedoken. En de kwaliteit van wat we aantroffen valt bepaald niet mee. We lichten er hier enkele methodologische missers en onjuistheden uit.

Feiten en misvattingen over de homogenisatie van De Bilt

Op social media komen nogal wat halve waarheden en hele onwaarheden voorbij over de homogenisatie van de temperatuurdata van De Bilt. Daarom hier kort een overzicht van de feiten en de regelmatig terugkerende misvattingen.

In 1950 en 1951 vonden er enkele veranderingen plaats aan het weerstation in De Bilt. De thermometerhut werd vervangen: in plaats van een zogenaamde pagode met een open onderkant kwam er een Stevensonhut. Die biedt een betere afscherming tegen zonlicht, waardoor temperatuurmetingen lager uitvallen, vooral op warme en zonnige dagen. Een jaar later is de thermometerhut verplaatst van een door bomen en gebouwen beschutte locatie naar een open terrein. Ook dit heeft invloed op de metingen. Vermoedelijk moest dit vanwege nieuwbouw snel gebeuren en was er geen tijd voor parallelmetingen.

Om een zo goed mogelijk beeld te krijgen van het werkelijke temperatuurverloop in De Bilt moet er gecorrigeerd worden voor deze veranderingen. Dat gebeurde in 2016 via een statistische analyse waarin KNMI-station Eelde als parallelreeks werd gebruikt, omdat dat station qua ligging en meteorologische omstandigheden het meest overeenkomt met De Bilt. De resultaten van die homogenisatie zijn dit voorjaar nog eens getoetst aan andere beschikbare informatie: vergelijkende metingen tussen pagode en Stevenson in de periode 1947 – 1950, recente parallelmetingen tussen een gereconstrueerde pagode en Stevenson, en vergelijkende metingen uit 2003 – 2005 van verschillende locaties op het KNMI-terrein. Die vergelijkingen laten zien dat de in 2016 uitgevoerde correcties realistisch zijn.

Misvattingen:

• Het spreekt voor zich dat de totale correctie de optelsom is van het effect van de veranderde thermometerhut én de verplaatsing. Pogingen om de homogenisatie verdacht te maken door de totale correctie te vergelijken met het effect van één van die veranderingen zijn misleidend.
• Bij de vergelijking van verschillende locaties op het KNMI-terrein uit 2003 – 2005 is ook op de oude plek van de pagode gemeten. Maar de situatie daar is onvergelijkbaar met destijds, zoals het KNMI uitdrukkelijk meldt: “The results for the former historical site Test1 can probably not be used for correcting the jump in summer maximum temperature around 1951. The temperature observations at this site are too much affected by the growth of trees and placement of buildings since 1951.” Dat de correcties voor de verplaatsing niet overeenkomen met de gemeten verschillen is te verwachten. Toch worden er pogingen gedaan de homogenisatie hiermee verdacht te maken.
• Een rapport van Kramer uit 1954 vergelijkt de pagode een speciaal ontworpen thermometerhut voor micro-meteorologische metingen. Het is dus geen vergelijking dus de pagode en de Stevensonhut, zoals door diverse mensen is beweerd. Stevenson wordt wel zijdelings genoemd, maar de opmerking die hierover wordt gemaakt wordt niet onderbouwd en is bovendien in tegenspraak met de resultaten van de parallelmetingen tussen pagode en Stevenson.

De allergrootste fout: het rapport analyseert helemaal geen hittegolven of extreme temperaturen, maar doet daar toch uitspraken over. Dijkstra en zijn kompanen rekenen voor hun versie van de homogenisatie met jaargemiddelde maximumtemperaturen, en zo hier en daar met het seizoensgemiddelde over de zomer. Door de temperatuur over zo’n lange periode te middelen wordt de meeste informatie over hittegolven simpelweg uit de gegevens verwijderd. Of er wel of geen hittegolf is hangt af van de maximumtemperatuur op een beperkt aantal dagen. Het KNMI-rapport dat ze menen te bekritiseren heeft niet voor niets de titel: Homogenization of daily temperature data of the five principal stations in the Netherlands. Weersextremen zijn bijzonderheden, informatie daarover is alleen te vinden in de details van de metingen. Details die weggegooid worden door de metingen te middelen over een lange periode.

Een tweede probleem van die werkwijze is het beperkte aantal datapunten dat ze overhouden voor hun analyse: enkele tientallen en soms zelfs nog minder. Zo weinig gegevens zijn onvoldoende voor een deugdelijke klimatologische analyse.

Het “raadsel van de verdwenen hittegolven” – dat is de titel van het rapport van Dijkstra et al. – is daarmee opgelost: ze beginnen hun analyse zelf met gegevens waar alle informatie over hittegolven al uit is verdwenen. Om die er later weer in te goochelen met aannames en rekentrucs. Het ideale recept om op de vooraf gewenste uitkomst uit te komen. Maar met wetenschap heeft het niks te maken.

Wat ook niks met wetenschap te maken heeft is het verhaal dat ze houden over een “klimatologische neergang” die er ergens rond 1950 zou zijn. Het enige “bewijs” dat ze ervoor leveren is een kringetje om een kronkel in een temperatuurgrafiek, waarin nog een hele hoop vergelijkbare kronkels te zien zijn. Van een statistische analyse die op een trendbreuk of sprong in de data zou moeten wijzen is geen sprake. De kronkels in de grafiek laten niet het werkelijke temperatuurverloop zien, want dat varieert van jaar tot jaar. Ze zijn verkregen met een zogenaamde LOESS-smooth, dat er zo’n mooie gladde lijn van maakt. Dat filter is toegepast over een span van 8 jaar, een volkomen arbitraire keuze. Voor een klimaatanalyse zou een periode van 30 jaar meer voor de hand hebben gelegen.

Verloop van de maximumtemperatuur in Duitsland en De Bilt, met een verzonnen klimaatsprong. Bron: Dijkstra et al.

Collega-blogger Jos heeft voor de zekerheid nog geprobeerd om met een statistische analyse toch een trendbreuk op te sporen in de Duitse data die Dijkstra heeft gebruikt. Het zal niemand verbazen dat hij die trendbreuk niet heeft kunnen vinden. Als voorbeeld hiernaast het resultaat van een breekpuntanalyse, uitgevoerd met het statistische pakket R (package changepoint – methode PELT), van de jaargemiddelde maximumtemperatuur van Postdam (data van ECA&D). Van een breekpunt rond 1951 is geen sprake. Voor de andere stations die Dijkstra gebruikt is het resultaat niet anders.

Er is hier natuurlijk niet meer of minder aan de hand dan de normale variabiliteit van het weer. De grafiek hieronder van de gemiddelde zomertemperatuur in Duitsland (omdat Dijkstra zo veel naar Duitse temperaturen kijkt doen we dat hier ook maar) geeft nog wat meer informatie. Eind jaren ‘40 waren er enkele erg warme zomers en halverwege de jaren ‘50 kwamen er wat koele zomers voor.

Verloop van de zomertemperatuur in Duitsland van 1881 – 2018. Bron: Deutscher Wetterdienst

De suggestie dat de wetenschappers van het KNMI geen rekening zouden houden met de variabiliteit van het weer is niet alleen een grove onderschatting, maar ook een belediging van de deskundigheid van deze mensen. En het wordt nog erger. Want het lijkt er sterk op dat het groepje van Dijkstra zelf de fout maakt die ze het KNMI impliciet – en onterecht, mocht dat nog niet duidelijk zijn – aanwrijven. Dat komt door de houtje-touwtje methode die ze gebruiken bij hun eigen poging tot homogenisatie en de aannames die ze daarbij doen.

Hun methode vertrekt vanuit de veronderstelling dat het verschil tussen de wat warmere jaren voor 1950 en de wat koelere jaren erna in De Bilt hetzelfde zou moeten zijn als in een set van referentiestations die ze hebben gekozen. De omslachtige manier waarop ze die referentiestations kiezen laten we hier maar even voor wat hij is. De uiteindelijke keuze valt op een aantal stations die allemaal op enige afstand ten zuidoosten van De Bilt liggen. De kaartjes hieronder (Bron: KNMI Klimaatatlas) laten, net als de kaart met records bovenaan deze blogpost, zien waar de meest extreme zomertemperaturen in Nederland voorkomen: in het zuidoosten.

Bron: KNMI Klimaatatlas

Het is natuurlijk ook basale klimaatkennis: verder landinwaarts worden extreme temperaturen extremer omdat de matigende invloed van de zee afneemt. Waarschijnlijk zijn warme zomers in de referentie-stations van Dijkstra dus een stuk warmer dan in De Bilt, terwijl het verschil in koelere zomers kleiner zal zijn. Daarmee zijn die referentiestations niet geschikt voor de methode die ze gebruiken om te homogeniseren, vooral als het gaat om zomertemperaturen of extreme hitte. Dat geldt des te meer als een periode met een aantal warme zomers vergeleken wordt met een periode waarin de zomers relatief koel zijn.

De keuze voor Eelde als referentiestation die het KNMI maakt is dus zo gek nog niet. Op hun website legt het KNMI uit waarom ze Eelde hebben gebruikt:

Vanwege het ontbreken van geschikte parallelmetingen ter plaatse is voor de correctie van De Bilt station Eelde gebruikt als parallelreeks. Qua ligging en weersomstandigheden komt het station het dichts in de buurt van De Bilt. (De kuststations liggen te dicht bij zee, station Beek ligt te hoog en te dicht bij het Maasdal. Daarnaast hebben Eelde en De Bilt een vergelijkbare afstand tot grote wateroppervlakken).

Een vergelijkbaar antwoord heeft Dijkstra in zijn correspondentie met het KNMI gekregen, zo blijkt uit bijlage 3 van het rapport.

Ook wordt er nog gesuggereerd dat Eelde niet geschikt zou zijn als referentie omdat het door het KNMI niet is opgenomen in de Centraal Nederland Temperatuur dataset. Maar de reden daarvoor is niet zozeer meteorologisch of klimatologisch als wel geografisch: Eelde ligt dicht bij Groningen, een deel van het land dat in het algemeen niet tot centraal Nederland wordt gerekend.

Eigenlijk wordt het vrij vroeg in het rapport van Dijkstra al duidelijk wat er nu echt misgaat. Ze melden daar dat het ze niet lukt om (in een spreadsheet) de analyse van het KNMI (uitgevoerd met het specialistische pakket R voor statistische analyses) te reproduceren. In plaats van verder te zoeken naar een verklaring waarom dat niet lukt, of zich af te vragen of ze misschien de finesses van die (best complexe) analyse over het hoofd zien, besluiten ze om het wiel opnieuw uit te vinden. Zonder zich te verdiepen in de wetenschappelijke literatuur over homogenisatie en de methoden die al zijn ontwikkeld.

Ze hadden misschien advies moeten vragen aan Richard Muller, van Berkeley Earth. Die had in 2010 ook zijn twijfels over temperatuurdata en correcties die werden toegepast. En ook hij besloot het allemaal nog eens na te kijken, maar dan zoals een echte wetenschapper dat doet: door zich er grondig in te verdiepen in de bestaande kennis en daarmee een eigen analyse uit te voeren die rekening hield met alle details die ertoe doen. Dat is de wetenschappelijke manier. Op basis van een slecht doordachte natte-vinger-analyse hoog van de toren blazen dat je het beter weet dan alle experts is retoriek, geen wetenschap.

Update, 7 oktober 2019:
https://twitter.com/BenLankamp/status/1180968518038294534