De sceptische top 10 of: waarom klimaatsceptici ongeloofwaardig zijn (3)

Gastblogger Hans Custers behandelt “De 10 redenen waarom er geen klimaatcatastrofe komt” van Climategate.nl

“3. Het enige “fundamentele bewijs” dat klimaatmodellen leveren is dat hun instituten meer geld nodig hebben”

De obligate kritiek van klimaatsceptici op modellen is overbekend. Die kritiek is zonder uitzondering vaag en oppervlakkig. Ik kan me niet herinneren dat ik ooit één klimaatsceptisch verhaal heb gezien dat ook maar één concrete fout of onnauwkeurigheid in de modellen wist aan te wijzen. Laat staan dat men constructief is en met voorstellen voor verbeteringen komt. Je zou bijna gaan denken dat die sceptici helemaal niet weten hoe die modellen precies in elkaar zitten, of hoe ze precies worden gebruikt.

Vaak komt het er op neer dat ze vinden dat het gebruik van modellen in het algemeen en computermodellen in het bijzonder geen “echte wetenschap” zou zijn. Laten we eens bij de bron van alle wijsheid, Wikipedia, kijken wat een wetenschappelijk model precies is: “In een wetenschappelijke of technische context is een model een vereenvoudigde voorstelling, beschrijving of nabootsing van (een deel van) de werkelijkheid.” Een formule – volgens nogal wat mensen het summum van wetenschap – is volgens deze definitie een model. En als we die formule in een spreadsheet zetten hebben we een computermodel! Dat er iets principieel mis zou zijn met het gebruik van modellen is dus niet zo’n sterk argument.

Er is nog een veel voorkomend misverstand: dat de modellen bedoeld zijn om het klimaat te voorspellen. Dat is niet het geval. De modellen laten zien wat de invloed van verschillende factoren is op het klimaat, en dus ook van veranderingen in deze factoren. Maar geen enkele klimatoloog zal beweren dat hij al die factoren jaren of zelfs decennia vooruit kan voorspellen. Sterker nog, prognoses van bijvoorbeeld de zonne-activiteit, vulkanische activiteit en zelfs broeikasgasemissies vallen helemaal niet onder het vakgebied van de klimaatwetenschap. Dat is het werk van astronomen en astrofysici, vulkanologen en geologen, economen en ingenieurs. Het IPCC heeft het om deze reden in zijn rapporten over projecties in plaats van voorspellingen. Die projecties geven de te verwachten invloed van een toename van broeikasgassen in de atmosfeer aan, volgens een aantal scenario’s. Niets meer, niets minder.

ipcc_ar4_wg1_ch1_fig_1_4_big

Schets van de ontwikkeling van klimaatmodellen ten tijde van de IPCC rapporten uit 1990 (FAR), 1995 (SAR), 2001 (TAR) en 2007 (AR4)

Toch is er wel een reden om kritisch naar het gebruik van computermodellen te kijken. De beschikbaarheid van steeds krachtigere betaalbare computers heeft in tal van wetenschappelijke disciplines geleid tot de ontwikkeling van uiterst complexe computermodellen, die altijd, zoals elk model, hun beperkingen en randvoorwaarden hebben. Onoordeelkundig gebruik – “even wat berekeningen doen” – ligt altijd op de loer als iemand zo’n model gebruikt zonder voldoende kennis van de achterliggende wetenschap. Er zijn vast wel ergens op de wereld klimaatwetenschappers die dergelijke fouten maken, maar ze duiken zelden of nooit op in de wetenschappelijke literatuur.  Omdat er ook meer dan genoeg klimatologen zijn die de modellen wel door en door kennen en die zulke fouten er uit vissen in het peer review proces.

Toch wil ik nog wel een stapje meegaan met de sceptici. Laten we nu eens aannemen dat de modellen tot op heden helemaal niks bruikbaars op hebben geleverd. Waar zou de wetenschap dan staan? Dan beginnen we gewoon bij enkele ouderwetse, onomstreden natuurwetenschappelijke inzichten:

  1. Het broeikaseffect. Geen enkele serieuze natuurwetenschapper stelt dit fenomeen ter discussie. Er zijn klimaatsceptici die beweren dat het broeikaseffect niet bestaat, maar die kunnen we vergelijken met de strijders tegen het werk van Copernicus of Einstein. Ergens is er een grens; we kunnen niet alles serieus nemen.
  2. De dampspanning van water stijgt bij een toenemende temperatuur. Een groot deel van het aardoppervlak bestaat uit water, bij opwarming komt er daardoor meer waterdamp in de lucht. Waterdamp is een broeikasgas en versterkt dus de opwarming.
  3. Sneeuw en ijs weerkaatsen zonlicht en hebben daarmee een verkoelend effect op de aarde.In een warmer wordend klimaat smelten gletsjers en poolijs, wat de opwarming versterkt.

Allemaal feiten die een halve eeuw geleden ook al bekend waren. En daarom maakte de wetenschap zich destijds ook al zorgen over de klimaatverandering. In het Amerikaanse tv-programma “Bell Telephone Science Hour” werd in 1958 al aandacht besteed aan dit onderwerp. Zonder dat het een storm van verontwaardiging ontketende over een groen-socialistisch complot; en dat zo vlak na de fanatieke communistenjacht van McCarthy!

De sceptici suggereren vaak dat de wetenschap, en met name de klimaatwetenschap, aan overhaaste paniekzaaierij doet. Het tegendeel is het geval: wetenschappers zijn juist heel terughoudend met het doen van stellige uitspraken. En dus werd klimaatverandering meer dan vijftig jaar geleden al als een reële optie beschouwd, maar hield men nog lang een slag om de arm. Omdat men vond dat men nog onvoldoende begreep van het klimaatsysteem; omdat men er rekening mee hield dat het, zoals zo vaak voorkomt in de natuur, bepaalde verstoringen zelf op zou kunnen vangen. Hoezeer men sindsdien, onder meer met het gebruik van modellen, ook heeft gezocht naar een dergelijk zelfherstellend vermogen, men heeft het niet kunnen vinden. De nogal ontnuchterende conclusie: met alle inzicht en kennis die men de afgelopen 50 jaar heeft opgedaan blijken de projecties van het IPCC heel goed overeen te komen met wat men ooit, op basis van relatief eenvoudige natuurwetenschap verwachtte. Anders gezegd: hoe hard men ook gezocht heeft, men heeft geen reden gevonden waarom die onomstreden natuurwetenschap niet van toepassing zou zijn.

Tglobal_giss_verification

De “oermodellen”, dertig jaar later: vergelijking van modelberekeningen van Hansen uit 1981 met daadwerkelijke waarnemingen

Ik zou nog in kunnen gaan op de term “fundamenteel bewijs”, maar ik laat het er maar bij dat die op gespannen voet staat met de ideeën over wetenschap van de door sceptici zo vaak aangehaalde Karl Popper. En dat geld, daar kom ik bij punt 10 op terug.

Enkele aanvullende links:

  1. Paul N. Edwards, History of Climate Modeling (pdf)
  2. Geert Jan van Oldenborgh and Rein Haarsma beoordelen ruim 30 jaar later de modelberekeningen van Hansen et al uit 1981 op Realclimate

Eerdere delen van deze serie:

About these ads

32 Reacties op “De sceptische top 10 of: waarom klimaatsceptici ongeloofwaardig zijn (3)

  1. Er is nog een veel voorkomend misverstand: dat de modellen bedoeld zijn om het klimaat te voorspellen. Dat is niet het geval.

    De meeste wetenschappers, die proberen om de natuur met rekenkundige modellen na te bootsen, doen dat om voorspellingen te doen over de toekomst.
    Astronomen berekenen de baan van objecten door het heelal om te kunnen voorspellen waar deze objecten zich in de toekomst zullen bevinden.
    Biologen proberen de omvang van een populatie te omschrijven door wiskundige formules om te kunnen voorspellen of de populatie tot een plaag zal uitgroeien of zal uitsterven.
    Economen proberen met wiskundige modellen te voorspellen of we in de toekomst meer of minder hoogopgeleiden nodig hebben.
    Dat klimatologen geen enkele interesse hebben om het toekomstige klimaat te voorspellen, gaat er bij mij niet in.

    De modellen laten zien wat de invloed van verschillende factoren is op het klimaat, en dus ook van veranderingen in deze factoren.
    Om een goed model te maken, moet je eerst doorgronden welke factoren er van belang zijn voor het klimaat.
    Alleen van omgevingsfactoren, die je in het klimaatmodel hebt toegelaten, zul je de invloed met behulp van het model kunnen aantonen.
    Als je de hoeveelheid bewolking geen factor is in je klimaatmodel, dan zal een toename van de hoeveelheid bewolking ook geen enkel effect hebben op de uitkomsten van je model.

    Uiteindelijk zul je de uitkomsten van het klimaatmodel moeten toetsen aan de werkelijkheid (dit staat letterlijk in het verhaal van Paul Edwards, waar je naar verwijst) om te achterhalen of je model een goede weergave is van de werkelijkheid.
    Het is in de wetenschap gebruikelijk om met een model toetsbare voorspellingen te doen en die vervolgens te vergelijken met metingen.

  2. Hans Custers

    Hans,

    Lees alsjeblieft even de hele alinea die begint met “Er is nog een veel voorkomend misverstand” Wat is daar niet duidelijk aan? Overigens zijn wetenschappers niet in eerste instantie uit op het doen van voorspellingen, ook niet als ze modellen gebruiken. Het gaat eerst en vooral om het beschrijven en begrijpen. Naarmate je een systeem beter begrijpt kun je het gedrag ervan ook beter voorspellen, dat wel.

    Natuurlijk moet je eerst doorgronden welke factoren van invloed zijn, voordat je een goed model kunt maken. Dat is zo voor de hand liggend dat het me overbodig leek om dat op te schrijven. Er is ook geen enkele reden om aan te nemen dat de klimaatwetenschap dat niet weet. Volgende week komt dit verder aan de orde.

    Het is in de wetenschap gebruikelijk om met een model toetsbare voorspellingen te doen en die vervolgens te vergelijken met metingen. Idealiter is dat zo. Maar er worden tegenwoordig in talloze wetenschappelijke disciplines modellen gebruikt waarmee dat niet meer zo maar kan. En dus moet men die modellen op andere manieren valideren. Bijvoorbeeld het verleden reconstrueren met dat model. Hoe beter een model dat kan op basis van fysica – dus zonder curve fitting en matsfactoren – hoe beter het model, zou ik uit de losse pols zeggen.

  3. Hans, de alinea en je uitleg hierboven kan ik heel goed volgen. Maar de eerste twee zinnen wekken (bij mij) de verkeerde indruk.

    Er is nog een veel voorkomend misverstand: dat de modellen bedoeld zijn om het klimaat te voorspellen. Dat is niet het geval.
    Als je dit leest lijkt het of voorspellingen van de modellen helemaal niet getoetst hoeven te worden aan toekomstige metingen.

    In de praktijk worden de klimaatmodellen vooral gebruikt door politici en wetenschappers om klimaatbeleid voor de toekomst te formuleren. Als jij vindt dat de klimaatmodellen daar niet geschikt voor zijn, dan zul jij dat toch wel afkeuren.

  4. Beste Hans Verbeek,

    Je lijkt wel een ‘klimaatscepticus’: die doen vooral aan quote-mining, dus een enkel zinnetje uit de context lichten en de uitleg die in dezelfde alinea staat, negeren. De enige manier om dat te voorkomen is letterlijk elke zin voorzien van ‘in principle’, ‘properly considered’, ‘about’, ‘viewed in context’ en meer van die termen. Ook kan je proberen om het gehele betoog in één zin met talloze bijzinnen te proppen. ;)

    Dat is nóg geen garantie tegen dergelijke praktijken, want dan knippen de quote-miners alle kwalificaties er uit, of ze plakken wat zinnen achter elkaar terwijl de tussenliggende zinnen zonder meer worden weggelaten. Een voorbeeld is de manier waarop de tekst van Ottmar Edenhofer uit z’n verband werd geknipt, om er een geheel andere betekenis aan mee te geven:

    http://www.nrc.nl/klimaat/2011/09/30/onzekerheid-schuurt-tussen-beleid-en-wetenschap/#comment-5150

    Hoe dan ook, in hoofdlijnen ben ik het eens met Hans Custers: ‘de modellen’ zijn vooral bedoeld om de processen die zij nabootsen en beschrijven, beter te gaan begrijpen. Ook kan je modellen (of beter: numerieke simulaties) benutten om ‘virtuele experimenten’ uit te voeren en hypothesen te testen.

    Ik denk niet dat je projecties van klimaatmodellen één-op-één kan gebruiken om: “klimaatbeleid voor de toekomst te formuleren.” In de praktijk wordt het klimaatbeleid (voor zover er überhaupt klimaatbeleid is) vooral ingegeven door politieke haalbaarheid en weging van belangen. Dat komt onder andere tot uitdrukking in de missie van het IPCC: “Policy relevant, but not policy prescriptive.

  5. Ik heb die reacties van Bob Brand in de NRC van oktober gelezen.
    Dan komt er een uitspraak:
    CO2 emitteert warmte en daardoor wordt de atmospheer warm.

    Ik heb een en ander in een model gestopt.
    Daaruit volgt dat CO2 warmte absorbeerd en onmiddelijk weer uitstraalt.
    Omdat CO2 warm wordt gehouden door de atmospheer (99% O2 en N2) en die atmospheer een temperatuur heeft bepaald door de environmental lapse rate, straalt het CO2 meer uit dan het ontvangt!
    Dus lees dat artikel van me, het begint met een one-slab model dat klassiek is en iedereen met een middelbare beta schoolopleiding kan volgen.
    Dat model is natuurlijk niet representatief voor de atmosfeer.
    Het multilayer model is mathematisch wat moeilijker maar dat model van 50 lagen beschrijft wel de atmosfeer.
    De conclusie is dat het alarmisme van IPCC en KNMI is gebasserd op verkeerde software!
    Veel plezier.

    http://www.tech-know-group.com/papers/IR-absorption_updated.pdf

  6. Beste Hans Custers,

    Mooie inleiding. Ik heb een aantal vragen c.q. opmerkingen:
    1. Je citeert Wikipedia: “In een wetenschappelijke of technische context is een model een vereenvoudigde voorstelling, beschrijving of nabootsing van (een deel van) de werkelijkheid.” Het gaat mij om de laatste twee woorden: ‘de werkelijkheid’. Dat is namelijk geen absoluut begrip; het kan voor een deel persoonlijk ingekleurd worden. Ik zou er een woordje tussen zetten: ‘de veronderstelde werkelijkheid’. Een model is dan niet – zoals in de eerste definitie – een nabootsing van de werkelijkheid, maar een middel om tot een beter zicht op de werkelijkheid te komen. Een iteratief proces dus, waarin waarnemingen en modelleerwerk in overeenstemming gebracht worden. Zoals Hans Verbeek reeds aanhaalde: je model staat en valt dan met de parameters die je er – al dan niet – instopt;
    2. In je eerste alinea gooi je, zonder enig onderscheid, de ‘klimaatsceptici’ weer eens in één (verdom)hoek. In het kader van andere threads op deze site, heb ik daar kanttekeningen bij geplaatst. Nu zou ik je willen vragen: wat is in jouw ogen een ‘klimaatscepticus’? Iemand die onderbouwde kritiek levert op IPCC? Iemand die niet tot de veel aangehaalde ‘97%’ behoort? Anders? Gaarne een reactie;
    3. Je noemt Copernicus als voorbeeld. Maar, in jouw definitie, was hij juist een rasechte scepticus. Want hij verzette zich indertijd tegen de – wereldwijd en langdurig – geaccepteerde wetenschappelijke visie op ‘de werkelijkheid’ van Ptolemaeus. Zou jij hem toen ook in het verdomhoekje hebben weggezet?

    Bert

  7. absorbeerd moet zijn absorbeert
    atmospheer moet zijn atmosfeer
    sorry

  8. Hans Custers

    Hans,

    Je citeert de inleidende zin van een alinea, in de rest van de alinea leg ik uit wat ik er precies mee bedoel. Du als je die alinea begrijpt, zou je die inleidende zin ook moeten begrijpen.

    In de praktijk worden de klimaatmodellen vooral gebruikt door politici en wetenschappers om klimaatbeleid voor de toekomst te formuleren. Als jij vindt dat de klimaatmodellen daar niet geschikt voor zijn, dan zul jij dat toch wel afkeuren.

    Twee keer mis. Ten eerste zijn modellen eerst en vooral een gereedschap voor wetenschappers om hun ideeën en hypotheses te testen. Bij gebrek aan laboratorium-aardetjes. Ten tweede heb ik helemaal nergens beweerd dat modelberekeningen (dus niet de modellen op zich) niet geschikt zouden zijn om beleid op te baseren. Zolang men zich maar realiseert dat die berekeningen slechts de effecten van bepaalde scenario’s laten zien en niet de waarheid, de volledige waarheid en niets dan de waarheid.

    @ Bert,

    1. Helemaal mee eens. Die definitie van Wikipedia is zeker niet perfect. En dat (de voorspellingen van) een model staan of vallen met (de voorspelbaarheid van) de parameters die er in zitten is nou net één van dingen die ik probeer duidelijk te maken.
    2. Ik behandel een aantal veel voorkomende klimaatsceptische argumenten en ja, dan generaliseer ik wel eens een beetje. Iedereen moet zelf maar uitmaken of hij zich aangesproken voelt met dat “de klimaatsceptici”. Goed, misschien had ik beter “veel sceptici” kunnen schrijven, ik zal mijn best doen om dat in de toekomst te doen, maar ik durf niet te beloven dat dat altijd lukt.
    3. Een scepticus is niet per definitie iemand die tegen breed gedragen (wetenschappelijke) opvattingen in gaat. Integendeel. De ervaring leert dat de meeste zelfverklaarde opvolgers van Copernicus of Galilei er helemaal naast zitten en alleen maar volharden omdat ze niet in staat zijn kritisch naar zichzelf te kijken. Ze zijn dus juist niet sceptisch. Dwarsliggers die het wel bij het goede eind hebben en daarmee de wetenschap helemaal op zijn kop zetten zijn heel, heel zeldzaam.

  9. Hans Custers

    @ JWR

    Ik heb expliciet aangegeven dat het ontkennen van het broeikaseffect voor mij een brug te ver is. Dat is onomstreden wetenschap, Met een paar minuutjes googelen kun je talloze overtuigende weerleggingen van je ideeën vinden. Mocht je alsnog verder willen discussiëren over dit onderwerp, dan stel ik voor dat je dat bij de open discussie doet.

  10. Beste Bert,

    Over je punt 2: de definitie van ‘klimaatscepticus’ is vooral een operationele definitie – het zijn de lui die de bovenstaande ‘tien redenen’ hebben verzonnen en die zichzelf identificeren en afficheren als klimaatscepticus. Ook tel ik daartoe de Labohm’s, Anton Bakker’s, Vruggink’s, Matthijssen’s en Geraedtsen die zich op het blog van Paul Luttikhuis luidkeels verzetten tegen de gevestigde wetenschap en zich identificeren als klimaatscepticus.

    ‘Reden 3′ hoor of lees ik ook vaak elders, bijvoorbeeld op WUWT, dus het lijkt wel degelijk een veelvuldig gekoesterde misvatting te zijn onder degenen die zich met klimaatscepticisme identificeren. Mijns inziens is de term ‘klimaatscepticus’ vooral een benaming voor een bepaalde politieke en ideologische categorie.

    Ik tref maar weinig echte skepsis aan in die kringen, juist het tegendeel: het elke keer slaafs napapegaaien van het laatste nieuwtje op WUWT. Enige kritische zin ontbreekt – men weet dikwijls niet goed wat er bedoeld wordt, checkt het al helemaal niet, maar kopieert-en-plakt het zonder meer. De pseudo-skeptische blogosphere is een soort van ideologische echoput: ideaal voor het verspreiden van hypes en propaganda.

    Iemand die onderbouwde kritiek levert op IPCC?

    Onderbouwd?

    Het IPCC heeft een enorme proces ingericht om terechte kritiek (het simpelweg meesturen van ‘een onderbouwing’ wil nog niet zeggen dat deze onderbouwing correct is) te verwerken: peer-review, en daarnaast meer dan 800 externe reviewers die elke stap mee kunnen lezen. Iedere vraag moet beantwoordt worden. Editors zien toe op het proces en bevragen continu de (lead) authors.

    Het IPCC is bij uitstek een onderneming waar ‘de onderbouwde kritiek’ al in verwerkt wordt in de connlcusies – zie onze eerdere discussie over de versnelling van zeespiegelstijging. We waren er toch uit dat het IPCC terecht tot de (voorlopige) conclusies is gekomen?

    Alleen de aanwezigheid van ‘een onderbouwing’ is niet afdoende, Bert. Deze moet op zijn beurt kritisch bekeken worden en getoetst worden aan ‘the whole body of evidence.’

  11. Beste Hans en Bob,

    Dank. Ik ben het eigenlijk grotendeels met jullie eens.

    Ik las onlangs het volgende:

    “Scepsis – twijfel, wantrouwen, onzekerheid – is een groot goed. Scepsis is een cruciale houding voor wie waarheidsvinding nastreeft. In zekere zin is wetenschap niets anders dan georganiseerde scepsis. Zonder twijfel aan bestaande overtuigingen kan de menselijke kennis niet vooruit. De scepticus valt dan ook te prijzen om zijn aanhoudende argwaan jegens wetenschappelijke dogma’s”.

    Ik denk dat veel van de sceptici die Bob noemt, niet in deze omschrijving passen. Je moet kijken naar de kwaliteit van argumenten die naar voren gebracht worden, uit welke hoek dan ook.

  12. Even over het onderwerp: klimaatmodellen (Global Circulation Models).

    Tijdens de American Geophysical Union meeting in november hield prof. Raymond Pierrehumbert een mooi college, de Tyndall lecture, over succesful predictions:

    Warm aan te bevelen, humoristisch en verrassend. Er zit in de tweede helft een goede grap, waar ik echt dacht: ‘Hé? Wat gaat-ie nou zeggen?’ Maar even later werd het duidelijk. :)

    De lezing duurt een uur, is makkelijk te volgen en bestaat alleen uit de stem van Pierrehumbert + duidelijke sheets. De intro duurt tot ca. 4:10.

  13. Even op 720 HD schakelen… :)

  14. Experts work better with models, and just as importantly, models work better with experts. Neither one is as strong as both of them together.

    Commentaar van Idiot Tracker op het boek van Nate Silver:
    “The Signal and the Noise”

    http://theidiottracker.blogspot.co.uk/2012/12/the-signal-and-noise-king-of-nerds-on.html

  15. Rinus van Wallenburg

    Mening over modellen en de gevolgen ervan in vier punten.
    1. Een model is een vereenvoudigde weergave van een deel van de werkelijkheid. De juistheid van het model hangt onder meer af van de mate, waarin we dat deel van de werkelijkheid kennen. Bij de modellen,waarom het hier gaat, eerst klimaatmodellen genoemd maar inmiddels uitgebreid tot aardesysteem modellen, is de kennis op tal van essentiële punten beperkt zoals onder meer te constateren is bij lezing van deel 1 van IPCC 2007. Daarom is er onvoldoende zicht op de betrouwbaarheid van vooruitberekeningen, die op basis van deze modellen worden gemaakt. Met deze mening wordt niet bedoeld afbreuk te doen aan het nut van de modellen (verbeterd inzicht in de complexe samenhang) en van het vele werk dat er voor is verricht. Maar het is een gigantisch karwei, omdat het een groot deel van de werkelijkheid omvat.
    2. De vermelding van vooruitberekenings-scenario’s in de IPCC-publicaties heeft in de politiek de toch al bestaande opvatting van de voorspelbaarheid en maakbaarheid van de toekomst versterkt. Vermoedelijk werkt dat remmend op het voeren van een actief beleid tot beperking van de fossiele uitstoot. Vermoedelijk, er zijn helaas vele andere remmen.
    3. Voor het verdedigen van mitigatie- en adaptatiebeleid hebben we de modellen niet nodig.
    4. De kans is groot, dat de IPCC-naam door de opname van de vooruitberekeningsscenario’s in de publicaties in diskrediet zal worden gebracht.

  16. Hans Custers

    Rinus,

    Ik ben het grotendeels eens met je eerste punt. Met een kanttekening: hoeveel kennis we ook hebben, er is altijd nog veel meer dat we niet weten. Natuurlijk moet je altijd rekening houden met de leemtes en onzekerheden die er nog zijn, maar we zullen het moeten doen met wat we wel weten. Sinds de Verlichting hebben we het zo’n beetje op die manier gedaan en dat heeft niet slecht gewerkt….

    Scenario- en modelberekeningen worden in vrijwel alle beleidsterreinen gebruikt. Politici en ambtenaren zouden daar mee om moeten kunnen gaan, als blijkt dat in de praktijk nog wel eens problematisch. Dit is niet iets dat specifiek voor klimaatmodellen geldt.

    Het is inmiddels overduidelijk dat de klimaatsceptische campagne alle zin en onzin die ze te pakken krijgen gebruikt om het IPCC in diskrediet te brengen. De enige manier om dat te voorkomen zou zijn: het opheffen van het IPCC. Dat lijkt me niet de bedoeling.

  17. Hallo Pieter,

    Grappig wel, dat verhaal op ‘Idiot Tracker’. Met de meeste punten ben ik het eens, het zijn hier en daar wel een beetje open deuren. :)

    Als ik het zo lees verwart Nate Silver stochastische modellen (Bayesian predictions) met fysische modellen. De General Circulation Models (GCMs) – want daar gaat het over als men het over ‘de klimaatmodellen’ heeft – zijn gebaseerd op de natuurwetten en niet op kansrekening. Dat neemt niet weg dat er ook steeds meer Bayesian analyse gebruikt wordt, om bijvoorbeeld ‘priors’ (voorspellingen) van klimaatmodellen over het Last Glacial Maximum te vergelijken met de ‘posterior’ zoals die blijkt uit de paleologie van die periode.

    Het prima artikel van Michael Mann zegt het eigenlijk helemaal:

    http://www.huffingtonpost.com/michael-e-mann/nate-silver-climate-change_b_1909482.html

    Het is grappig om te lezen dat die Nate Silver eerst langs ging bij Mann, voor hij iets over ‘climate predictions’ schreef. Mann schrijft o.a.:

    He accepts that human-caused climate change is real, and that it represents a challenge and potential threat. But he falls victim to a fallacy that has become all too common among those who view the issue through the prism of economics rather than science. Nate conflates problems of prediction in the realm of human behavior — where there are no fundamental governing ‘laws’ and any “predictions” are potentially laden with subjective and untestable assumptions — with problems such as climate change, which are governed by laws of physics, like the greenhouse effect, that are true whether or not you choose to believe them.

    Ik zou aanraden om dat artikel helemaal te lezen..

  18. Oeps, ik heb niet opgelet qua opmaak. Hierbij nogmaals, nu gecorrigeerd.

    Grappig wel, dat verhaal op ‘Idiot Tracker’. Met de meeste punten ben ik het eens, het zijn wel een beetje open deuren. :)

    Als ik het zo lees verwart Nate Silver stochastische modellen (Bayesian predictions) met fysische modellen. De General Circulation Models (GCMs) – want daar gaat het over als men het over ‘de klimaatmodellen’ heeft – zijn gebaseerd op de natuurwetten en niet op kansrekening. Dat neemt niet weg dat er ook steeds meer Bayesian analyse gebruikt wordt, om bijvoorbeeld ‘priors’ (voorspellingen) van klimaatmodellen over het Last Glacial Maximum te vergelijken met de ‘posterior’ zoals die blijkt uit de paleologie van die periode.

    Het prima artikel van Michael Mann zegt het eigenlijk helemaal:

    http://www.huffingtonpost.com/michael-e-mann/nate-silver-climate-change_b_1909482.html

    Het is grappig om te lezen dat die Nate Silver eerst langs ging bij Mann, voor hij iets over ‘climate predictions’ schreef. Mann schrijft o.a.:

    He accepts that human-caused climate change is real, and that it represents a challenge and potential threat. But he falls victim to a fallacy that has become all too common among those who view the issue through the prism of economics rather than science. Nate conflates problems of prediction in the realm of human behavior — where there are no fundamental governing ‘laws’ and any “predictions” are potentially laden with subjective and untestable assumptions — with problems such as climate change, which are governed by laws of physics, like the greenhouse effect, that are true whether or not you choose to believe them.

    Ik zou aanraden om dat artikel helemaal te lezen…

  19. Rinus van Wallenburg

    @ Hans Custers
    Grote kans, dat de naam IPCC in diskrediet gebracht wordt door eigen handelen, het opnemen van vooruitberekeningen (of projecties of prognoses of scenario’s of hoe je het noemen wil) in de publicaties. Politici, andere beleidsmakers, de media, de samenleving in het algemeen, zijn matig of helemaal niet geïnteresseerd in klimaatwetenschap maar wel in de prognoses. Over de Club van Rome wordt tegenwoordig alleen maar lacherig gedaan ondanks hun pionierswerk. En bij het Nederlandse CPB halen we onze schouders op nadat ze voor de zoveelste keer een omslag niet hebben voorzien. Mijn inschatting is, dat het met de IPCC naam ook zo zal gaan. Jammer want er wordt onder de IPCC-naam waardevol werk verricht. De ontkenners kunnen dus rustig afwachten.
    Zij-opmerking: Ik wil de term “het IPCC”niet gebruiken, want dat bestaat eigenlijk niet. Het is een wonderlijke organisatievorm maar dat is een ander onderwerp dan discussiepunt 3.

  20. Beste Rinus van Wallenberg,

    Het is geen keuze van het IPCC om de verschillende projecties van de klimaatverandering te beoordelen, en deze samen te vatten in de IPCC rapporten – het is hun officiële opdracht. Zij moeten dat doen, in opdracht van de VN lidstaten die voor de oprichting van het IPCC (als dochterorganisatie van de World Meteorological Organisation en het UNEP) gestemd hebben:

    http://www.ipcc.ch/pdf/ipcc-principles/ipcc-principles.pdf

    De hoofdstukindeling van élk IPCC Assessment Report wordt telkens opgesteld in een plenaire vergadering van de VN, waar nu bijvoorbeeld een separaat hoofdstuk over wolken en aerolen is toegevoegd. Ook zijn er nu afzonderlijke hoofdstukken over de near-term en long-term klimaatprojecties toegevoegd – op verzoek van de opdrachtgevers, de VN lidstaten.

    Het IPCC bestaat wel degelijk, en heeft een vergelijkbare status als bijvoorbeeld de World Trade Organization of UNESCO: het is een intergouvernementele organisatie, opgericht door de lidstaten van de VN.

    Meer on-topic: de meeste klimaatprojecties uit het 1e, 2e en 3e Asseesment Report van het IPCC zijn inmiddels gewoon uitgekomen (waar er al voldoende tijd verstreken is), hoewel de klimaatverandering over het algemeen wel aanzienlijk sneller verloopt dan de meeste projecties aangegeven hebben. Het is mij dus een raadsel waarom het IPCC “in diskrediet gebracht zou worden.”

  21. Excuus: van WallenbUrg, uiteraard. :)

  22. Rinus van Wallenburg

    @ Bob Brand
    Bedankt voor je bijlage over de IPCC-opdracht. Ik had die nog nooit gelezen en het is nuttig om er kennis te nemen. In dat kader is het ook voorbarig van me kritiek te hebben op het feit, dat het IPCC (ik zal die term dan maar gebruiken, het formuleert minder moeizaam) projecties maakt, indien dat de opdracht is. Evenwel: in het opdrachtdocument komt de term projectie of een andere term met dezelfde strekking niet voor. Staat die misschien in een ander document? Voorlopig handhaaf ik daarom mijn stelling, dat het IPCC geen vooruitberekeningen moet maken omdat de kennis daarvoor onvoldoende is.
    Het IPCC is nog maar kort bezig. De positie is kwetsbaar door de combinatie van :
    a. Onhelispellende berichten (Utrecht aan Zee enz) in de media.
    b. IPCC maakt vooruitberekeningen.
    Juist vanwege die vooruitberekeningen wordt met spanning uitgekeken naar de volgende editie. Er wordt naar mijn mening veel te veel betekenis aan toegekend. Het IPCC doet nuttig werk door te rapporteren over nieuwe inzichten en door de recente ontwikkeling te analyseren, de gevolgen daarvan aan te geven en door te rapporteren over de voortgang van mitigatie en adaptatie. Maar de profetie – je zult dat wel geen goed woord vinden – kan het de das om doen .De ontkenners staan te popelen.

  23. Hi Rinus,

    Het feit dat er desinformanten/ontkenners zijn die proberen om de klimaatprojecties (en het IPCC) in een kwaad daglicht te stellen, is géén reden om dan maar geen klimaatprojecties meer te maken. Het is eerder een reden om goed uit te leggen wat klimaatprojecties inhouden en wat ze wel en niet kunnen.

    Ook is het een reden om desinformatie aan de kaak te stellen, bijvoorbeeld de misleidende neiging van ontkenners om bij de temperatuurpiek van de Super El Niño van winter ’97/’98 te beginnen met hun trendlijntjes (‘de laatste 16 jaar… blablabla). Deze Super El Niño heeft zo’n +0,25 °C toegevoegd aan de mondiale temperaturen in ’98, en de overwegend La Niña condities van 2008 en 2011 hebben daarentegen -0,15 °C toegevoegd aan het eind van dat trendlijntje.

    Het gevolg is dat er tussen ’98 en 2011 een ‘bias’ is van totaal +0,40 °C (de bovenstaande afwijkingen opgeteld) die door de opwarming overwonnen moet worden voordat je een positieve trend ziet (en dan tel ik de negatieve zonnevlekken-cyclus over ’98-2011 niet eens mee). Desondanks zijn 2010 en 2005 al weer warmer dan 1998 en is er een (kleine) stijgende trend over de laatste 15 jaar.

    Back on-topic: wat kunnen klimaatmodellen (GCM’s) in principe dan niet? Wat ze NIET kunnen is eenmalige of chaotische verschijnselen voorspellen zoals:

    * wannéér die El Niño’s op gaan treden (bijv. aan het begin of einde van de te projecteren periode);

    * wanneer vulkaanerupties optreden;

    * hoe groot of klein de volgende zonnecycli gaan worden;

    * het weer, dus wat de korte-termijn variaties op de lange-termijn trend gaan worden en in welke jaren die vallen.

    En dat is precies de reden waarom de klimaatmodellen alleen gemiddelde trends voorspellen over perioden van ca. 30 jaar en langer. En dus NIET dat elk individueel decennium daaraan gaat voldoen (dat kan niet, om bovengenoemde redenen) maar dat de trend, over de gehele periode bekeken, binnen de spreiding van het model zal vallen.

    Daarom gaven bijv. de IPCC 2007 projecties: een trend tussen +0,13 °C/decennium en +0,30 °C/decennium. De werkelijk geobserveerde trend is +0,16 °C/decennium sinds 1990.

    Wat kunnen klimaatprojecties/modellen WEL, dat nogal eens vergeten wordt? Ze tonen o.a. de 2-dimensionale verdeling van de opwarming over de aarde, dus ook het sneller opwarmen van het Noordpool-gebied en van landmassa’s. Dat is niet voorgeprogrammeerd maar een gevolg van de simulatie op basis van natuurwetten, het is emergent behavior zoals dat heet. Ook veranderingen in neerslag en sneeuwbedekking worden ‘voorspeld’, en kloppen heel behoorlijk.

    Aanrader: lees deze uitstekende, zeer goed geschreven column van een meteoroloog die voor de American Geophysical Union blogt:

    http://blogs.agu.org/wildwildscience/2012/12/11/ipcc-climate-forecast-from-1990-amazingly-accurate/

    En bekijk daarna de presentatie waar deze meteoroloog, Dan Satterfield, naar linkt in zijn blog. De presentatiie is van de AGU meeting in San Francisco van enkele weken geleden, en toont precies wat er wel en niet goed gaat qua klimaatprojecties…

  24. Rinus van Wallenburg

    In de inleiding bij dit discussiepunt wordt onder meer opgemerkt: ‘”Je zou bijna gaan denken dat die sceptici helemaal niet weten hoe die modellen precies in elkaar zitten, of hoe ze precies worden gebruikt.”
    Het is de laatste zin van een alinea. Uit die alinea is op te maken dat Hans Custers met sceptici de allesontkenners bedoelt. Maar neem nou eens een echte scepticus, die als grondhouding heeft, dat wat door wie dan ook wordt beweerd, op aannemelijkheid moet worden onderzocht. Kan die scepticus inzicht krijgen in de modellen?
    Ik heb maar een klein deel van de literatuur gelezen maar meer dan volledig ontoereikende beschrijvingen heb ik niet gevonden.Mijn vraag aan Hans Custers is: Waar vind ik een goede beschrijving?
    En dan heb ik het niet over de term “precies” in de aangehaalde zin. Een beschrijving in grote lijnen is voldoende. In de aardesysteem-modellen zijn grote lijnen in elk geval de forcings, feedbacks en oscillaties die in het model zijn meegenomen en evenzeer welke wegens onvoldoende prognotiseerbaarheid worden weggelaten. Vermeld dient ook te worden de kwantitatieve uitwerking van de meegenomen forcings etc.
    Mijn persoonlijke interesse gaat vooral uit naar twee feedbacks: de opname of afstoting van CO2 door oceanosfeer en biosfeer bij temperatuurstijging. Ik vermoed, dat de invloed van deze feedbacks groot is en dat we er weinig van weten. Ik wil dus weten, welke hypothesen daarover in het model zijn opgenomen. Dit is niet meer dan een voorbeeld. Andere beschouwers kunnen andere invloeden belangrijker vinden.
    IPCC gebruikt een ensemble van modellen. Ik kan weinig vinden over de door mij genoemde hoofdlijnen. Wel iets, onder meer dat oscillaties niet worden meegenomen. Dat ik niet al de genoemde hoofdlijnen kan vinden, kan aan mij liggen, ik heb niet alle IPCC publicaties gelezen. Er zou een document moeten zijn, waarin voor elk van de gebruikte modellen afzonderlijk een beschrijving in hoofdlijnen wordt gegeven. Ik heb dat document niet gevonden. Is zo’n document gepubliceerd? Ik stel het vragenderwijs maar ik vermoed van niet. Wanneer mijn vermoeden juist is, wordt niet voldaan aan de eis van transparantie, die we moeten stellen. Transparantie houdt in, dat we voldoende inzicht hebben in de data, vergelijkingen, hypothesen etc waarop het model is gebaseerd. En dat we daardoor in staat zijn om tot een mening te komen over de vraag, of we het model kunnen vertrouwen.
    Het vertrouwen kan ook gebaseerd zijn op het feit, dat vroegere prognoses zijn uitgekomen. Om die reden halen we tegenwoordig onze schouders op over macro-economische modellen.
    Bij aardesysteem-modellen lijkt het me niet gemakkelijk aan de eis van transparantie te voldoen,omdat ze enorm complex zijn. Een beschrijving in hoofdlijnen is geen sinecure. En we hebben geen vergelijking van prognoses met uitkomsten over een langere periode. Wat we er wel over hebben over een betrekkelijk korte periode is niet hoopgevend.
    De vraag is: Wat moet je als beleidsmaker met die modellen?

  25. Rinus,

    Er hangt nog een antwoord van mij in het spamfilter, die zal straks wel weer verschijnen.

    Voor een beschrijving van de modellen (het juiste woord is: General Circulation Models, het zijn eigenlijk simulaties wat een specifieke subklasse is van het begrip ‘model’) kan je bij CMIP3 (voor IPCC 2007) en CMIP5 (voor IPCC 2013) terecht:

    http://cmip-pcmdi.llnl.gov/cmip5/

    Zoals je daar uitgebreid kan lezen, is de intercomparison van de GCM’s het doel van de CMIP projecten. De resultaten vind je o.a. in de wetenschappelijke publicaties:

    http://cmip.llnl.gov/cmip5/publications/

    Deze publicaties worden weer door het IPCC gebruikt om de kwaliteit en onderlinge consistentie van de GCM output te beoordelen. Het IPCC heeft zelf geen modellen en bouwt ze ook niet, maar gebruikt de resultaten van CMIP3/CMIP5 en de wetenschappelijke, peer-reviewed publicaties die er over verschenen zijn.

  26. Verder nog dit: als je als buitenstaander of ‘scepticus’ inzicht wilt krijgen in de GCM’s, is het van belang om in ieder geval *enigszins* te begrijpen hoe de GCM’s werken (een ‘model’ is echt een veel te algemene term – bijna alles in de wetenschap is een ‘model’).

    Lees daartoe eerst zorgvuldig de links van Edwards (‘History of Climate Modeling’) en van Oldenborgh&Haarsma die Hans al in het bovenstaande blog meegegeven heeft.

    Héél kort gezegd: GCM’s zijn simulaties waar met behulp van numerieke wiskunde de Navier-Stokes vergelijkingen opgelost worden, zodat de atmosferische en oceanografische circulatie gesimuleerd wordt. De Navier-Stokes vergelijkingen maken er dus echte ‘Circulation’ models van, waar convectie en turbulentie ook deel van uitmaken.

    Dit in tegenstelling tot bijvoorbeeld ’1D’ modellen die alleen een denkbeeldige verticale kolom van de atmosfeer beschrijven (‘oneindig dun’). Deze kunnen geen stroming/convectie simuleren. Svante Arrhenius werkte in 1896/1901 noodgedwongen met zo’n ’1D’ model.

    De eerste modellen op basis van Navier-Stokes zijn aan het einde van/kort na WO II ontwikkelt, in eerste instantie om de vergelijkingen voor de eerste kernwapens (het Manhattan project) op te lossen, en ook voor de eerste waterstofbom in de jaren ’50. Het numeriek oplossen van deze vergelijkingen was een noodzaak om het implosiefront van de ‘trigger’ van de waterstofbom te kunnen simuleren/berekenen.

    (Het kan ook handmatig, met een zaal vol menselijke ‘calculators’. Zo werd het eerst in ’44 nog gedaan)

  27. Hieraan gekoppeld zie je ook vaak de stelling: ze kunnen het weer nog niet eens voorspellen, laat staan het klimaat over 10, 50 of 100 jaar!! Maar daarbij wordt vergeten dat weersvoorspelling een heel ander probleem is dan klimaat (het gemiddelde weer). Professor Easterbrook beschrijft het verschil heel helder op zijn blog (vind ik ;-) )

  28. Rinus van Wallenburg

    @ Bob
    Inmiddels is het volgende discussiepunt aan de orde. Ik zal het kort houden. Sorry voor mijn late reactie, maar ik heb ook andere besognes. Bedankt voor de vermelde artikelen. Ik zal een deel ervan lezen. Maar ze geven geen antwoord op de vragen in mijn laatste opmerking.
    Het is me bekend, dat IPCC gebruik maakt van door andere organisaties opgestelde modellen. De IPCC-publicaties vermelden onder meer de uitkomsten van vooruitberekeningen op basis van meerdere modellen. De uitgangspunten van die modellen – in mijn opmerkingen noemde ik het de hoofdlijnen – worden voor zover mij bekend niet vermeld. Er wordt geen verantwoording afgelegd. De publicaties zijn niet transparant. Daardoor is het onmogelijk de uitkomsten te beoordelen. Als buitenstaander – iemand die niet bij de opstelling betrokken is – moet je het maar geloven. Of niet geloven. Dat is voor mij niet acceptabel.
    Ik kan dat nog wat krasser zeggen (het is niet origineel, ik las het ergens vluchtig in een Zwitzerse krant). Vroeger hadden we priesters. Die gooiden wat houtjes op de grond en konden op basis daarvan de toekomst voorspellen. Moesten we dat geloven? Tegenwoordig hebben we modellen. Moeten we die geloven?. We zijn met die modellen terug in het stenen tijdperk.
    Ik benader het onderwerp uitsluitend vanuit de beleidsmatige kant. Ik stel, dat het onacceptabel is, dat politici besluiten zouden moeten nemen op basis van ondoorzichtige modellen.
    Gelukkig hebben we die modellen niet nodig om een beleid te voeren gericht op beperking van het gebruik van fossiele energie. Op een A4-tje kan uiteengezet worden, dat de huidige temperatuurstijging waarschijnlijk antropogeen is. Er is zo iets als Occam’s scheermes (hoop, dat ik het goed spel, ben er even niet zeker van).
    En nog even dit: Ook wanneer de temperatuur niet verder zou stijgen en stabiel zou blijven, is de situatie alarmerend. Wat ik zo lees over de degradatie van de Groenlandse ijskap doet vermoeden, dat die geruiststellende 1000 jaar wel eens een illusie zou kunnen zijn.

  29. Jos Hagelaars

    @Rinus

    Je kunt hier wat info vinden over de CMIP5 modellen, waar het nieuwe IPCC rapport gebruik van maakt:

    http://cmip-pcmdi.llnl.gov/cmip5/

    Er is een kwaliteitscontrole systeem opgezet om de modellen en de output te testen:

    https://redmine.dkrz.de/collaboration/projects/cmip5-qc/wiki

    De publicaties zijn allemaal via de wetenschappelijke literatuur in te zien, hier een lijst:

    http://cmip.llnl.gov/cmip5/publications/allpublications

    Ik ben het met je eens dat het voor een leek onmogelijk is om de samenstelling van de modellen te controleren. De grondslag van de modellen is grote hoeveelheid fysische en chemische wetten en berekeningen, wat ondoenlijk is om allemaal te doorgronden in de avonduren.

    Heel veel is echter te downloaden, ook zonder een registratie bij die CMIP5 club. Bijvoorbeeld, de input die men gebruikt voor de klimaatmodellen om het klimaat van de afgelopen paar 1000 jaar te simuleren is openbaar en te downloaden. Hier een link naar een artikel daarover en in het supplement vind je alle datagegevens:

    http://www.geosci-model-dev-discuss.net/3/1549/2010/gmdd-3-1549-2010.html

    Een ander voorbeeld is NASA Giss. Zij zijn volledig transparant, zij geven alle informatie vrij aan het algemene publiek. De volledige source code van hun klimaatmodel GISS GCM ModelE, wat gebruikt is voor het AR4 rapport van het IPCC, is via de volgende webpage in te zien:

    http://www.giss.nasa.gov/tools/modelE/

    Op de GISS site is te lezen dat zij dat eveneens gaan doen voor hun laatste CMIP5 model. Je kunt er tevens allerlei initiatiefiles, grenscondities et cetera downloaden en inkijken.

    Als je heel veel tijd overhebt, kun je dus vooruit. Ik ga het niet doen. Het is net als met het gebruik van een vliegtuig. Het ontwerpen van zo’n vliegtuig geschiedt eveneens met computermodellen, zoals materiaalsterkte berekeningen et cetera. Het is voor mij ondoenlijk om alles te controleren en vertrouw er dus maar op dat het vliegtuig waar ik in ga zitten, gebouwd is met inachtneming van alle fysische/chemische wetten en dat alles zorgvuldig gecontroleerd is.
    Zo is het met veel dingen die je in het dagelijkse leven gebruikt.

    We hebben inderdaad de modellen niet nodig om beleid te voeren aangaande het beperken van het gebruik van fossiele brandstoffen. De modellen vergroten ons inzicht, maar het is op grond van fysica uit de 19e eeuw al duidelijk dat meer CO2 betekent dat het warmer gaat worden. En dat heeft consequenties voor onze samenleving.

  30. Rinus,

    Zoals ik eerder al zei, er staat een reeks wetenschappelijke publicaties over de klimaatmodellen/GCM’s hier on-line:

    http://cmip.llnl.gov/cmip5/publications/

    Je kan daar zelf gaan grasduinen, als je je inhoudelijk wilt verdiepen in de GCM’s, hun verschillen en parametrisaties. Het is nu eenmaal zo dat niet alle informatie op een dessertlepeltje wordt aangereikt – de publicaties zijn wel op uiteenlopend niveau geschreven.

    Men verwacht wel dat je *iets* weet over de Navier-Stokes vergelijkingen, over de vloeistofdynamica en over numerieke wiskunde. Overigens zou ik aanraden om eerst gewoon het betreffende hoofdstuk en de relevante supplementen van IPCC AR4 te gaan lezen, die zijn er niet voor niets en bevatten veel toegankelijke informatie.

    Begin dus bij voorkeur hier:

    http://www.ipcc.ch/pdf/assessment-report/ar4/wg1/ar4-wg1-chapter8.pdf

    Dit is het hoofdstuk getiteld: “Climate Models and Their Evaluation

    Nou, wat wil je nog meer? ;) Het IPCC heeft het al op een presenteerblaadje voor je klaar gezet. De Technical Supplements bevatten nog véél meer info, maar je kan beter eerst dit hoofdstuk gaan lezen.

    O ja, het IPCC gebruikt bij voorkeur een ‘multi-model mean’ van zo’n 23 klimaatmodellen, die elk individueel weer een ensemble (een reeks aan uitkomsten) genereren. Het waarom staat ook in dit hoofdstuk.

  31. @ Bob je reactie van 31 december /Nate Silver
    Ja leerzaam! leerpunt was: Bayesian analyse

    Realclimate noemt dit ook bij de recente blogs over Climate Sensitivity waar Bart ons gisteren via Twitter op wees.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s