Goodharts wet in marketing: waarom je beste cijfer je merk kan opeten

Goodharts wet waarschuwt dat een statistisch verband kan verzwakken zodra je het voor sturing gebruikt. In marketing kunnen klikken, leads en AI-citaties daardoor stijgen zonder betere koopbeslissingen. Behandel cijfers als signalen: zet er een bevoegd menselijk oordeel naast, bescherm onafhankelijke controles en benoem wat een verbetering nooit mag kosten.

Elke marketeer kent het rapport waarin alles groen staat terwijl het bedrijf niet beter wordt. Dat is geen pech en geen slechte meting. Het is wat er gebeurt met elk getal dat je als doel neemt. Winst is één dimensie, mensen zijn dat niet. Hoe voed je iets oneindigs met een streven naar een hoger cijfer?

Wat zeggen Goodhart, Strathern en Campbell werkelijk?

Goodharts wet gaat over een verband dat onder sturing kan veranderen. De openingsvraag gaat verder: hoeveel van wat je waardevol vindt, wil je überhaupt aan één getal overlaten? Dat tweede is een waardevraag. Uit het eerste volgt niet dat iedere doelstelling onvermijdelijk schade veroorzaakt.

De historische oorsprong is Charles Goodharts bijdrage uit 1975, Problems of Monetary Management: The U.K. Experience. De bibliografie van de Reserve Bank of Australia verbindt die bijdrage aan de conferentie van juli 1975 en noemt de herziene bundel uit 1976. De aan hem toegeschreven zin luidt, zoals geciteerd in voetnoot 1 van Manheim en Garrabrant:

any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.

De oorspronkelijke tekst uit 1975 kon ik niet openen. Dit citaat is dus gecontroleerd in die latere bron, niet tegen het origineel. Die beperking doet ertoe: een herhaald citaat is nog geen gecontroleerde oorspronkelijke formulering.

Marilyn Strathern schrijft in 1997 op pagina 308 van ‘Improving ratings’: audit in the British University system:

When a measure becomes a target, it ceases to be a good measure.

Dat is de bekende korte formulering. Zij staat bij Strathern, die ter plaatse naar Keith Hoskins bespreking van Goodhart verwijst. Haar zin als letterlijk citaat van Goodhart presenteren is onjuist. Bovendien schrijft zij over meer dan manipulatie. Een audit vraagt om een bepaald soort beschrijving van het werk. Vervolgens gaan instellingen zich organiseren om zo beschreven te kunnen worden. Verantwoording kan daardoor de activiteit vervormen die zij moest helpen beoordelen.

Onze toepassing op marketing: zodra alleen werk met aantoonbare conversies mag blijven bestaan, beoordeelt het rapport niet meer uitsluitend de marketing. Het bepaalt ook welke zorg voor een koper nog als marketingwerk mag gelden. Een uitleg die iemand terecht laat afhaken kan verdwijnen, juist doordat zij haar werk doet.

Donald Campbell beschrijft de druk op sociale indicatoren in Assessing the impact of planned social change, gepubliceerd in 1979. Hoe zwaarder een indicator meeweegt in maatschappelijke beslissingen, des te sterker wordt volgens hem de druk op de maat. In de hier gelezen herdruk van zijn eerdere tekst, pagina 34, staat:

the more subject it will be to corruption pressures

Hij waarschuwt bovendien dat ook het gemeten sociale proces wordt vervormd. Het cijfer en het werk kunnen dus allebei worden aangetast. Campbell noemt zijn onderbouwing ter plaatse overwegend anekdotisch. De geopende herdruk uit 2011 vermeldt 1976 als oorspronkelijke uitgave; de tijdschriftversie uit 1979 heb ik niet kunnen inzien. Zijn analyse is geen experimenteel aangetoonde natuurwet voor iedere marketingafdeling.

Welk waardevol werk verdwijnt bij je bedrijf omdat het zich moeilijk laat rapporteren?

Hoe raakt een marketingcijfer los van de waarde?

Manheim en Garrabrant onderscheiden vier mechanismen: selectie op ruis, selectie buiten het geldigheidsgebied, een ingreep die het verband verandert en andere spelers die de maat naar hun eigen doel buigen. Hun woorden zijn: “These varied forms often occur together”. De indeling hieronder is onze toepassing op gedocumenteerd marketingonderzoek. De onderzoeken bewijzen niet afzonderlijk dat hun casus precies één van deze mechanismen is.

1. Regressional Goodhart: de winnaar bevat ook geluk. Neem het redactiescherm met verschillende koppen boven hetzelfde artikel. Robertson en collega’s onderzochten gerandomiseerde koppenexperimenten. Negatieve woorden verhoogden de doorklikkans. Daarmee is een echt effect op klikken aangetoond. Het onderzoek bewijst geen verbetering van begrip, vertrouwen of koopbeslissingen.

Daarnaast bestaat een selectieprobleem, ook zonder clickbait. Onze statistische uitleg: als een gemeten klikratio uit een onderliggende klikneiging plus toevalsruis bestaat, selecteer je bij de hoogste waarneming op beide. De kop met de hoogste steekproefscore hoeft niet de beste onderliggende kop te zijn. Hoe meer varianten je vergelijkt, hoe belangrijker onafhankelijke bevestiging wordt. Dat is iets anders dan het werkelijke effect van negatieve woorden. Die twee verklaringen verwarren zou juist de precisie verliezen die de indeling moet brengen.

Een klikratio kan ondertussen perfect berekend zijn en toch een zwakke maat voor waarde zijn. Technisch correcte registratie, betrouwbare schatting van klikneiging en geldige beoordeling van marketing zijn drie verschillende eisen. Een herhaalde meting helpt tegen toevallige overschatting; zij maakt klikken niet vanzelf tot begrip.

2. Extremal Goodhart: je past het verband toe waar het niet is vastgesteld. In de veldexperimenten van Blake, Nosko en Tadelis reageerden nieuwe en weinig actieve kopers anders op zoekadvertenties dan frequente kopers. De eerste groepen lieten meer beïnvloeding zien. Een klik had dus niet overal dezelfde betekenis voor extra verkoop. Onze gevolgtrekking: wie een aanpak uit een ontvankelijke groep blijft uitbreiden naar andere groepen, kan het geldigheidsgebied van zijn succesmaat verlaten. Een mooi gemiddelde uit de eerste groep rechtvaardigt die uitbreiding niet.

De herkenbare tweede scène staat bij Sabnis en collega’s: marketing levert leads aan, sales laat een deel liggen. Het onderzoek verbindt opvolging met ervaren kwaliteit van de voorselectie, beschikbare aandacht en kenmerken van de verkoper. Het registreert geen universele wet dat meer leads slechtere leads zijn. Het laat wel zien waarom een leadtotaal geen vaste hoeveelheid verkoopwerk vertegenwoordigt.

Onze toepassing: als je het volume uitbreidt, moet je opnieuw beoordelen wie er binnenkomt en welke aandacht nodig is. Veranderende samenstelling kan het oude verband tussen aantallen en bruikbare gesprekken breken. Alleen onopgevolgde leads zien bewijst dat nog niet; capaciteit, verkeerde routering of een onterechte afwijzing zijn ook mogelijke verklaringen. Leadkwalificatie met controle op afwijzingen helpt die uit elkaar te houden.

Voor welke groep gold je bewijs, en voor welke groep gebruik je het nu?

3. Causal Goodhart: je verandert de route naar de meting. Bij last-click-attributie krijgt de laatste getelde klik vóór de aankoop het krediet. Maar iemand die je al wil kopen kan nog steeds op een advertentie klikken. In de genoemde veldexperimenten werd merkzoekadvertentie uitgeschakeld. Vrijwel al het weggevallen klikverkeer en de toegeschreven verkoop kwamen via organisch zoeken terug. Dat is gedocumenteerd bewijs van vervanging tussen routes, binnen die onderzoekscontext.

Onze duiding vraagt een precieze grens. Een bestaande koopintentie die zowel klikken als kopen veroorzaakt, is eerst een probleem van verstorende samenhang. Het is niet automatisch causal Goodhart in de strikte indeling. Dat mechanisme ontstaat wanneer een ingreep de relatie verandert: je onderschept een bestaande kooproute, vergroot daardoor het toegeschreven resultaat en behandelt dat als extra gecreëerde vraag. De meetbare route is verbeterd terwijl de onderliggende uitkomst nauwelijks hoeft te bewegen.

De studie bewijst niet dat merkadvertenties overal nutteloos zijn. Zij laat zien waarom krediet en bijdrage verschillende vragen zijn. Een ander attributiemodel verdeelt het krediet anders. Alleen die herverdeling identificeert nog niet wat zonder de ingreep zou zijn gebeurd. Daarvoor heb je een geloofwaardige vergelijking nodig, bijvoorbeeld een passende experimentele controlegroep. Dat onderscheid hoort vooraf in de opzet van je marketingexperiment.

4. Adversarial Goodhart: iemand anders ontdekt hoe jouw maat werkt. Cresci en collega’s onderzochten nepvolgers met een referentieset van echte en kunstmatig verkregen accounts. Het gedocumenteerde verschijnsel is eenvoudig zichtbaar: de volgersteller groeit zonder overeenkomstige groei van een echt publiek. Voor een partij die een zichtbaar bereik moet leveren, kan die teller voldoende zijn. Voor de opdrachtgever die relevante belangstelling zoekt, niet.

De naam van het mechanisme hangt hier af van wie je beoordeelt. Onze toepassing: als een uitvoerder een volgerdoel naar eigen voordeel bespeelt, ontstaat een probleem tussen opdrachtgever en uitvoerder. Als de eigenaar zelf de teller kunstmatig verhoogt, is het rechtstreeks ingrijpen op de maat. Hetzelfde zichtbare cijfer kan dus uit verschillende mechanismen voortkomen. Het label is geen moreel oordeel over een persoon, maar een beschrijving van de verhouding tussen doelen, handelen en meten.

Daarom gaat Goodhart niet alleen over oneerlijkheid. Selectie op toevallige uitschieters heeft geen bedrieger nodig. Een team kan bovendien oprecht doen wat het wordt gevraagd en tegelijk belangrijke kwaliteit laten liggen. Een betere metric helpt wanneer hij een concreet defect herstelt. Ook die nieuwe metric heeft een bereik, vertraging en blinde vlekken. Meer indicatoren samenvoegen tot één score verplaatst de keuze naar de gewichten; het heft de keuze niet op.

Waarom zijn AI-citatiepanelen extra kwetsbaar?

Een citatiepanel meet antwoorden op gekozen vragen onder gekozen omstandigheden. Het meet niet vanzelf of geschikte kopers juiste informatie vinden. Dat onderscheid bepaalt wat een stijgende score je werkelijk toestaat te zeggen over zichtbaarheid in AI-antwoorden.

Er bestaat concreet bewijs dat tekstaanpassingen gemeten zichtbaarheid kunnen veranderen. Aggarwal en collega’s onderzochten dat in GEO, onder meer met toegevoegde bronnen, citaten en statistiek. Hun zichtbaarheidsscores gaan over de aanwezigheid en plaats van bronmateriaal in gegenereerde antwoorden. Het zijn geen gemeten koopbeslissingen. Daarnaast vonden Liu, Zhang en Liang in hun audit uit 2023 dat citaties geregeld de bijbehorende bewering niet ondersteunden. Dat historische resultaat is geen actueel foutpercentage voor alle systemen.

Onze extrapolatie is dat een panel alle vier mechanismen kan aantrekken. Een gunstige losse run wordt voor vooruitgang aangezien. Een resultaat op bekende vragen wordt uitgebreid naar onbekende koopvragen. Tekst wordt aangepast om opgenomen te worden zonder dat de koper beter kan beoordelen. Een uitvoerder kiest vervolgens vragen, noemers of voorbeelden die de opdrachtgever een gunstige score laten zien. De aangehaalde onderzoeken tonen deze volledige keten bij marketingbedrijven niet aan. Zij leveren onderdelen van het bewijs, geen vastgestelde omvang van het probleem.

De scherpe toets is daarom: wat is er buiten de score veranderd? Een bronlink, een correcte bewering, een aanbeveling en een geschikte aanvraag zijn afzonderlijke waarnemingen. Zelfs wanneer ze samen stijgen, volgt daar zonder aanvullende opzet geen causale keten uit. Onze inzet is dat je de verbindingen controleert in plaats van ze in één totaalcijfer te verbergen. Voor de uitvoering daarvan helpt AI-vindbaarheid meten zonder genoemd en aanbevolen te verwarren.

Zou deze pagina ook bestaan als je citatiepanel morgen verdween?

Hoe stuur je zonder het signaal op te eten?

Mijn voorstel is om cijfers bevoegdheid te geven binnen uitgesproken grenzen. De volgende werkwijze is onze praktische synthese, geen protocol waarvan de genoemde studies gezamenlijk hebben bewezen dat het alle Goodhart-effecten voorkomt.

Zet een oordeel met een naam naast het getal. Schrijf per maat op welke beslissing zij ondersteunt, wie de onderliggende gevallen leest en welk tegenbewijs die persoon kan laten gelden. Bij leads beoordeelt een aangewezen salesverantwoordelijke zowel doorgestuurde als afgewezen aanvragen op vooraf beschreven fit. Bij content leest een verantwoordelijke redacteur of de belofte wordt waargemaakt. De naam van de werkelijke collega staat in het bedrijfsrecord; een functie zonder beslissingsrecht is onvoldoende. Menselijk oordeel kan ook fout zitten. Bewaar daarom redenen, bronmateriaal en betwiste gevallen.

Bescherm een holdout waarop je nooit optimaliseert. Houd ongeziene kopersvragen of onafhankelijk beoordeelde gevallen apart van het materiaal voor dagelijkse verbetering. Leg vóór de beoordeling selectie, beoordelingsregels en beslismoment vast. Wie optimaliseert, krijgt de afzonderlijke holdoutvragen en antwoorden vooraf niet te zien. Dwork en collega’s laten zien waarom herhaald adaptief gebruik ook een holdout kan overfitten. Alleen het bestand apart bewaren is geen bescherming. Gebruik de uitslag niet telkens om varianten te kiezen tot de score stijgt. Zodra je ermee gaat verbeteren, wordt dit ontwikkelmateriaal en moet een volgende onafhankelijke beoordeling nieuw achtergehouden materiaal krijgen. Dit is onze eenvoudige voorzorg, niet hun technisch uitgewerkte methode voor hergebruik.

Een holdout toetst bovendien alleen waarvoor hij geschikt is. Een panel uit dezelfde vraagfamilies bewijst geen dekking van een heel nieuw koperssegment. Een ongeziene vraag bewijst geen extra verkoop. Een controlegroep die een ingreep niet krijgt, beantwoordt weer een andere vraag. Onafhankelijkheid, representativiteit en causaliteit zijn afzonderlijke eisen.

Schrijf naast de winst wat zij niet mag kosten. Kies grenzen vóór je de winnaar ziet. Een kop mag niet sterker beloven dan het artikel waarmaakt. Een leadverbetering mag niet ontstaan door passende, lastige kopers uit de registratie te verwijderen. Een citatieverbetering mag niet worden gekocht met onbewezen beweringen. Noteer ook tijd: welke controle of extra opvolging vraagt de verandering van koper en team? Laat degene die de score moet verhogen niet alleen beslissen of een grens geschonden is. Een grens waartegen je genoeg punten kunt verdienen om haar toch te overschrijden, is een meegewogen voorkeur geworden.

Maak van tegenbewijs een besluit. Leg waarneming, verklaring en beslissing afzonderlijk vast in je experimentlogboek. Bewaar de oorspronkelijke tekst, definitie en noemer. Controleer ook ongunstige gevallen. Als de score verbetert terwijl de beoordeelde inhoud slechter wordt, zet je verdere uitrol stil, beoordeel je het verschil en herstel je zo nodig de vorige versie. Een incident bewijst niet meteen een trend; het hoeft ook niet eerst een trend te worden voordat je een onjuiste belofte weghaalt.

Wie mag bij je bedrijf een stijgend cijfer afwijzen, en op grond waarvan?

Lees ook: productontwikkeling verbinden met echte klantbehoeften.

Daar verbind ik twee eigen beloften aan. Ik vraag van iedere pagina of zij ook zonder de metric bestaansrecht heeft. En ik stop een optimalisatie wanneer het cijfer stijgt terwijl het werk slechter wordt. Dat betekent niet dat een pagina zonder lezers altijd moet blijven; haar nut en de tijd die zij vraagt blijven bespreekbaar. Het betekent dat de rechtvaardiging verder reikt dan haar score.

Dit begint bij positionering: wie help je, wat kun je waarmaken en wanneer past een ander beter? Door die grenzen expliciet te maken, kan geloofwaardige marketing ook een terechte afwijzing als goed werk herkennen. De koopbeslissing wordt dan beter doordat de koper meer begrijpt, ook wanneer je die ene verkoop niet wint.

Hoe dit aansluit bij mijn grotere visie

Voor mij begint dit bij de afstand tussen een getal en een mens. Winst heeft één dimensie. Van binnen heeft een mens mogelijkheden die ik niet kan overzien, laat staan optellen. Daarom wil ik geld in mijn zak hebben en niet in mijn hoofd: als middel om iets te bouwen dat het leven rijker maakt. Zodra meer van een cijfer mijn richting bepaalt, loop ik het risico dat ik die rijkdom zelf kleiner maak.

Ik herken dat risico bij ieder streven waarin mijn beschrijving belangrijker wordt dan wat ik probeer te bereiken. Dat is mijn eigen ruimere lezing van Goodhart. Ik wil dus wel streven, met maximale betrokkenheid en zo weinig mogelijk gehechtheid aan een bepaalde uitkomst. Dat vraagt dat ik mijn waarde eerst van binnen ontwikkel en haar daarna laat blijken in mijn werk. Wat een product doet voor de wereld, het team en mensen buiten het bedrijf, moet zo duidelijk worden dat het de koopbeslissing kan dragen.

Marketing helpt die waarde zichtbaar en begrijpelijk te maken. Ook voor agents die namens een koper vergelijken. Maar iets dat slecht is voor de wereld wordt niet beter doordat ik het effectief verkoop. Daarom wil ik kennis toevoegen aan onze gedeelde informatie, zonder die te vervuilen om vaker genoemd te worden. Mijn ambitie is groot: een bedrijf waarin beter worden en beter gekozen worden steeds dichter bij elkaar komen. Dan helpt het cijfer mij kijken, terwijl het werk mijn richting blijft bepalen.

Veelgestelde vragen

Is een KPI gebruiken volgens Goodhart altijd verkeerd?

Nee. Een KPI kan een bruikbaar signaal blijven en helpen om vooruitgang te boeken. Het risico zit in de stap van waarnemen naar belonen, selecteren of automatisch bijsturen. Controleer of het verband met de gewenste uitkomst onder die nieuwe omstandigheden standhoudt. Een slechtere benadering betekent bovendien niet automatisch dat de werkelijke uitkomst verslechtert.

Lost sturen op omzet of winst het probleem op?

Een uitkomst dichter bij het bedrijfsdoel kan een betere maat zijn. Daarmee verdwijnen vertraging, onzekere toeschrijving en ongewenste afruilen niet. Ook winst vertelt niet vanzelf wat het werk met klanten, medewerkers of de gedeelde informatie doet. Benoem daarom afzonderlijk welke gevolgen je wilt begrijpen en welke grenzen je niet verhandelt tegen een hoger resultaat.

Wat is het verschil tussen een holdout en een controlegroep?

Een holdout is achtergehouden materiaal waarop je de aanpak niet afstemt. Een experimentele controlegroep krijgt een bepaalde ingreep niet en helpt het effect van die ingreep te schatten. Een ongezien vragenpanel toetst bijvoorbeeld overdraagbaarheid, maar bewijst geen extra verkoop. Zodra je de holdoutuitslag gebruikt om verder te optimaliseren, heb je voor een volgende onafhankelijke beoordeling nieuw materiaal nodig.

Kun je een betere AI-citatiescore als succes rapporteren?

Ja, als succes precies betekent dat je vaker bent geciteerd binnen de vastgelegde meting. Vermeld vragen, systemen, instellingen, meetmomenten en noemer. Controleer daarnaast of de bron de bewering ondersteunt en of de beschrijving klopt. Trek uit het citatiecijfer op zichzelf geen conclusie over aanbevelingen, koopbeslissingen of de kwaliteit van je bedrijf.

Lees ook

Bronnen

  1. Reserve Bank of Australia: Conference Volumes, bibliografie van de conferentie van 1975
  2. Marilyn Strathern (1997): 'Improving ratings': audit in the British University system, European Review, p. 308 en 311
  3. Donald T. Campbell: Assessing the Impact of Planned Social Change, herdruk uit 2011 van de tekst uit 1976, p. 34 en 35
  4. David Manheim en Scott Garrabrant (2018): Categorizing Variants of Goodhart's Law, versie 1
  5. Claire E. Robertson en collega's (2023): Negativity drives online news consumption, Nature Human Behaviour
  6. Gaurav Sabnis en collega's: The Sales Lead Black Hole, auteursversie uit 2010 en abstract van de publicatie uit 2013
  7. Thomas Blake, Chris Nosko en Steven Tadelis (2014): Consumer Heterogeneity and Paid Search Effectiveness, auteursversie
  8. Stefano Cresci en collega's (2015): Fame for sale: efficient detection of fake Twitter followers
  9. Pranjal Aggarwal en collega's (2024): GEO: Generative Engine Optimization
  10. Nelson F. Liu, Tianyi Zhang en Percy Liang (2023): Evaluating Verifiability in Generative Search Engines
  11. Cynthia Dwork en collega's (2015): Generalization in Adaptive Data Analysis and Holdout Reuse

Over de auteur: Piet Baudoin

Ik ben Piet. Ik help je de stap van een marketingvraag naar uitvoering te maken. Ik werk met je aan je merk en bouw AI-automatiseringen die klantnotities omzetten in contentconcepten en opvolgtaken. Daarbij bespreek ik met je wat jou én je klanten helpt. Wil je dit op je eigen bedrijf toepassen? Vraag een groeiscan aan of plan een gesprek.