SEO is de enige op wetenschap-gebaseerde sector die geen publicatiestandaard en peer review gebruikt voor haar feiten en studies. Ik pleit voor een kwalitatief hoogstaand geheel van processen in de SEO industrie, omdat ze ons denken en handelen als SEO specialisten direct beïnvloeden.
Beperkte studies en geen transparantie
De totstandkoming van een hoge kwaliteit van ‘samen denken’ door de studies die we publiceren, is enorm belangrijk. Maar bedrijfsbelangen, een gebrek aan standaardisatie en een commercialisering van kennis, bedreigen ons vermogen om ze te doen. Wanneer wij ons beperken tot de PR-kamers van Big Tech, lopen we het risico om als specialisten niet meer tot een deskundige consensus te kunnen komen.
Iets waar Google gretig gebruik van maakt, om het serieuze SEOs lastiger te maken om het algoritmesysteem kunstmatig te manipuleren. Het ontbreken van een complete en eerlijke informatievoorziening degradeert SEO specialisten tot gokkers en kwakzalvers.
Opinie versus protocol
Hoewel SEO specialisten natuurlijk ook advies geven op basis van ervaring, geven zij er de voorkeur aan dat geadviseerde handelingen worden geuit op basis van bewijs. En ‘guidelines’, bijvoorbeeld de gidsen geschreven door Google zelf, worden door de mens als betrouwbaar ervaren. Want de woorden ‘guidelines’ of gidsen, associëren we met protocollen, en protocollen zijn gebaseerd op bewijs. Maar waar is het bewijs?
Datastudies van een hoge waarde zijn niet goedkoop. Commerciële bedrijven willen ze alleen uitvoeren, als daar rendement uit te halen valt. Zonder waardevolle inzichten in hoe de door de Search industrie gesponsorde studies verkeerd worden voorgesteld, is ‘evidence-based’ SEO een illusie.
Belangen en publicatiebias in de Search industrie
De Search industrie wordt gedomineerd door een klein aantal zeer grote autoriteiten die hun markt willen uitbreiden, in plaats van te zoeken naar manieren om mensen te helpen om de vindbaarheid van hun websites te verhogen. Hiërarchische machtsstructuren en loyaliteit binnen de organisaties, produceren SEOs en marketeers die simpelweg doen wat hen wordt opgedragen. Naarmate de behoefte aan sponsors bij de organisatie toeneemt, worden consultants, publicisten en marketingevenementen, instrumenten van de industrie.
Als een onderzoek een negatieve uitwerking heeft op het commerciële belang, waarom zou je het dan publiceren? Het eigendom van data en kennis leidt tot publicatiebias. We zien dan ook nooit nadelige onderzoeksresultaten en er worden geen onbewerkte gegevens gedeeld. In de digitale marketing wereld zijn er heel veel mensen die briljant zijn in statistieken, die de datagegevens kunnen analyseren, maar de onbewerkte gegevens moeten beschikbaar zijn gesteld voor objectieve evaluatie.
Marketeers en SEO’s worden ingezet voor de promotie van de commerciële producten van de autoriteiten in de markt. Managers worden in dienst genomen en gedwongen om hun winstgevendheid voor de organisatie te laten zien, zij worden niet aangenomen omdat ze zo goed onderzoek deden. Voor wie naam heeft gemaakt en vooruit wil, zijn dit de grote kansen die de Search industrie biedt. In marketingtermen worden deze mensen KOL’s genoemd: “Key Opinion Leaders”.
Wetenschap op basis van persberichten
KOLs worden geselecteerd op basis van hun invloed op andere marketeers en op het prestige dat zij brengen. Ze houden zich bezig met de branding van het product en met het bezoeken van evenementen. Als we van ze horen, dan moeten we in gedachten blijven houden dat het niet uitmaakt hoelang zij al in de Search industrie werken: ze moeten het bewijs leveren. We kunnen dit bewijs alleen hebben, als we de onbewerkte gegevens hebben. En dat bieden ze niet. De “productpromoters elite”, is hun onafhankelijkheid volledig verloren.
Critici van deze ’thought leaders’, raken niet snel gepubliceerd op Search industrie gerelateerde websites met een hoge autoriteit, of ze krijgen zelfs juridische bedreigingen aan hun adres. Hierdoor ontstaat een ongelijk speelveld. Om een carrière in SEO te hebben, MOET je praktisch publiceren. Dus wanneer uitgevers in de sector je afwijzen, omdat je overdreven kritisch bent over hun favoriete gezichten, kan dit een enorm probleem opleveren. En het creëert een vorm van onderdrukking en controle van wetenschapscommunicatie in de Search industrie door de grote bedrijven, waaronder Google.
Standaardisatie van marketingstudies is een stap in de goede richting
Ik ben geen voorstander van regelgevende instanties die de SEO sector volledig beoordelen en aansturen. Omdat regulatoren financiering ontvangen vanuit de Search industrie zelf en in de meeste gevallen krijgen zelfs regelgevers geen toegang tot onbewerkte datagegevens. Maar een eenvoudige standaardisatie binnen de SEO/marketing-sectoren in de manier waarop we publiceren, is een stap in de goede richting.
Waarom schrijven we alle studies rondom SEO en marketing niet op deze manier? Voorzie alle studies van alle benodigde secties en schrijf ze in deze volgorde: methoden, resultaten, conclusie, inleiding, samenvatting en titel. Methoden worden vrijwel altijd volledig genegeerd in studierapportages. Als je onvoldoende informatie laat zien die lezers nodig hebben om te vertrouwen hoe je resultaten tot stand zijn gekomen, waarom zouden mensen dan je onderzoek vertrouwen?
De methoden moeten ten minste het volgende omvatten: alle informatie rondom de populatie van data en de gebruikte steekproefmethoden, de procedures en het tijdsbestek, het analyseplan, eventuele benaderingen om validiteit en betrouwbaarheid te waarborgen, en eventuele aannames en de reikwijdte en beperkingen van de methodologie.
Toon de resultaten van statistische analyse, bevestig dat de methode betrouwbaar is, rechtvaardig de keuze van de methoden en definieer de beperkingen ervan. Om elke nulhypothese (aanname) te verifiëren met de resultaten van het onderzoek, worden statistische hypothesetesten gebruikt. Elke toegepaste testmethode moet daarom worden vermeld en relevante parameters moeten worden getoond.
In de onderzoeksconclusie of discussie, heb je de kans om de gegevens te verkopen. Als onderdeel van de studie zelf, of apart gepubliceerd. Leg daarin uit wat de resultaten betekenen, of de methoden succesvol waren, hoe de bevindingen zich verhouden tot die van andere studies en wat de beperkingen van het onderzoek zijn. Wees daarbij specifiek en overdrijf niet. Want je mag gerust speculeren over een interpretatie, maar áls je dat doet, dan moet je ervoor zorgen dat je zo nauwkeurig mogelijk bent. Verzin geen dingen. Vergelijk je resultaten met andere onderzoeken en negeer tegenstrijdige studies niet. Zorg dat je ze vermeldt.
Dit willen we zoveel mogelijk voorkomen tijdens het publiceren van en over SEO/marketing-studies: het bagatelliseren van negatieve resultaten, het doen van uitspraken op basis van een persoonlijke mening zonder een onderbouwing met daadwerkelijk bewijs, het herhalen van informatie uit andere secties, en het overdreven nadruk leggen op de impact van een studie. Natuurlijk is het daarnaast belangrijk om iedereen die je heeft geholpen met de studie te erkennen, maar tegelijk ook de financieringsbronnen te noemen.
Een stap verder: combineer en deel onbewerkte datagegevens
De constante veranderingen in complexiteit en volatiliteit van moderne algoritmesystemen, zoals dat van Google Search, heeft tot gevolg dat wij als Search industrie de steekproefomvang die voor de huidige SEO/marketing-studies wordt gebruikt, serieus moeten heroverwegen. Ze zijn te klein om de verschillen te meten die we in een dynamische algoritmesysteem moeten zien om belangrijke beïnvloedbare factoren vast te stellen, zelfs in de grote studies waar SEO-tool makers en bureaus over publiceren en op basis waarvan sprekers en specialisten hun adviezen geven.
Het is goed mogelijk om onbewerkte datagegevens en zelfs resultaten uit meerdere verschillende (kleinere) studies anoniem te maken en/of te ‘white labelen’ en met elkaar te combineren. Zodat meerdere technische afdelingen ze kunnen analyseren, om de gegevens en dus de wetenschap op basis waarvan specialisten hun adviezen geven en handelingen uitvoeren, betrouwbaarder te maken.
Zonder de onbewerkte data kunnen we eigenlijk helemaal niets. En blijft echte ‘evidence-based’ marketing en SEO een illusie.