Wij zijn de enige sector die geen publicatiestandaarden en peer review processen gebruikt voor de studies we publiceren. Ik pleit voor een kwalitatief hoogstaand geheel van processen, omdat zij direct ons denken en handelen als specialisten beïnvloeden.
Beperkte studies en geen transparantie
Wetenschap vindt niet plaats in een vacuüm. De tijdslijn waarop wetenschap plaatsvindt, brengt ons van de ene hypothese, naar de andere. En op bewijs-gebaseerde digitale marketing heeft gewoon een wetenschappelijke basis.
Ego maakt dat we alles voor onszelf zichtbaar willen maken en we gebruiken wetenschap om ons te tonen wat wij op dat moment zichtbaar kunnen krijgen. Tegelijk dwingt wetenschap ons om de grenzen van het individuele weten te erkennen. Op de tijdlijn waar wetenschap plaatsvindt, zijn een vrije marktplaats van ideeën en het ‘samen denken’, essentieel voor de totstandkoming van een hoge kwaliteit waarheidsvinding.
De totstandkoming van een hoge kwaliteit van ‘samen denken’ middels de studies die we publiceren, is daarbij enorm belangrijk. Echter, bedrijfsbelangen, een gebrek aan standaardisatie en een commercialisering van kennis, bedreigen ons vermogen om dit te doen. Wanneer wij ons beperken tot de PR-kamers van Big Tech, lopen we het risico om als specialisten niet meer tot een deskundige consensus te kunnen komen.
Iets waar Google gretig gebruik van maakt, om het serieuze SEO’s lastiger te maken om het algoritmesysteem kunstmatig te manipuleren. Dit zet digitale marketing, en met name het ongereguleerde veld van SEO en de kennis bij al haar consulenten, terug naar de donkere middeleeuwen. Het ontbreken van een complete en eerlijke informatievoorziening, degradeert SEO specialisten tot gokkers, oplichters en kwakzalvers.
Opinie versus protocol
Hoewel SEO specialisten natuurlijk ook advies geven op basis van ervaring, geven zij er de voorkeur aan dat geadviseerde handelingen worden geuit op basis van bewijs. Dat is waarom protocollen of ‘guidelines’, geschreven door Google zelf, marketingbureaus en tool-makers, als betrouwbaar worden ervaren. Want protocollen moeten gebaseerd zijn op betrouwbare gegevens. Maar wie levert de gegevens? Google zelf, marketingbureaus en tool-makers.
Datastudies van een hoge waarde zijn niet goedkoop. Commerciële bedrijven zullen ze alleen willen uitvoeren, wanneer daar rendement uit te halen valt. Zonder waardevolle inzichten in hoe door de industrie gesponsorde onderzoeken verkeerd worden voorgesteld, blijft ‘evidence-based’ marketing en SEO een illusie.
Belangen en publicatiebias in de Search industrie
De Search industrie wordt gedomineerd door een klein aantal zeer grote autoriteiten die hun markt willen uitbreiden, in plaats van te zoeken naar manieren om mensen te helpen om de vindbaarheid van hun websites te verhogen. Hiërarchische machtsstructuren en loyaliteit binnen de organisaties, produceren SEO’s en marketeers die simpelweg doen wat hen wordt opgedragen. En naarmate de behoefte aan sponsors bij de organisatie toeneemt, worden consultants, publicisten en marketingevenementen, instrumenten van de industrie.
Als een onderzoek een negatieve uitwerking heeft op het commerciële belang, waarom zou je het dan publiceren? Het eigendom van data en kennis leidt tot publicatiebias. We zien dan ook nooit nadelige onderzoeksresultaten en er worden geen onbewerkte gegevens gedeeld. In de digitale marketing wereld zijn er heel veel mensen die briljant zijn in statistieken, die de datagegevens kunnen analyseren, maar de onbewerkte gegevens moeten beschikbaar zijn gesteld voor objectieve evaluatie.
Marketeers en SEO’s worden ingezet voor de promotie van de commerciële producten van de autoriteiten in de markt. Managers worden in dienst genomen en gedwongen om hun winstgevendheid voor de organisatie te laten zien, zij worden niet aangenomen omdat ze zo goed onderzoek deden. Voor wie naam heeft gemaakt en vooruit wil, zijn dit de grote kansen die de Search industrie biedt. In marketingtermen worden deze mensen KOL’s genoemd: “Key Opinion Leaders”.
Wetenschap op basis van persberichten
KOL’s worden geselecteerd op basis van hun invloed op andere marketeers en op het prestige dat zij brengen. Ze houden zich bezig met de branding van het product en met het bezoeken van evenementen. Als we van ze horen, dan moeten we in gedachten blijven houden dat het niet uitmaakt hoelang zij al in de Search industrie werken: ze moeten het bewijs leveren. We kunnen dit bewijs alleen hebben, als we de onbewerkte gegevens hebben. En dat bieden ze niet. De “productpromoters elite”, is hun onafhankelijkheid volledig verloren.
Critici van deze ’thought leaders’, raken niet snel gepubliceerd op Search industrie gerelateerde websites met een hoge autoriteit, of ze krijgen zelfs juridische bedreigingen aan hun adres. Hierdoor ontstaat een ongelijk speelveld. Om een carrière in SEO te hebben, moet je praktisch publiceren. Dus wanneer uitgevers in de sector je afwijzen, omdat je overdreven kritisch bent over hun favoriete gezichten, kan dit een enorm probleem opleveren. En het creëert een vorm van onderdrukking en controle van wetenschapscommunicatie in de Search industrie door de grote bedrijven, waaronder Google.
Standaardisatie van marketingstudies is een stap in de goede richting
Ik ben geen voorstander van regelgevende instanties die de SEO sector volledig beoordelen en aansturen. Omdat regulatoren financiering ontvangen vanuit de Search industrie zelf en in de meeste gevallen krijgen zelfs regelgevers geen toegang tot onbewerkte datagegevens. Maar een eenvoudige standaardisatie binnen de SEO/marketing-sectoren in de manier waarop we studies publiceren, is een stap in de goede richting.
Waarom schrijven we alle studies rondom SEO en marketing niet op deze manier? Voorzie alle studies van alle benodigde secties en schrijf ze in deze volgorde: methoden, resultaten, conclusie, inleiding, samenvatting en titel. Methoden worden vrijwel altijd volledig genegeerd in studierapportages. Als je onvoldoende informatie laat zien die lezers nodig hebben om te vertrouwen hoe je resultaten tot stand zijn gekomen, waarom zouden mensen dan je onderzoek vertrouwen?
De methoden moeten ten minste het volgende omvatten: alle informatie rondom de populatie van data en de gebruikte steekproefmethoden, de procedures en het tijdsbestek, het analyseplan, eventuele benaderingen om validiteit en betrouwbaarheid te waarborgen, en eventuele aannames en de reikwijdte en beperkingen van de methodologie.
Toon de resultaten van statistische analyse, bevestig dat de methode betrouwbaar is, rechtvaardig de keuze van de methoden en definieer de beperkingen ervan. Om elke nulhypothese (aanname) te verifiëren met de resultaten van het onderzoek, worden statistische hypothesetesten gebruikt. Elke toegepaste testmethode moet daarom worden vermeld en relevante parameters moeten worden getoond.
In de onderzoeksconclusie of discussie, heb je de kans om de gegevens te verkopen. Als onderdeel van de studie zelf, of apart gepubliceerd. Leg daarin uit wat de resultaten betekenen, of de methoden succesvol waren, hoe de bevindingen zich verhouden tot die van andere studies en wat de beperkingen van het onderzoek zijn. Wees daarbij specifiek en overdrijf niet. Want je mag gerust speculeren over een interpretatie, maar áls je dat doet, dan moet je ervoor zorgen dat je zo nauwkeurig mogelijk bent. Verzin geen dingen. Vergelijk je resultaten met andere onderzoeken en negeer tegenstrijdige studies niet. Zorg dat je ze vermeldt.
Dit willen we zoveel mogelijk voorkomen tijdens het publiceren van en over SEO/marketing-studies: het bagatelliseren van negatieve resultaten, het doen van uitspraken op basis van een persoonlijke mening zonder een onderbouwing met daadwerkelijk bewijs, het herhalen van informatie uit andere secties, en het overdreven nadruk leggen op de impact van een studie. Natuurlijk is het daarnaast belangrijk om iedereen die je heeft geholpen met de studie te erkennen, maar tegelijk ook de financieringsbronnen te noemen.
Een stap verder: combineer en deel onbewerkte datagegevens
De constante veranderingen in complexiteit en volatiliteit van moderne algoritmesystemen, zoals dat van Google Search, heeft tot gevolg dat wij als Search industrie de steekproefomvang die voor de huidige SEO/marketing-studies wordt gebruikt, serieus moeten heroverwegen. Ze zijn te klein om de verschillen te meten die we in een dynamische algoritmesysteem moeten zien om belangrijke beïnvloedbare factoren vast te stellen, zelfs in de grote studies waar SEO-tool makers en bureaus over publiceren en op basis waarvan sprekers en specialisten hun adviezen geven.
Het is goed mogelijk om onbewerkte datagegevens en zelfs resultaten uit meerdere verschillende (kleinere) studies anoniem te maken en/of te ‘white labelen’ en met elkaar te combineren. Zodat meerdere technische afdelingen ze kunnen analyseren, om de gegevens en dus de wetenschap op basis waarvan specialisten hun adviezen geven en handelingen uitvoeren, betrouwbaarder te maken. Zonder de onbewerkte data kunnen we eigenlijk helemaal niets. En blijft echte ‘evidence-based’ marketing en SEO een illusie.
Zoek je hulp bij het starten of verbeteren van je advertentiecampagnes en SEO strategie? Neem dan contact op met Remco Tensen.