Ein sauberer Test verändert eine Variable, läuft lange genug für eine ausreichende Stichprobe und wird erst ausgewertet, wenn das Ergebnis statistisch belastbar ist. Wer nach zwei Tagen abbricht, weil Variante B vorn liegt, misst Zufall. Typische Testobjekte sind Überschriften, Formulare, Call-to-Actions, Preisdarstellungen und Seitenaufbau. Bei geringem Traffic sind Tests oft nicht aussagekräftig; dann sind qualitative Methoden wie Nutzertests sinnvoller.
Für die Suche sind A/B-Tests unproblematisch, solange Google dieselben Inhalte sieht wie Nutzer. Varianten auf eigenen URLs erhalten einen Canonical-Verweis auf das Original, Weiterleitungen sind temporär, und Tests werden nach Abschluss beendet. Ich setze A/B-Tests am Ende eines CRO-Prozesses ein, nicht am Anfang: Erst Analyse, dann Hypothese, dann Test.