AB Test in der echten Welt

Google erdenkt sich Veränderungen in ihren Anwendungen nicht (nur) im “stillen Kämmerlein”, testet aber immer mit Usern. Nicht nur der beste Weg, aber der einzig richtige Weg.
Wie funktioniert das? 1) Ich etabliere eine Metrik davon, was ich optimieren möchte z.B. Anzahl Clicks auf eine bestimme Funktion. 2) Ich liefere die neue, mutmasslich verbesserte Version an eine gewisse (siginifikante) Prozentzahl von User aus und 3) ich vergleiche die gemessenen Werte. Eigentlich ziemlich einfach.
Hier als Beispiel die Ansicht einer neuen Navigation in der SERP (Serach Engine Result Page), so wie sie Markus Koller (identifiziert über “sein” Cookie), zur Zeit ausgeliefert bekommt. Die Query ist “ganz normal” wie bei allen Nutzern. Eine potentielle Google-Verbesserung und die reale Nutzung entscheidet, ob die Hypothese der Verbesserung bestand hat.