Da ich selber im Moment nicht zum bloggen komme, hier ein Verweis auf einen exzellenten Beitrag in der KDD 2007 zum Thema “Practical Guide to Controlled Experiments on the Web: Listen to Your Customers not to the HiPPO”. Wer an dem Themenebereich A/B Testing, Multivariate Testing, Optimierung der Conversion Rate mittels Tests usw. interessiert ist, sollte das Video von Ron Kohavi, Microsoft Research, gucken. Die 22 Minuten lohnen sich. Einige Highlights:
Zum Video
Zum Paper, den Folien usw.
Einige gute Stellen im Video (komplett gucken lohnt aber auch):
- 01:00 Einführung in das Thema, Erfahrungen bei Amazon
- 3:00 Footcare reduziert mit einem Gutscheinfeld seine Conversion Rate um 90%
- 04:00 Microsoft reduziert sein Website-Feedback um 80%
- 07:15 Je weniger Daten man hat, um so mehr muss man schätzen. Da Menschen schlecht schätzen, sind mehr Daten immer besser
- 08:00 Was ist eigentlich mein Ziel, wie messe ich den Erfolg? Overall Evaluation Criteria
- 09:00-19:00 Arbeiten mit Statistiken
- 20:00 Wie baue ich in meinem Unternehmen eine “Data-driven culture” auf?
- 21:00 Zusammenfassung (ich würde aber trotzdem zumindest die ersten 10 Minuten und ab 20:00 gucken)
Viel Spaß damit!
P.S. Warum kill the HiPPO? HiPPO steht für Highest Paid Person’s Opinion. Die gewinnt immer, wenn es keine verlässlichen Daten gibt.
Leave a Reply