Tip:
Highlight text to annotate it
X
Video 5: AdWords Kampanjexperiment: Tolka experimentets resultat och statistiska signifikans
I steg 3 i experimentet med att skapa en AdWords-kampanj körde du experimentet
och övervakade resultatet. Här visar vi hur du tolkar några av de resultat
som visas under experimentets gång.
Medan kampanjexperimentet pågår får du mer och mer data om kontroll- och experiment-
fördelningen på kampanj-, annonsgrupps- och sökordsnivå. Om du inte redan ser
separata rader för kontroll och experiment på en av flikarna,
kan du klicka på Segment, dra musen nedåt och klicka på Experiment.
I takt med att resultatet samlas in kan du se olika indikatorer för statistisk signifikans,
som visar om de statistiska värden som du jämför
skiljer sig åt.
En statistiskt signifikant skillnad är en skillnad som troligen inte beror på slumpen.
Om ett värde inte har ändrats med en statistiskt signifikant mängd är det möjligt
att det inte har påverkats av experimentändringen.
En grå upp-nedvänd ikon visar att värdet inte ändrats med en statistiskt signifikant mängd.
Den observerade skillnaden kan bero på brus i experimentet.
En uppåtvänd ikon visar att värdet har ökat med en statistiskt signifikant mängd.
Om du skulle använda experimentändringarna i alla auktioner skulle du troligen märka
att värdet ökar.
En nedåtvänd ikon visar att värdet har minskat med en statistiskt signifikant mängd.
Om du skulle använda experimentändringarna i alla auktioner skulle du troligen märka
att värdet minskar.
Ikonerna är dessutom gradindelade för att visa hur säker du kan vara på
att resultaten beror på experiment- ändringar och inte på slumpen.
En uppåtvänd eller nedåtvänd pil visar att det är 95 % sannolikhet att värdet har ökat
eller minskat. Statistiken visar alltså att om du skulle använda experimentändringarna
skulle sannolikheten bara vara 5 % för att värdet inte förändras i angiven riktning
om allt annat behålls oförändrat.
Två uppåt- eller nedåtvända pilar visar att det är 99 % sannolikhet att värdet har ökat
eller minskat. Statistiken visar alltså att om du skulle använda experimentändringarna
skulle sannolikheten bara vara 1 % för att värdet inte förändras i angiven riktning
om allt annat behålls oförändrat.
Tre uppåt- eller nedåtvända pilar visar att det är 99,9 % sannolikhet att värdet har ökat
eller minskat. Statistiken visar alltså att om du skulle använda experimentändringarna
skulle sannolikheten bara vara 0,1 % för att värdet inte förändras i angiven riktning
om allt annat behålls oförändrat.
Om du använder experiment med en annan fördelning mellan experiment och kontroll
än 50/50 (t.ex. 70/30 eller 20/80), kan du inte jämföra kampanjstatistiken
i kontroll- och experimentfördelningen rakt av. Anta exempelvis
att du har ett 90/10-experiment. Om du inte gör några ändringar i experimentet
bör det ske 900 visningar i kontroll- fördelningen per 100 visningar i experiment-
fördelningen. Om du ser 900 visningar i kontrollfördelningen och 400 visningar
i experimentfördelningen, anger detta en statistiskt signifikant ökning av visningarna.
(400 visningar är betydligt fler än de 100 som du skulle få utan några ändringar alls.
Det innebär att om du inför ändringarna kommer antalet visningar att öka.)
Detta trots att värdet 900 är större än värdet 400.
En fördelning på 50/50 är enklare att jämföra eftersom de absoluta värdena är samma
om ändringarna saknar effekt. Många kampanjer har inte tillräckligt hög trafikvolym
för att ge ett tillförlitligt resultat med annan fördelning än 50/50. Vi rekommenderar
att de flesta annonsörer kör 50/50-experiment om du inte vill göra egna beräkningar
för att räkna ut den procentuella förändringen om du använder dina experimentändringar
i alla auktioner.