איך בודקים קריאייטיב בלי לשקר לעצמך

יש שלב בכל חשבון שבו מישהו אומר ”בוא נעשה A/B”, מעלה שתי תמונות, ואחרי יומיים קובע מנצח. זה לא מבחן. זה ניחוש עם גרף.

מבחן קריאייטיב שאפשר להסיק ממנו משהו דורש שלושה דברים: משתנה אחד, נפח מספיק, ומדד שנקבע לפני שהתחלת.

1. משתנה אחד, לא ארבעה

שתי מודעות שנבדלות בתמונה, בכותרת, בטקסט ובכפתור לא מלמדות כלום. אחת תנצח, ולא תדע למה. שינוי אחד בכל פעם:

• אותו טקסט בדיוק, שתי תמונות ← מה עוצר את הגלילה
• אותה תמונה בדיוק, שתי כותרות ← איזו טענה מוכרת
• אותה מודעה, שני דפי נחיתה ← איפה נשברת ההמרה

2. סדר הבדיקה חשוב יותר מהבדיקה

אנשים מתחילים מהקטן. הסדר ההפוך הוא הנכון, כי ההשפעה יורדת:

מי שמתחיל מצבע הכפתור יבדוק שלושה חודשים ולא יזיז את המספר. מי שמתחיל מההצעה יראה הבדל בשבוע.

קריאייטיב לא מתקן הצעה חלשה. הוא רק מפיץ אותה מהר יותר.

3. הנפח שקובע מתי אפשר להסתכל

אין מספר קסם, אבל יש עקרון: המבחן נגמר כשהפער בין הגרסאות גדול מהרעש. כמה כללי אצבע פרקטיים:

• לא מסתכלים לפני 3-4 ימים. ההתנהגות בסוף שבוע שונה מאמצע השבוע, ומטא עוד מחלקת חשיפות באופן לא יציב.
• לא מכריעים על פחות מ-50 המרות לגרסה. מתחת לזה הפער כמעט תמיד מתהפך בהמשך.
• אם התקציב לא מאפשר 50 המרות לגרסה בשבועיים — בדוק פחות גרסאות, לא יותר זמן.
• עוצרים גם כשמנצחים. מבחן שממשיך לרוץ אחרי שהוכרע הוא רק בזבוז על הגרסה המפסידה.

4. מדד שנקבע מראש

אם לא הכרזת מראש מה המדד, תמצא מדד שבו הגרסה שאהבת מנצחת. תמיד יש אחד. לכן המדד נכתב לפני העלייה לאוויר, והוא צריך להיות הכי קרוב שאפשר לכסף: עלות להמרה, ואם יש חיבור למערכת — עלות לעסקה.

מה שכן נבדק ברמת הפרודוקציה

לפני שמדברים על גרסאות, יש דברים שכדאי שיהיו בכל נכס וידאו שנכנס לפיד:

• שלוש שניות ראשונות בלי לוגו. אף אחד לא עוצר בשביל הלוגו שלך.
• כתוביות שרופות. חלק גדול מהצפיות בפיד קורה בלי סאונד.
• הטענה נאמרת בקול ונכתבת על המסך. לא אותן מילים בדיוק — הכתוב הוא הכותרת, המדובר הוא ההסבר.
• גרסה אנכית מלאה. וידאו רוחבי עם פסים שחורים בסטורי הוא ויתור על חצי מהמסך.

איך זה נראה בלוח שבועי

מבחן אחד פעיל בכל זמן נתון, לא ארבעה. שאר התקציב רץ על מה שכבר ניצח. כשמבחן מוכרע, המנצח נכנס לקבוצת הבסיס והמפסיד נמחק. שבוע אחרי — מבחן חדש, על השכבה הבאה בטבלה למעלה.

ככה נראה תיק שמשתפר בקצב קבוע, במקום חשבון שמתחלף כל חודש והמספרים בו מתחילים מאפס.