לאחרונה יש טרנד מאוד מעניין שאנשי מקצוע מדברים על הכשלונות שלהם. בפוסטים חושפניים, במיטאפים ייעודיים, בכל מקום שמדברים. איך הרגתי את הסטארטאפ שלי, איך הטבעתי פרויקט, איך ריסקתי מוצר, כאלה. הבלוג נראה לי כמו המסגרת המתאימה לדבר על דעיכתו של פרויקט ההדתה הפרטי שלי מלפני כמה חודשים.

למי שלא עקב – בראש השנה התחלתי לפרסם את הגרסה היואקסית של פרשת השבוע, שזה היה פרויקט שעבדתי עליו במשך לא מעט זמן. לפני שהתחלתי, ביצעתי שתי בדיקות היתכנות – אחת ברמה המעשית, שתוודא שבאמת יש לי מה לכתוב על כל פרשת שבוע, ואחת ברמה השיווקית, שנועדה לוודא שזה יעניין מישהו בכלל. בשביל הבדיקה המעשית הלכתי קדימה וכתבתי לי בצד ראשי פרקים חצי שנה קדימה, עד פסח. בעיניי זה יצא די מבטיח. בשביל הבדיקה השיווקית דיברתי עם כמה חברים שמכירים את הבלוג, הצגתי להם את הרעיון, והתגובות נעו בין חיוביות לנלהבות ממש.

ישבתי, עיביתי את עשרת הטיוטות הראשונות, והבאתי אותן למצב "כמעט אפוי" – ברמה שכל אחת דרשה כשעתיים-שלוש של עבודה לפני הפרסום הסופי. זה קרם עור וגידים ובגדול השתכנעתי כי טוב. בראש השנה סיימתי ליטושים אחרונים לראשונה ופירסמתי. התגובות היו חיוביות מאוד, והתפוצה – פחות ממה שקיוויתי, אבל לא רעה לפעם ראשונה. הייתה גם גרסה באנגלית במדיום – שם הביצועים היו די מאכזבים, אבל זה היה צפוי – גם אין לי קהל מבוסס באנגלית, גם נושא פרשת השבוע אינו מוכר להם (למעט קהילות יהודיות אבל לך תתרגט כמויות של יהודים שעושים UX במדינות דוברות אנגלית, בלי להשקיע הון תועפות), וגם הכתיבה היא הרבה פחות קולחת (עיסתו של הנחתום וגו' – כמובן). אז לא התרגשתי.

עבר שבוע, פרסמתי את הפרשה השניה. התגובות בפרטי היו ברוח דומה ומפרגנת, אבל מספר הקוראים בפועל ירד בערך לחצי. התחלתי לעשות ניסויים עם הפורמט השיווקי – ניסוחים של כותרות, משחקים עם התצוגה המקדימה, קליקבייטים עדינים בקטנה (ספוילר: קליקבייטים לא עובדים בעדינות ובקטנה, צריך אשכרה לרדת לזנות, לתמונות חושפניות לחץ כאן). באנגלית זה דווקא השתפר טיפה, אבל לא בצורה מובהקת.

בשבוע הבא המספרים המשיכו לצנוח בכל החזיתות. התגובות בפרטי עודדו להמשיך.

אחרי ארבעה שבועות של ירידה מתמדת הפסקתי עם האנגלית, ואחרי שבועיים נוספים הגעתי למסקנה שגם בעברית זה לא שווה את השעה-שעתיים שנדרשות לי כדי להביא את הטיוטות למצב ראוי לפרסום, וסגרתי את הבסטה. לא נרשמה התרעמות ציבורית. אף לא זעקת שבר אחת. אף אחד אפילו לא טרח לחסום את איילון, שזה היה מעליב במיוחד. כאילו מה כבר ביקשתי, טיפה צומי בסיסי? כפויי טובה כולם.

אפשר להסיק מהסיפור הזה כמה מסקנות מעניינות (עבורי לפחות).

הראשונה – הרעיונות שעולים לך ברכבת בשש לפנות בוקר, והטקסטים שאתה כותב באותן השעות ובאותה הרכבת בעקבותיהם, הם לאו דווקא מוצלחים כפי שנדמה לך. אולי אנסה את זו של חמש?

השנייה – זו שבה אני מחפש אשמים – מנגנון ההפצה העיקרי שלי הוא פייסבוק, ופייסבוק היא כבר לא מה שהייתה פעם. זה לא סוד שהיא לא מציגה תכנים לכל קהל היעד הרלוונטי (עוקבי העמוד במקרה הזה), או אפילו לחלק משמעותי ממנו, אלא אם אתה משלם על ההפצה. וגם אז זה לא תמיד עובד. חצופים, ממש עושים כסף על חשבוננו. ואני בכלל חשבתי שהיא מלכ"ר!

אבל זה לא מסתיים בזה. לאחרונה התחילו לצוץ עדויות רבות לזה שהיא מדכאת בכוונה פוסטים שמפנים למקורות חיצוניים, כי היא שואפת להפוך למקור התוכן ולא רק פלטפורמת הפצה. עד כמה זה דרמטי? ובכן, בואו רק נגיד שהשינוי הזה זכה לשם "אפוקליפסת פייסבוק" בקרב אנשי שיווק. וידאו שתעלו ישירות לפייסבוק יזכה לחשיפה הרבה יותר רחבה מאשר אם תפרסמו לינק ליוטיוב עם אותו הוידאו, וזה תופס לגבי כל תוכן חיצוני. זה קורה בין אם הקישורים הם בגוף הפוסט ובין אם הם "בתגובה ראשונה" או משהו בסגנון (מי היה מאמין שפייסבוק מספיק חכמים כדי לעלות על הטריק המתוחכם של התגובה הראשונה! בחיי, הם צריכים לעבוד בהייטק האנשים האלה!).

גם אני כותב בבלוג חיצוני ומפיץ קישורים בפייסבוק, מה שעשוי להסביר את בעיות ההפצה. חלופה אחת היא לכתוב ישירות בפייסבוק (יש להם מין פורמט של note מורחב, עם אפשרויות עריכה בסיסיות שתומכות בתמונות, קישורים וכאלה). אבל פירוש הדבר הוא ויתור על הבלוג החיצוני ועקירה סופות לפייסבוק – שהתלות שלי בו היא זו שהביאה אותי למצב הזה מלכתחילה. אמנם if you can't beat them join them, אבל גם fuck them זה אחלה סלוגן. להקריב פלטפורמה עצמאית בת 10 למפלצוקר זה לא משהו שאני מעוניין לעשות, קל וחומר אחרי שכתבתי פרק מרגש על עקידת יצחק! זה עשוי לשפר את החשיפה בטווח המיידי, אבל לא נשמע נכון ברמה האסטרטגית. ישנה כמובן האפשרות של לפרסם גם בפייסבוק וגם בבלוג, אבל בהיעדר טראפיק לבלוג עצמו זה חסר כל תכלית.

 

עם כל הפיתוי להאשים את פייסבוק בכל הבעיות, בעיית החשיפה אינה מסבירה את המגמה היורדת בין פוסט אחד למשנהו. מה שמאלץ אותנו להתמודד עם המסקנה השלישית  – זו שקשורה ליואקס ולא רק אליי לשם שינוי – והיא שיש לתת את הדעת על הפער שבין הממצאים של המחקר האיכותני למספרים בפועל.

זה מצב שבהחלט עשוי לקרות בשטח, משום שהתובנות הפרטניות שעולות משיחות או מתצפיות, לא תמיד משקפות את המגמה שעולה מהמדידות המספריות. לכל שיטה יש את החסרונות שלה והמשתתפים נתונים להטיות כאלה ואחרות, שעשויות לעבוד בכיוונים מנוגדים. וגם כשאנחנו מצליחים לנטרל את ההטיות במידה מסוימת, זו בדיוק הבעייתיות בתחום המחקר היואקסי – בשיטות איכותניות מרוב עצים לא רואים את היער, אבל בשיטות כמותניות רואים רק יערות, מרבד ירוק אחיד מגובה מעוף המסוק, ואף לא עץ אחד לרפואה. ואנחנו צריכים גם וגם. לכן אנחנו משלימים את הכמותני עם האיכותני ולא מסתפקים בגישה אחת.

במקרה של המחקר דמיקולו שלי מדובר על הפער שבין התגובות בפרטי (שממשיכות לפרגן עד היום) לבין נתוני הקריאה, השיתוף והלייקים שנראים בסטטיסטיקות. אפשרות אחת שהייתי שמח להיאחז בה היא שהמספרים משקרים. מה שעלול לקרות מכל מיני סיבות. סקרי בחירות ראיתם פעם? מישהו לקח את טראמפ ברצינות כשהוא הכריז על מועמדות? היה איזשהו סקר שנתן לו צל של סיכוי? המספרים משקרים בדיוק כמו כל אחד אחר. זה אולי היה מנחם אילו היה מדובר בסטטיסטיקה, כלומר בניסיון להעריך/לנבא את המציאות על סמך נתונים חלקיים. במקרה שלי לא מדובר בסטטיסטיקה אלא באריתמטיקה, יענו חשבון. המספרים אינם באים לנבא את המציאות אלא מתעדים אותה. המספרים הם מה שקובע בסוף, ולא משנה אם הם משקרים או נשבעים באמא שלהם – זה מה שיש בסופו של יום. הם המטרה. מה שנקרא KPI.

אם כך, מה שנותר הוא לחפש חשודים במידע האיכותני, בפידבקים. כשאני מלמד שיטות מחקר ביואקס, אני מתחיל במושגים של מהימנות ותוקף. נראה שמבחינת מהימנות ("המידה שבה הבדיקה נותנת תוצאות עקביות") אנחנו בסדר – אנשים ספציפיים היו עקביים בפידבקים שלהם לאורך כל הדרך (הקצרה, יש לומר. אפשר להגיד "לקוצר כל הדרך" במקרה כזה?). ומה לגבי תוקף ("המידה שבה הבדיקה באמת בודקת את מה שהיא באה לבדוק")?

ובכן, בפסיכולוגיה ניסויית נוהגים להבחין בין כמה סוגים של תוקף.

– נראה שהבדיקה כן מספקת את המידע הרלוונטי, כלומר האם הם אהבו את התכנים (תוקף נראה).

– הבדיקה גם שוללת הסברים חלופיים לממצאים, כי אין לי סיבה להניח שהם שיקרו (מאוד קרוב לתוקף פנימי, אם כי לא בדיוק זהה). רוב התגובות החיוביות שלאחר הפרסום הגיעו מאנשים שאינם חייבים לי דבר, ולרוב בצורה יזומה.  כלומר לא מדובר בחברים שלי שבאתי ושאלתי מה דעתם על הטקסטים ולא היה להם נעים לבאס אז החמיאו. אלא אלה היו אנשים זרים או כמעט זרים שטרחו ופנו אליי מיוזמתם להגיד שהם אוהבים את הפרסומים. אז אין לי סיבה לפקפק בכנות שלהם. לחברים דווקא היו לא מעט הצעות שיפור שאת רובן השתדלתי ליישם.

– לדעתי היא גם מאפשרת להסיק לגבי מצבים דומים (תוקף חיצוני). אם אהבו פוסט אחד בסגנון מסוים, אין סיבה לחשוב שלא יאהבו פוסט אחר באותו סגנון.

– אבל עם תוקף תוכן – המידה שבה הבדיקה מכסה את כל מרחב הבעיה – יש לנו, ובכן, בעיה. נכון שמי שאמר שהוא אוהב את התכנים כנראה לא שיקר. אבל מי שלא אהב אותם – כנראה פשוט לא אמר כלום. לא סיפק נתונים לעלק-מחקר שלי. מה שגרם לכל הפידבקים שקיבלתי להיות חיוביים, ולא נתן לי את ההזדמנות להיחשף למשוב שלילי, ותסכימו איתי שאי אפשר בלעדיו. במילים אחרות – כן, המכנסיים האלה כן עושים לך תחת.

בעיות תוקף בדרך כלל נופלות תחת ההגדרה של הטיה נפוצה כלשהי. ישנן שתי הטיות שבאות כאן לידי ביטוי. בשלב שלפני תחילת הפרסום הסתפקתי ב"דגימת נוחות", בכך שאספתי תשובות מאנשים שהיה לי נוח לגשת אליהם, מה שעיוות את הממצאים. ומה שקרה אחרי תחילת הפרסומים הוא דוגמא קלאסית של "הטיית אי-מענה", שאומרת שאנשים שבחרו שלא להעביר מידע עשויים להיות שונים באופן מהותי ורלוונטי מהאנשים שכן השיבו. במקרה שלי אנשים שלא התחברו לרעיון פשוט לא כתבו לי, מה שיצר מצג שווא לפיו כל התגובות הן חיוביות והכל טוב סבבה ובכלל לא באסה.

אז מה עושים כשהמחקר האיכותני לא תואם את הכמותני? מנסים להבין מדוע. מסיקים מסקנות ומפסיקים ניסויים כושלים. במקרה שלנו – חוזרים בשאלה. אז – חזל"ש. בלי נדר. בע"ה.

ובינתיים,
תכניסו אחת לצוקרברג, הרשמו לעדכונים במייל!