فيه سؤال بيتقال في كل اجتماع تقريباً وبيعدّي من غير إجابة: طب لو وقفنا الإعلانات، هنخسر كام؟
والسبب إنه بيعدّي إن مفيش تقرير في أي منصة بيجاوب عليه. تقارير ميتا وجوجل كلها بتجاوب على سؤال تاني خالص، وهو مين ياخد الفضل في البيعة اللي حصلت. ده الأتربيوشن. وهو سؤال مشروع بس مش هو السؤال ده.
الفرق بين السؤالين، وليه ده مش تفلسف
الأتربيوشن بيفترض إن البيعة حصلت وبيوزّع الفضل. لو واحد كان ناوي يشتري منك أصلاً، ودخل على إعلان الريتارجيتنج في الطريق، الأتربيوشن هيدّي الفضل للإعلان. والإعلان مجابش البيعة دي، هو بس قابلها في السكة.
الأثر الإضافي بيسأل سؤال أنضف: المبيعات مع الإعلان ناقص المبيعات اللي كانت هتحصل من غيره. الرقم ده هو اللي بيقرر هل الفلوس دي عملت حاجة ولا لأ.
والفرق بين الرقمين بيبقى كبير جداً في حملات الريتارجيتنج بالذات، لأن دي بالظبط الحملات اللي بتوصل لناس قريبة من الشرا أصلاً. حملة ريتارجيتنج بتقولك ROAS عشرة ممكن يكون أثرها الإضافي الحقيقي أقل من واحد. مش لأن التقرير بيكدب، لأنه بيجاوب على سؤال تاني.
كتبت قبل كده عن ليه رقم المنصة بيختلف عن الفلوس اللي بتدخل الحساب فعلاً في ليه ROAS المنصة مختلف عن المبيعات الحقيقية، وعن اللي فضل شغال من نماذج الأتربيوشن في نماذج الأتربيوشن في الإعلانات. المقالتين دول عن دقة توزيع الفضل. المقالة دي عن حاجة تانية: هل فيه فضل أصلاً.
الطريقة الموثّقة: التجربة الجغرافية
الحل مش تقرير، هو تجربة. وأوضح منهجية منشورة فيها هي بتاعة جوجل نفسها.
في ورقة بحثية اسمها "Measuring Ad Effectiveness Using Geo Experiments" كتبها Jon Vaver وJim Koehler من جوجل سنة ٢٠١١، والمنشورة على موقع جوجل للأبحاث، الفكرة بسيطة لدرجة إنها بتبان ساذجة: تقسّم مناطق جغرافية منفصلة ومتداخلاش، توزّعهم عشوائياً على مجموعة ضابطة ومجموعة تجريبية، وكل منطقة بتاخد حالتها عن طريق استهداف جغرافي للإعلان. بعدين تقارن.
الورقة بتحدد إن الأساس في الموضوع إن المناطق منفصلة والتوزيع عشوائي، وإن التكرار عبر عدد من الوحدات الجغرافية هو اللي بيدي فترات ثقة للنتيجة. وفيه ورقة تانية من جوجل بتطوّر نفس المنهج في إطار انحدار زمني، منشورة برضه على موقع أبحاث جوجل.
اللي يهمنا كممارسين إن دي منهجية معلنة ومتقيّمة، مش حيلة. ولها شرط واحد قاسي: لازم يكون عندك مناطق تقدر تفصلها فعلاً.
ازاي تعملها بميزانية تقدر عليها
أغلب الكلام عن الليفت مكتوب لحسابات ضخمة. النسخة اللي بتشتغل في السوق المصري والخليجي أصغر بكتير وممكن تنفّذها بنفسك.
اختار وحدات جغرافية عندك فيها مبيعات كفاية تلاحظ فرق. في مصر ده غالباً محافظات، وفي الخليج مدن. لازم يكونوا متشابهين نسبياً في حجم الطلب قبل التجربة، وده حاجة تقدر تتأكد منها من داتا الشهرين اللي فاتوا.
قسّمهم لمجموعتين بالعشوائي، مش باختيارك. اختيارك هيميل ناحية المناطق اللي بتحبها.
وقّف الإعلان تماماً في المجموعة الضابطة لفترة كافية، وسيبه شغال بنفس المستوى في التجريبية. الفترة مش أقل من دورة الشرا الطبيعية عندك، وغالباً دي من أسبوعين لأربعة.
قيس المبيعات الكلية في المجموعتين، مش المبيعات المنسوبة للإعلان. دي أهم نقطة في الموضوع كله: لو رجعت لتقرير المنصة تقيس، انت رجعت للأتربيوشن ولغيت التجربة.
التكلفة الحقيقية للتجربة هي المبيعات اللي هتخسرها في المناطق اللي وقفت فيها. لو ما خسرتش حاجة، دي مش تجربة فاشلة، دي إجابة، وهي أغلى إجابة ممكن تشتريها بأرخص تكلفة.
التوقيت هو اللي بيفسد أغلب التجارب
أكتر سبب بيخلي تجربة زي دي تطلع نتيجة غلط هو حاجة برة الإعلان حصلت في نص الفترة.
عرض عند منافس في مدينة واحدة، مشكلة توصيل في محافظة، موسم مدارس بيبدأ في وقت مختلف بين المناطق، أو حملة أوفلاين شغالة في نص المناطق بس. أي واحدة فيهم بتاكل الفرق اللي بتقيسه.
عشان كده متعملش التجربة دي في رمضان ولا في موسم أوفر، وسجّل قبل ما تبدأ أي حاجة معروفة هتحصل في الفترة دي. ولو حصلت حاجة مفاجئة، اكتبها واعتبر النتيجة أضعف، متتجاهلهاش عشان التجربة تطلع حلوة.
ازاي تقرا النتيجة من غير ما تخدع نفسك
لما التجربة تخلص هيبقى قدامك رقمين: مبيعات المجموعة التجريبية ومبيعات المجموعة الضابطة. الفرق بينهم هو الأثر الإضافي الخام، والقسمة على المصروف بتديك عائد حقيقي تقدر تقارنه بالرقم اللي المنصة بتقوله.
بس فيه خطوة الناس بتنساها: الفرق ده لازم يكون أكبر من التذبذب الطبيعي بين المناطق قبل التجربة. عشان كده الورقة البحثية بتشدد على التكرار عبر عدد من الوحدات الجغرافية، لأن ده هو اللي بيدي فترة ثقة بدل رقم واحد أعزل. لو عندك منطقتين بس، انت معندكش تجربة، عندك مقارنة.
الطريقة العملية البسيطة: خد الشهرين اللي قبل التجربة واحسب الفرق الأسبوعي الطبيعي بين المجموعتين وهما الاتنين شغالين. ده خط الأساس بتاع الضوضاء عندك. لو الفرق اللي طلع من التجربة مش أكبر من الضوضاء دي بوضوح، فالنتيجة إنك مش عارف، وده استنتاج مشروع تماماً وأحسن بكتير من إنك تقول رقم مش واثق فيه.
ومتحسبش الأثر الإضافي على المبيعات المنسوبة في تقرير المنصة مهما كان الإغراء. المنصة في المناطق الضابطة مش بتشوف حاجة تنسبها أصلاً، فالمقارنة هتبقى بين رقمين متقاسينش بنفس المسطرة.
الحملات اللي الفرق فيها بيبقى أكبر
من اللي شفته، الفجوة بين رقم التقرير والأثر الإضافي بتتسع في تلات أنواع بالذات، وده منطقي مش مصادفة.
حملات الريتارجيتنج أولاً، لأنها بتستهدف ناس دخلت الموقع وقربت من الشرا. جزء كبير منهم كان هيرجع لوحده. ده مش معناه إن الريتارجيتنج بلا قيمة، معناه إن قيمته الحقيقية أقل من الرقم اللي بيظهر، والفرق بيقرر الميزانية.
حملات البحث على اسم البراند ثانياً. اللي بيكتب اسمك في جوجل عارفك، والإعلان هنا بيشتري نقرة كانت غالباً هتحصل مجاناً. الاستثناء لما يكون فيه منافس بيزايد على اسمك، وساعتها الأثر الإضافي بيرجع يبقى حقيقي.
وحملات جمهور الشراء المتكرر ثالثاً. العميل اللي بيشتري منك كل شهر هيشتري الشهر ده برضه، وأي إعلان بيوصله في الطريق هياخد الفضل. ده بالتحديد النوع اللي التجربة الجغرافية بتفضحه بسرعة.
والمقابل صحيح كمان: حملات الوعي والوصول لجمهور جديد بيبقى أثرها الإضافي أعلى من اللي التقارير بتديها، لأن التقارير بتحسب النقرة القريبة من البيعة وبتتجاهل اللي بدأ الرحلة. يعني التجربة مش دايماً بتقلل الأرقام، هي بترتّبها.
امتى الاختبار ده مش مناسب
تلات حالات بصراحة.
لو البيع بتاعك مش مرتبط بالجغرافيا أصلاً، زي منتج رقمي بيتباع لكل العالم من نفس الصفحة، فالتقسيم الجغرافي مش هيدّيك مجموعات مقارنة نظيفة.
لو حجم المبيعات صغير، الفرق اللي هتقيسه هيبقى جوه الضوضاء. حساب بيعمل عشر أوردرات في الأسبوع مش هيقدر يميّز بين تأثير حقيقي وتذبذب عادي، مهما طوّلت الفترة.
ولو مقدرش تفصل الاستهداف الجغرافي بدقة، أو الإعلان بيوصل لمناطق برة اللي انت محدّده، فالمجموعة الضابطة مش ضابطة والتجربة اتلغت من غير ما تعرف.
اللي بيتغير بعد أول تجربة
أهم حاجة في الاختبار ده مش الرقم اللي هيطلع، هي إنه بيغيّر شكل النقاش في الاجتماع.
بعد أول تجربة، السؤال بيتحوّل من "الحملة دي ROAS بتاعها كام" لـ"الحملة دي لو وقفت هنخسر كام". والاتنين مش نفس السؤال، والتاني هو اللي بيقرر الميزانية.
ولو النتيجة طلعت إن الأثر الإضافي أقل بكتير من الرقم اللي في التقارير، دي مش كارثة، دي أول مرة تعرف. والقرار بعدها ممكن يكون إعادة توزيع بين المنصات مش تقليل، وده موضوع كتبت فيه في توزيع الميزانية بين ميتا وجوجل.
وحاجة أخيرة أقولها بصراحة: التجربة دي بتقيس لحظة معيّنة وسوق معيّن. النتيجة صالحة لفترة، مش للأبد، والحاجات اللي بتغيّرها كتير. اللي بتشتريه مش حقيقة دايمة، اللي بتشتريه إنك بطّلت تخمّن لفترة.