در طراحی سایت حرفه ای ، مبحثی وجود دارد به نام تست A/B که در موارد مختلفی به طراح سایت کمک می کند طراحی بهتری انجام دهد. به طور مثال در طراحی سایت فروشگاه اینترنتی با استفاده از این آزمایش می توانیم مشخص کنیم کدام نوع صفحه محصول بیشتر به فروش منجر می شود.
تست A/B چیست؟
تست A/B به روشی گفته می شود که طی آن ، 2 نسخه متفاوت از یک صفحه سایت یا یک برنامه با هم مقایسه می شوند تا مشخص شود کدامیک بهتر عمل می کنند. تست A/B در واقع آزمایشی است که 2 یا چند نوع مختلف از یک صفحه سایت (به طور مثال با چینش های متفاوت) ، به کاربران رندوم (تصادفی) نمایش داده می شوند و آمارها مشخص می کنند کدام نوع ، بهتر توانسته است به هدف مورد نظر دست پیدا کند.
در ادامه به 10 سؤال در مورد تست A/B که توسط کاربران مطرح شده پاسخ می دهیم.
سوال 1 : چه زمانی باید تست A/B را انجام داد و چه زمانی نباید ؟
پاسخ : اگر آزمایش را به عنوان روشی برای کسب اطمینان در نظر بگیریم ، بنابراین هرچقدر اطمینان شما در حال حاضر بیشتر باشد ، نیاز کمتری به انجام تست و آزمایش احساس می شود. این اطمینان ازمنابع مختلفی کسب می شود، به عنوان مثال می توان به مواردی از قبیل اطلاعات گذشته ( مثلا دانش پایه ای شما ) ، آزمایش هایی که تا کنون توسط شما صورت گرفته ، آزمایش هایی که توسط دیگران انجام شده ، شکایات مشتریان ، تحقیق و بررسی کیفی ، کتاب ها ، نظریه ها و تجارب شما، اشاره کرد. جایی که میخواهید آزمایش را از پیاده سازی جدا کنید باید گفت این امری کاملا نظری و خصوصی است ( به عنوان مثال، آیا شما برای پیاده سازی به 1 تستA/B نیاز دارید یا 2 تست؟ ). اگرچه این یک امر ذهنی و خصوصی است ، اما بهترین کار این است معیارهایی که از نظر شما برای پیاده سازی کافی هستند را یادداشت کنید.
یک نمونه از سناریوی مطمئن، می تواند در مورد یک باگ ( عیب و ایراد ) که ممکن است به طور تصادفی پیدا شده باشد ، اتفاق بیفتد. بیایید فرض کنیم شما نرخ تبدیل صفحات وب سایتتان را میدانید و اکنون بنا به دلیلی ، کسی اطلاعاتش را داخل فرم سایت وارد نمی کند. با دانستن اینکه نرخ تبدیل باید روی چه عددی باشد (اطلاعات گذشته) ، شما بدون انجام تست ، به راحتی می توانید تغییراتی در فرم ایجاد کنید تا دوباره شروع به دریافت اطلاعات از مخاطبان سایت کند.
سوال 2 : دلیل اهمیت تست A/B چیست؟
پاسخ : این تست ها به ما اجازه می دهند که تغییرات را اندازه گیری کنیم و درمورد تاثیرات واقعی این تغییرات بحث و گفتگو کنیم. با انجام این تست ها می توانیم فراتر از حدس و گمان ها ، اعتقادات و نظراتی که به دلیل عدم اطمینان در ذهن ها حک شده بودند ، برویم. زمانی که ما نتایج آزمون ها و روش ها را به اشتراک می گذاریم ، در واقع قابلیت مقایسه و تولید مجدد را فعال می کنیم که می تواند درجه بالاتری از اطمینان را به وجود آورد.
سوال 3 : آیا درمورد معیارهایی که در طول آزمایش بررسی می شوند ، محدودیتی وجود دارد؟
پاسخ : من معتقدم در مورد تعداد معیارهای موجود در یک آزمایش ، محدودیتی وجود ندارد. شما باید به راحتی بتوانید هر چیزی را که می خواهید ، اندازه گیری کنید و مقایسه های بسیاری داشته باشید، در غیر این صورت علم در جهت سانسور حرکت خواهد کرد. مساله ای که به هر حال مهم است ، جداسازی دو مسیری است که می توانید تجربه کسب کنید : مسیر اکتشافی و مسیر سخت گیرانه.
هنگامی که شما یک آزمایش اکتشافی انجام می دهید ( معمولا با تعداد زیادی از معیارها یا متغیرات ) ، ممکن است به دنبال رابطه هایی باشید که تا قبل از آن ، حتی آن ها را تصور نمی کردید. از دیدگاه من این روش باز و غیررسمی جمع آوری داده ها مورد قبول است زیرا به عنوان نقطه شروعی برای آزمایش های بیشتر مورد استفاده قرار می گیرند. معمولا این نوع از آزمایشات، به فرضیه ها و نظریات اعتبارنمی دهند، اما در واقع ، نظریه ها و فرضیه ها را به عنوان خروجی تولید می کنند. هر چقدر معیارهایی که ما بررسی می کنیم، بیشتر باشند، شانس انتخاب داده ها بالاتر می رود و به همین دلیل ما نیاز داریم این چنین پیگیری هایی را با آزمایشات دقیق تر و سختگیرانه تری ، دنبال کنیم.
اکثر آزمایش هایی که افراد تمایل بیشتری به اجرای آن ها دارند، از آن جایی که فرضیه ها را مورد تست و بررسی قرار می دهند، دارای حس رسمی و جدی هستند. در این مورد، ما حدس می زنیم و به طور سختگیرانه بررسی می کنیم که آیا پیش بینی ما درست خواهد بود یا خیر. حتی در این نوع از آزمایشات، ما تعدادی از معیارها را اندازه گیری خواهیم کرد ( به عنوان مثال، اندازه گیری پیشرفت با اندازه های متعدد از طریق یک قیف ) . یا این که ممکن است مایل باشیم فروش یک محصول داده شده را بدون صدمه زدن به فروش سایر محصولات افزایش دهیم.
سوال 4 : چگونه با منطق محاسبه قدرت تاثیرگذاری، کنار می آیید؟
پاسخ : طبقه بندی تاثیرات تست ها و آزمایشات ما ، براساس تجربیاتمان می باشد. مشکل زمانی آغاز شد که ما تجزیه و تحلیل تست ها و آزمون های سایر افراد را شروع کردیم ، چرا که ما نمی دانیم این تست چگونه اجرا شده است ( چه زمانی متوقف شده است و این که آیا قدرت آماری کافی را دارا می باشد یا خیر ) . بنابراین ما برای اندازه گیری باورپذیری نتایج تست به یک روش سریع نیاز داریم. ما می دانیم که نمی توانیم روی ارزش های احتمالی و اهمیت آن به تنهایی تکیه کنیم. بنابراین ما اهمیت را با آستانه موفقیت، ترکیب می کنیم. به طور اساسی، ما معتقدیم اگر یک تغییر، 300 موفقیت دارد و ارزش احتمالی آن کمتر از 0.03 باشد ، بنابراین شاهد نتایج بسیار قوی از یک آزمون خواهیم بود.
سوال 5 : اگر یک تغییر ، موفقیت آمیز نبود یا اهمیت خود را از دست داد، آیا بازهم نتایج آن ارزشمند خواهند بود ؟
پاسخ : نتایج آزمون ها تنها یک ویژگی ندارند و مزایای مختلفی مثل رنج تغییرات و احتمالات را نیز به همراه دارند اما در محدوده تاثیر، شیب و احتمالات می باشد. شما به عنوان یک انسان تشخیص می دهید که چه زمانی روی نتایج خط بکشید و آنها را نادیده بگیرید. اگر واقعا عزمتان را جزم کرده اید و در این راه بسیار جدی هستید ، این امکان وجود دارد که با کاهش نرخ بهبود و پیشرفت خود ( با نادیده گرفتن نتایج با ارزش) ، از سایر رقبای موفق عبور کنید. زمانی به نتایج ضعیف تر توجه بیشتری می شود که این اطلاعات توسط آزمایش های دیگری نیز به دست آیند. این بدان معناست که اگر نتایج بررسی و آزمایش شما زیاد موثق نباشند و شما بدانید که آزمایش های مشابه و قابل توجه دیگری در این زمینه انجام شده اند، در نتیجه می توانید با اطمینان خاطر بیشتری روی آزمایش خود حساب بازکنید.
سوال 6 : بدترین نوع خطاها در زمان اجرای تست A/B چیست ؟
پاسخ : هر زمانی که در زمینه راه اندازی فنی با مشکلی مواجه شوید، می توانید آزمایش را باطل کنید ( یا داده هایی که غیرقابل اعتماد بودند را حذف کنید ) . به عنوان یک مثال کامل در این باره می توان به موردی اشاره کرد که به جای توجه کردن و دیدن تنوع، تنها یک گروه از افراد در این آزمایش تحت کنترل قرار گرفته است ( که به جای این کار باید گروه های متنوعی آزمایش می شدند)
سوال 7 : چه درصدی از ترافیک باید در تست A/B مورد استفاده قرار بگیرد؟
پاسخ : به طور پیش فرض ما همواره برای بیشترین سرعت ، با 100 درصد ترافیک آزمایش می کنیم. برخی از افراد به دلیل ترسی که در درون خود دارند ، میزان ترافیک مورد آزمایش را کاهش می دهند، که این اصلا کار خوبی نیست زیرا شما هنوز هم باید همان مقدار از اطلاعات را جمع آوری کنید، علاوه براین زمان انجام آزمایش هم طولانی تر می شود.
یک نکته مرتبط با این سوال : بسیار مهم است که نسبت بین کنترل و تغییرات در حالت برابر حفظ و نگهداری شود. زمانی که آزمایش ها با نسبت های نابرابر انجام می شوند ( به عنوال مثال : 70 درصد ترافیک برای کنترل و 30 درصد ترافیک برای تغییر درنظر گرفته شود ) این کار ، نوسانات زمانی را نشان می دهد که باعث ایجاد انحراف در نتایج می شود ( به عنوان مثال نمونه A در پایان یک آزمایش نسبت به آغاز آن ، تاثیرگذارتر است.)
سوال 8 : در مورد عوامل مؤثر خارجی باید چه اقدامات احتیاطی را اتخاذ کرد و چگونه می توان آن ها را کاهش داد؟
پاسخ : هرچیزی را اندازه گیری کنید. از انجام آزمایش ها تنها به دلیل وجود یک اتفاق ، اجتناب نکنید. اگر شما قبل و بعد و در حین به وقوع پیوستن یک اتفاق ، اندازه گیری کنید، حداقل می توانید به این پرسش پاسخ دهید که آیا این رویداد مهم بوده است یا خیر ( با تقسیم داده های خود در زمان ) . ما یک بار شاهد کمپین تخفیف بودیم که نتایج ما را منحرف ساخت. این کمپین ایمیل خارجی به طور کلی باعث افزایش فروش می شد در حالی که اثر ما را به حداقل می رساند. یکی از روش های سریع برای بررسی این مورد، مشاهده نمودار روز است و بررسی این که آیا خطوط عجیب و غریب وجود دارند یا خیر.
سوال 9 : آیا یک آزمایش را می توان در حین اجرا، تغییر داد؟
پاسخ : باید در این مورد اطمینان پیدا کنید. اگر شما 5 گروه دارید و یکی از آن ها را به شدت از دست بدهید ، اگر به اندازه کافی اطمینان دارید، می توانید همان یک موردی که از دست داده اید را حذف کنید. البته زمانی که یک تست را متوقف می سازید یا این که تغییرات جدید به آن اضافه می کنید، باید به خاطر داشته باشید که مقایسه ها تنها در همان قالب زمانی، انجام می شوند. علاوه براین، اگر بین درمعرض تغییرات قرار دادن و عمل اندازه گیری شده، با زمان تاخیر طولانی مواجه هستید، ( به عنوان مثال: دو هفته تاخیر خرید ) سپس مقایسه به سرعت ، آشفته می شود.
سوال 10 : آیا ترجیح می دهید نمونه ها و زمان انجام آزمون را از قبل مشخص کنید یا این که به آزمون اجازه می دهید تا زمانی که اطلاعات کافی در اختیار دارید، اجرا شود؟
پاسخ : من ترجیح می دهم آزمون ها به سرعت انجام شوند. ایرادی که در روش ” تنظیم کن و فراموش کن”، وجود دارد این است که شما را مجبور می سازند پیشاپیش تاثیر را حدس بزنید. در این مواقع اکثر حدس و گمان ها اشتباه خواهد بود و تنها در صورتی که نتایج آزمایش های قبلی را به یاد داشته باشیم، میتوانیم پیشرفت کنیم. علاوه بر این ، ممکن است گاهی مجبور شویم برای مدت طولانی، آزمایش را اجرا کنیم ( برای مثال: 6 هفته ) . بافرض این که در هفته اول شاهد نتایج بسیار منفی باشیم، ممکن است به خاطر یک مساله غیرضروری ، کسب و کار خود را تعطیل کنیم. اما من معتقدم باید یکسری قوانین متوقف کننده ای برای محافظت از کسب و کارها وجود داشته باشد. اگر ما بتوانیم سریع تر عمل کنیم ( در آزمون های کم اهمیت )، در این صورت یک راه برای افزایش شتاب آزمایش ما، نیاز به نتایج مثبت بیشتر است. بنابراین بله، من معتقدم باید روی اطلاعات کافی عمل و تست انجام گیرد. نکته ای که در زمان مشاهده نتایج آزمون باید به یاد داشته باشید این است که با زمان اضافی آزمایش، مقدار بیشتری احتیاط کنید و محتاطانه برخورد کنید ( و از ارزش های احتمالی به عنوان قوانین توقف، اجتناب کنید).
از این که تا پایان این مطلب با ما همراه بودید، سپاسگزاریم.
منبع: goodui.org
