نتایج پروژه پیش‌بینی سفارش در شبکه خرده‌فروشی

یکی از مهم‌ترین بخش‌های یادگیری علوم داده، مواجه شدن با مسئله‌ای است که پاسخ آن از قبل مشخص نیست؛ جایی که باید ابعاد گوناگون یک کسب‌وکار را شناخت، داده‌های آن را بررسی کرد، فرضیه ساخت، مدل‌های مختلف را آزمود و در نهایت براساس معیارهای درست، تصمیم گرفت.

در پروژه «پیش‌بینی سفارش پین‌دیس»، از مجموعه پروژه‌های #پنجره_بازار_کار_دقیقه، شرکت‌کنندگان با یک مسئله واقعی یادگیری ماشین در حوزه خرده‌فروشی روبه‌رو شدند: آیا می‌توان براساس اطلاعات موجود، احتمال خرید یک برند توسط مشتری را پیش‌بینی کرد؟

این پروژه در قالب یک مسئله دسته‌بندی دودویی (Binary Classification) طراحی شده بود و شرکت‌کنندگان با استفاده از داده‌های آموزشی، مدل خود را توسعه دادند. سپس عملکرد آن روی یک مجموعه داده آزمون مستقل ارزیابی شد.

ارزیابی مدل‌ها تنها براساس یک معیار انجام نشد و شاخص‌هایی مانند PR-AUC، Precision@10%، Recall@10%، Lift@10% و F1 در بررسی عملکرد راه‌حل‌ها مورد توجه قرار گرفتند. نتایج نشان داد دو مدل برتر در بخش مهمی از معیارهای ارزیابی عملکرد قابل توجهی داشته‌اند و بهترین مدل در ۱۰٪ نخست جمعیت به Lift حدود ۴.۶۲ رسیده است؛ یعنی در این بخش، عملکرد مدل نسبت به انتخاب تصادفی به صورت محسوسی بهتر بوده است.