پردازش متن در پایتون: از واکشی داده تا مدل‌سازی زبانی

این پروژه با هدف آشنایی عملی با مباحث پردازش متن و مدل‌سازی زبان‌های طبیعی، به ویژه در حوزه متون موجود در اینترنت، انجام می‌شود. در این پروژه، داده‌های متنی از منابع مختلف مانند ویکی‌پدیا، سایت‌های خبری، گنجور و نظرات کاربران در سایت‌های فروشگاهی جمع‌آوری و پس از پاکسازی و پیش‌پردازش، برای آموزش مدل‌های یادگیری ماشین یا فاین‌تونینگ مدل‌های پیش‌آموزش شده در محیط پایتون مورد استفاده قرار می‌گیرند.

هدف از این پروژه، جمع‌آوری و پاکسازی داده‌های متنی و  انجام یکی از وظایف دسته‌بندی متون، مدل‌سازی عناوین، تشخیص موجودیت‌های نامدار، تحلیل احساسات، تولید متن، خلاصه‌سازی متن یا پاسخ به سوالات است (بخش اختیاری). در نهایت، عملکرد مدل‌های آموزش دیده بر روی داده‌های آزمون ارزیابی و نتایج در قالب گزارش، اسلاید و کد کامل پروژه ارائه می‌شود.