استخراج داده از وب

دسته‌ها: Offline Courses, Python, Theory
ذخیره کن اشتراک‌گذاری

درباره دوره

محیط وب یکی از بزرگترین منابع برای داده‌های گوناگون است. اگر می‌خواهید قیمت‌های یک فروشگاه اینترنتی را یکجا استخراج کنید، داده‌های بورس یا قیمت ارز را از وبسایت‌های مربوطه بدست آورید، یا آمار اقتصادی و محیط زیستی وبگاه یک سازمان را برای استفاده در تحقیق خود به دست آورید باید فناوری‌های استخراج داده‌ از وب را یاد بگیرید. این فرآیندها که معمولا تحت عنوان‌های کلی Web Crawling یا Web Scraping شناخته می‌شوند، در این دوره با رویکرد پروژه‌محور به شما آموزش داده خواهد شد.

در دوره آموزشی «استخراج داده‌ از وب» قبل از هر چیزی یاد می‌گیریم دنیای وب از چه تکنولوژی‌هایی ساخته شده و یک صفحه وب از چه اجزائی تشکیل شده است. چه پروتکل‌ها و فرآیندهایی در بازیابی اطلاعات از وب وجود دارد و نقش هر کدام چیست. سپس روش‌های کلاسیک برای بدست آوردن داده‌ها از وب را می‌آموزیم و در مثال‌های واقعی، اخذ داده‌ها از صفحات وب را گام به گام و با استفاده از ابزارهای Web scraping و همچنین زبان Python تمرین خواهیم کرد. پروژه پایانی دوره بهترین فرصت برای تمرین آموخته‌های شما در طول دوره خواهد بود.

بیشتر

آنچه خواهید آموخت

  • ادگیری اصول پایه و تکنولوژی‌های وب (HTML / CSS / JavaScript)
  • آشنایی با مفهوم API
  • آشنایی با Request و Response و انواع آنها
  • شناخت ساختارهای داده در وب (Json و Xml)
  • استفاده از Css Selectorها برای استخراج داده‌ها از وب
  • استفاده از افزونه Scraper در مرورگرهای مبتنی بر کروم
  • یادگیری دسترسی به صفحات وب در پایتون
  • شناخت کاربرد شبیه‌سازهای مرورگر
  • آشنایی با راهکارهای استفاده از Cookie و کپچا برای سایت‌های غیرِ باز

محتوای دوره

آشنایی با وب

روش Web API Interception برای دسترسی به داده‌ها

شناخت Css Selectorها برای استخراج از وب

ادامه افزوده Webscraper و کتابخانه BeautifulSoup‌ در پایتون
محتوای جلسه چهارم

موارد پیشرفته

پروژه پایانی

ارسال رزومه

Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors