• چرایی اهمیت داده‌ها در وب
• اصول دسترسی و ارتباطات در وب
  • مفهوم Client – Server
  • درخواست و پاسخ (Request – Response)
  • فرآیندها و پروتکل‌های ارتباطی
• ساختار صفحات وب
  • ساختار HTML
  • زبان Javascript
  • گرافیک و استایل در وب با CSS
  • شرح عملکرد مرورگر 

۲. روش Web API Interception برای دسترسی به داده‌ها

• آشنایی با Developer Tools
  • تب Elements
  • تب Network
  • مشاهده عملیات پشت صحنه 
• شناسایی APIها
  • چه صفحاتی برای این روش مناسب هستند؟
  • مفهوم Dynamic Web page
  • مشاهده Request/Responseها در مثال واقعی و زنده
  • چگونگی یافتن APIهای حاوی دیتا
• آشنایی با ساختارهای داده 
  
  • Json
  • XML
• تست و شبیه‌سازی APIها
  
  •  ساختار کلی Request و API
  • تست در مرورگر
  • تست در Postman

۳. آشنایی با ابزار Postman

• نصب و راه اندازی
• ایجاد Request
• مفهوم GET و POST
• گرفتن خروجی و ارزیابی Response
• ورود اطلاعات Header
• انواع body
• انواع Authorization
• فرمت‌های خروجی
• برونداد کد پایتون و …

۴. شناخت Css Selectorها برای استخراج از وب

• مفهوم Query
• جستجو در tag، Class و id 
• ترکیب Queryها
• روابط والد، فرزند و هم‌نیایی
• جستجو در ویژگی‌ها (Attributes)
• توالی و شمارش 

۵. استفاده از افزونه WebScraper در کروم

• نصب و راه اندازی
  
  • ایجاد Sitemap و ساختار درختی 
• اجزای داده
  
  • Element Selector
  • Link Selector
  • Text Selector
  • Element Click
  • مدیریت صفحات (Pagination)
• اجرای تمرینات واقعی
  
  • سایت دیجی کالا
  • سایت کدال

۶. کتابخانه BeautifulSoup در پایتون

• خواندن فایل‌های HTML
• پیمایش عناصر
• استفاده از Css Selectorها
• توابع و متدها