استخراج داده از وب

دوره آموزشی
24
15 ساعت

محیط وب یکی از بزرگترین منابع برای داده‌های گوناگون است. اگر می‌خواهید قیمت‌های یک فروشگاه اینترنتی را یکجا استخراج کنید، داده‌های بورس یا قیمت ارز را از وبسایت‌های مربوطه بدست آورید، یا آمار اقتصادی و محیط زیستی وبگاه یک سازمان را برای استفاده در تحقیق خود به دست آورید باید فناوری‌های استخراج داده‌ از وب را یاد بگیرید. این فرآیندها که معمولا تحت عنوان‌های کلی Web Crawling یا Web Scraping شناخته می‌شوند، در این دوره با رویکرد پروژه‌محور به شما آموزش داده خواهد شد. در دوره آموزشی «استخراج داده‌ از وب» قبل از هر چیزی یاد می‌گیریم دنیای وب از چه تکنولوژی‌هایی ساخته شده و یک صفحه وب از چه اجزائی تشکیل شده است. چه پروتکل‌ها و فرآیندهایی در بازیابی اطلاعات از وب وجود دارد و نقش هر کدام چیست. سپس روش‌های کلاسیک برای بدست آوردن داده‌ها از وب را می‌آموزیم و در مثال‌های واقعی، اخذ داده‌ها از صفحات وب را گام به گام و با استفاده از ابزارهای Web scraping و همچنین زبان Python تمرین خواهیم کرد. پروژه پایانی دوره بهترین فرصت برای تمرین آموخته‌های شما در طول دوره خواهد بود.

اهداف

فهرست:

15h

آشنایی با وب

روش Web API Interception برای دسترسی به داده‌ها

آشنایی با ابزار Postman

شناخت Css Selectorها برای استخراج از وب

استفاده از افزونه WebScraper در کروم

کتابخانه BeautifulSoup در پایتون

موارد پیشرفته

پروژه پایانی

مجید پورکاشانی

مهندس داده در دقیقه

مجید پورکاشانی فعالیت حرفه‌ای خود را در دهه 80 شمسی به عنوان توسعه‌دهنده نرم‌افزار در بخش‌های الکترونیک و مخابرات آغاز کرد. سپس به مدیریت مالی و اجرایی روی ‌آورد. تجربه مجید در مهندس فناوری اطلاعات و مدیریت او را به سمت طراحی و پیاده‌سازی زیرساخت‌های بهره‌برداری از داده‌ها‌ سوق داده است.

طراحی و پیاد‌ه‌سازی انبار داده، استقرار سامانه‌های هوش تجاری، خودکارسازی جریان داده، توسعه نرم‌افزار، بهینه‌سازی الگوریتم‌، خطایابی و بهینه‌سازی علملکرد بسته‌های نرم‌افزاری در کنار مصورسازی تعاملی از جمله مواردی است که مجید تجربه به کارگیری آن‌ها در حوزه‌های گوناگونی مانند خدمات اجتماعی، بیمه، درمان، مالی، مالیاتی، کسب‌وکارهای دیجیتال و ... داشته است.

مجید فارغ التحصیل مهندسی برق و الکترونیک از دانشگاه صنعتی شریف و کارشناسی ارشد هوش مصنوعی از دانشگاه علم و صنعت و هم‌بنیان‌گذار شرکت پردازش و تحلیل داده دقیقه است. هجرت از مهندسی برق به علوم کامپیوتر و تداوم فعالیت حرفه‌ای به عنوان مهندس فناوری اطلاعات، توانایی منحصر به فردی در انتقال مفاهیم به او داده است. مجید آموزش اجزای اصلی مهندسی داده را از سال 99 را در سازمان‌های گوناگون آغاز کرده است.

او علاوه بر مهندسی و مصورسازی تعاملی داده‌ها تجربیاتی در مدیریت تولیدات گیاهی نیز دارد. همین موضوع او را مسائل اقلیمی و مدیریت آب نیز علاقه‌مند کرده است. نتیجه بررسی‌های مجید درباره مسائل زیست‌محیطی و موضوعات دیگر را می‌توانید در آدرس زیر در مجله تحلیلی دقیقه‌ای برای تأمل دنبال کنید:

d-mag.ir/pauthor/majidpk

مجید پورکاشانی هم‌اکنون به آموزش مفاهیم، روش‌ها و ابزارهای مدیریت داده‌ در مدرسه پردازش و تحلیل داده دقیقه اشتغال دارد. درس‌‌ها و دیگر مطالبی که مجید در مدرسه دقیقه ارائه می‌کند در ادامه آمده است.

4.14 (7 نظر)

10 دوره ها

5678 دانشجو

نظرات

Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors