پردازش بهینه با pandas و polars

دوره آموزشی
6
18 ساعت

پردازش داده‌های حجیم در پایتون یکی از چالش‌های تحلیلگران داده در مواجهه با داده‌های واقعی است. بخش قابل توجهی از این چالش‌ها، با استفاده کارآمد و اصولی از کتابخانه pandas همچنان قابل انجام است. عدم استفاده درست از پانداس، عملکرد پردازش را به شدت تحت تاثیر قرار می‌دهد. با در نظر گرفتن این موارد می توان به سقف عملکردی پردازش با pandas  نزدیک شد. پس از آن برای بهبود عملکرد بر روی یک سیستم، می توان سراغ پردازش موازی داده‌ها با چند هسته رفت. یکی از سرراست‌ترین راه‌ها با رسیدن به این هدف استفاده از کتابخانه polars است. اگر به چالش پردازش داده‌های حجیم در پایتون برخورده‌ کرده‌اید، این دوره برای شماست. بخش عمده این دوره به بررسی زیر بخش‌های مهم pandas اختصاص دارد و با معرفی polars و انجام یک پروژه پردازش داده در انتهای دوره خاتمه‌ می‌یابد.

اهداف

فهرست:

3 درس18h

نگاهی به ایده‌های اصلی برای پردازش مقیاس‌پذیر با پانداس

بخش اول : معرفی کلی دوره، مفاهیم تحلیل و پردازش داده و داده ست
بخش دوم : Python data Tech stack ، شروع کار با پانداز
بخش سوم : پردازش برداری پانداز، ادامه کار با پانداز

پردازش در پانداس

رویکردهای بهینه برای اعمال روی داده‌های حجیم

روش‌های کارامد پردازش بهینه

بررسی سقف عملکردی و محدودیت های پانداس و واکاوی

پردازش و تحلیل داده‌های حجیم

حسام محمدحسینی

مهندس داده در ایرانسل

مدیر ارشد مهندسی داده و پلتفرم مدیریت ارزش مشتری (CVM) در ایرانسل، سابقه مدیریت محصول در پلتفرم کلان‌داده دیجیکالا
مدیر ارشد اسبق عملکرد شبکه در ایرانسل
کارشناسی ارشد مخابرات سیستم از دانشگاه تربیت مدرس

5.00 (2 نظر)

7 دوره ها

242 دانشجو

نظرات

Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors