در این صفحه کتاب‌های نسبتا جدید و کاربردی برای یادگیری موضوعات مختلف تحلیل داده، آمار، علوم داده، هوش مصنوعی و شیوه‌های به‌کارگیری آن‌ها در حوزه‌های کاری و پژوهشی گوناگون معرفی خواهد شد. 

مفاهیم اساسی در آمار

تفکر آماری

  Think Stats, Exploratory Data Analysis 

کتاب Think Stats مقدمه‌ای کاربردی برای یادگیری مفاهیم «احتمال و آمار» برای کاربران پایتون است. اگر مهارت‌های پایه‌ای کدنویسی در پایتون را دارید، می‌توانید از آن‌ها برای یادگیری مفاهیم احتمال و آمار و همچنین کسب مهارت‌های عملی در کار با داده استفاده کنید.

O’Reilly, Allen B. Downey, 3rd edition, 2023

Python

متن کتاب

فهرست:

Preface, Exploratory Data Analysis, Distributions, Probability Mass Functions, Cumulative Distribution Functions, Modeling Distributions, Probability Density Functions, Relationships between variables, Estimation, Hypothesis Testing, Least Squares, Multiple Regression, Time Series Analysis, Survival analysis, Analytic Methods

نکته جالب در مورد «تفکر آماری» نگاه متفاوت و مدرنِ آلن داونی به آمار در این کتاب است. او معتقد است علوم داده در حقیقت بر جنبه‌های ناپارمتری و پردازشی آمار بنا شده و از این منظر تفاوتی اساسی با آمار کلاسیک دارد. در نتیجه نگاه متفاوتی در آموزش می‌طلبد. سیستم آموزشیِ برآمده از آمار کلاسیک ماموریت دانش‌آموخته آمار را تنها به پیدا کردن آزمون آماری مناسب فرو می‌کاهد – انگار همه مسائل آماری قبلا حل شده‌اند و کار دیگری باقی نمانده است (+).

داونی معتقد است یادگیری آمار با تکیه بر توان پردازش کامپیوتر برای آزمون‌وخطا، چهارچوبی جدید برای احیای دوباره آمار فراهم کرده است. او در این کتاب تلاش کرده تا شهودی آماری را از همین دریچه آموزش دهد و با پرسش‌های پایه‌ایِ آمار مانند مسائل بکر و دست‌نخورده برخورد کند. به همین خاطر، آشنایی با پایتون به عنوان پیش‌نیاز مطالعه آن معرفی شده است.

ادامه دارد …

The post منابعی برای یادگیری تحلیل داده، آمار، علوم داده و هوش مصنوعی و استفاده از آن‌ها در رشته‌های مختلف appeared first on مدرسه پردازش و تحلیل داده دقیقه.

علوم داده در واژه‌نامه کمبریج، به عنوان استفاده از روش‌های علمی برای بدست آوردن اطلاعات مفید از داده‌های ذخیره شده در حافظه کامپیوتر – به ویژه مجموعه‌های بزرگ و حجیمی از داده –  تعریف شده است:

Data Science: the use of scientific methods to obtain useful information from computer data, especially large amounts of data.

این عبارت به شاخه جدیدی از علوم اشاره دارد که از آمار، علوم کامپیوتر و مسائل کاربردی حوزه‌های دیگر به وجود آمده و پس از سال 2010 میلادی مورد توجه زیادی در دنیا قرار گرفته است.

این متن مدعی است معادل مناسب برای Data Science در زبان فارسی، «علوم داده» است و تلاش می‌کند آن را با بررسی معادل‌های دیگر نشان دهد.

علم داده؟ علم داده‌ها؟ علوم داده؟ علوم داده‌ها؟

تقریبا تمام معادل‌های ممکن برای Data Science در زبان فارسی استفاده می‌شود. به این چند مورد توجه کنید:

• در دانشکده مهندسی کامپیوتر دانشگاه صنعتی شریف رشته‌ای تحت عنوان «کارشناسی ارشد علم داده» تعریف شده و تمامی درس‌های مرتبط با آن مثل «مبانی علم داده»، «اصول و تکنیک‌ها در علم داده»، «علم داده در مهندسی نرم‌افزار» و «آداب در علم داده» به همین صورت آورده شده‌اند (+).
• در دانشکده علوم ریاضی دانشگاه شهید بهشتی گروهی به نام «علوم داده‌ها و کامپیوتر» و بخشی تحت عنوان «کلینیک آمار و علم داده‌ها» به چشم می‌خورد (+ و +).
• در دانشکده علوم و فنون فناوری‌های بین‌رشته‌ای دانشگاه تربیت مدرس رشته‌ای به نام «علم داده‌ها» وجود دارد (+).
• در دانشکده برق و کامپیوتر دانشگاه صنعتی اصفهان در دوره کارشناسی ارشد برای رشته‌ای به نام «علوم داده» برنامه درسی معرفی شده است (+).

.

.

این گوناگونی به نام‌گذاری‌هایی که در دانشگاه‌ها شده محدود نمی‌شود. اگر به برنامه‌های درسی مصوب وزارت علوم نگاه کنیم، استفاده از عبارات متنوع در عنوان رشته‌ها همچنان قابل مشاهده است (+).

اما چرا بهترین معادل برای data science  در زبان فارسی «علوم داده» است؟  

تفاوت علم و Science

واژه‌های علم در زبان فارسی و Science در زبان انگلیسی تفاوت‌هایی با یکدیگر دارند. Science در واژه‌نامه مریام-وبستر به این صورت تعریف شده است:

a : knowledge or a system of knowledge covering general truths or the operation of general laws especially as obtained and tested through scientific method

b : such knowledge or such a system of knowledge concerned with the physical world and its phenomena : natural science

در کارکرد Science در زبان انگلیسی نوعی گرایش به آزمون‌وخطای مرسوم در علوم تجربی وجود دارد که در استفاده از واژه علم در زبان فارسی در بسیاری موارد دیده نمی‌شود.

لغت‌نامه دهخدا معنای علم در زبان فارسی را این گونه نقل می‌کند:

دانستن، یقین کردن، دریافتن، ادراک، استوار کردن، اتقان، معرفت دقیق و با دلیل بر کیفیات معینه و یا حضور معلوم نزد عالم، دانش و آگاهی و معرفت و شناسایی

سپس نمونه‌هایی از استفاده از واژه «علم» در ادبیات فارسی را مرور می‌کند. به این چند نمونه توجه کنید:

گر تو یکی خشک بید بی‌هنری
علم تو را سرو جویبار کند

علمِ بی حلم شمعِ بی نور است
هر دو با هم چو شهدِ زنبور است

سنایی (قرن ششم هجری قمری)

علم چون بر دل زند یاری شود
علم چون بر تن زند باری شود

مولوی (قرن هفتم هجری قمری)

سعدی بشوی لوح دل از نقش غیر دوست
علمی که ره به حق ننماید ضلالت است

سعدی (قرن هفتم هجری قمری)

علم بال است مرغ جانت را
بر سپهر او بَرَد روانت را

اوحدی مراغه‌ای (قرن هشتم هجری قمری)

علم به تقلید نیست علم به تحقیق
علم نخیزد مگر ز حجت و برهان

سید نصرالله تقوی (متولد ۱۲۴۱ شمسی)

مرور این اشعار به خوبی نشان می‌دهد که واژه علم در زبان فارسی به صورت تاریخی با آنچه در Science منظور می‌شود تفاوت دارد.

علم در زبان فارسی به صورت پیشوند با واژگانی همراه می‌شود که Science امکان هم‌نشینی با آن‌ها را ندارد و معادل‌سازی برای آن‌ها در زبان انگلیسی با واژگان دیگری انجام می‌شود. به عنوان نمونه «علم حقوق»، «علم اخلاق» و «علم تاریخ» ترکیب‌های متداولی در زبان فارسی هستند اما در زبان انگلیسی معمولا از Science برای اشاره به آن‌ها استفاده نمی‌شود. اگر این واژگان در زبان انگلیسی با کلمه science همنشین شوند، هدف تاکید بر نگاه به آن‌ها با رویکردهای تجربی است. اما در ترکیب‌هایی مانند «علوم عقلی»، «علوم نقلی»، «علم کلام»، «علم اصول»، «علوم غریبه» و «علم غیب» که همگی در زبان فارسی کاربرد دارند، امکان معادل‌سازی با واژه Science وجود ندارد.

به عبارت دیگر واژه علم، کارکردهایی در زبان فارسی دارد که به کلی با کارکرد Science در زبان انگلیسی متفاوت است. به همین جهت در معادل‌سازی برای Data Science، استفاده از اسم جمع «علوم» به جای اسم مفرد «علم»، تداعی‌های غیرمنظور را کمرنگ می‌کند. به همین جهت «علوم داده» ترکیب بهتری نسبت به «علم داده» یا «علم داده‌ها» است. از آنجا که یکی از معناهای «علم» در زبان فارسی دانستن و یقین پیدا کردن است و «داده» خود از جنس اطلاعات است و کم‌وبیش نوعی fact محسوب می‌شود و موضوع دانستن نیز به شمار می‌رود، ترکیب‌های «علم داده» و «علم داده‌ها» ممکن است با تداعی‌هایی مثل «آگاهی از داده‌ها» یا حتی «آگاهی از همه داده‌ها» و «به یقین رسیدن»، با شباهت پیدا کردن به معنای «علم غیب» وضعیتی طنزآمیز پیدا کنند.

بگذریم که مدل‌های زبانی بزرگ در سال‌های اخیر موفق شده‌اند چیزی از جنس «علم داده‌ها» به همین معنای اخیر را البته برای هوش مصنوعی محقق کنند. با این حال، این مسئله تغییری در تداعی‌های نامناسب این ترکیب به وجود نمی‌آورد. ناهمخوانی نهفته در ترکیب «علم داده‌ها» حتی می‌تواند عبارات متناقض‌تری مثل «علم داده‌های غیبی» را نیز در خود جای دهد و بر طنز موضوع بیافزایند.

سابقه استفاده از «علوم» برای معادل‌سازی science

استفاده از اسم جمع «علوم» در زبان فارسی در معادل‌سازی‌ science جا‌افتاده‌تر است. به عنوان نمونه در معادل‌سازی برای ترکیب‌های social science یا political science در زبان فارسی از «علوم اجتماعی» و «علوم سیاسی» استفاده شده چرا که عباراتی مثل «علم اجتماعی» و «علم سیاسی» نمی‌توانند موضوع بررسی علم را به درستی مشخص کنند و به خاطر انحرافی که در معنا ایجاد می‌کنند شانسی برای بقا نداشته‌اند.

ترکیب «علم سیاست» نیز در زبان فارسی استفاده می‌شود، اما بیشتر از آنکه به political science اشاره داشته باشد به politics اشاره دارد.  

شباهت به «علوم کامپیوتر» از نظر ماهیت کاربردی و بین رشته‌ای

استفاده از اسم جمع «علوم» برای به وجود آوردن ترکیب‌های اسمی مثل علوم کامپیوتر (computer science)، علوم غذایی (food science)، علوم زمین (earth science) نیز سابقه دارد.    

از معدود مواردی که اسم مفرد «علم» برای معادل‌سازی science در زبان فارسی فراگیر شده می‌توان از «علم مواد» برای معادل‌سازی materials science نام برد که آن نیز ممکن است به خاطر پرهیز از استفادۀ پشتِ سرِ همِ اسم جمع باشد.

اگر از این استثنا بگذاریم، تمرکز روی نامگذاری «علوم کامپیوتر» به عنوان شاخه‌ای جدید در علوم و الگویی برای پیدا کردن معادل مناسب برای Data Science می‌تواند راهگشا باشد.

نامگذاری علوم کامپیوتر

با به وجود آمدن نخستین کامپیوترها در نیمه قرن بیستم، حوزه‌ای جدید در علوم به وجود آمد. این حوزه جدید از میان حوزه‌هایی مثل منطق، ریاضیات گسسته و برق و الکترونیک برآمد و موضوع اصلی آن مطالعه مقوله‌هایی مثل اطلاعات (information) و پردازش (computation) و مسائل مرتبط با آن‌هاست. در برخی زبان‌های اروپایی واژه‌سازی برای نامگذاری این حوزه جدید، با تمرکز روی مقوله «اطلاعات» انجام شده است. به عنوان نمونه در زبان فرانسه از واژه informatique، در آلمانی از واژهinformatik  و در زبان ایتالیایی از informatica برای سخن گفتن از علوم کامپیوتر استفاده می‌شود. این رویکرد در عبارت «بیوانفورماتیک» که اشاره به استفاده گسترده از علوم کامپیوتر در زیست‌شناسی دارد، در زبان انگلیسی و همینطور زبان فارسی نیز جا افتاده است.

بر خلاف این موارد، در زبان انگلیسی واژه‌سازی نامگذاری این حوزه، از ریشه پردازش انجام شده است، اما نه با تمرکز مستقیم روی مقوله «پردازش» بلکه با تمرکز روی ابزاری به نام computer که تمامی این مفاهیم، روش‌ها و فنون مرتبط حول آن گرد آمده است. کامپیوتر چیزی است که در کانون این حوزه جدید قرار دارد و نامگذاری به گونه‌ای انجام شده که مجموعه متنوع علوم و فنون مرتبط با آن را در بر بگیرد.

Data Science نیز از این نظر شبیه Computer Science است، چراکه «داده» در کانون آن قرار دارد و مجموعه متنوعی از علوم و فنون را که برای توسعه و بهره‌برداری از آن استفاده می‌شود، در بر می‌گیرد. به همین خاطر «علوم داده» در مقایسه با «علم داده» معادل بهتری برای Data Science است؛ همانطور که «علوم کامپیوتر» معادل بهتری برای Computer Science در مقایسه با «علم کامپیوتر» است و به صورت تاریخی نیز در ایران به خوبی جا افتاده و فرهنگ‌ساز بوده است.

جمع‌بندی و کلام آخر

در گزینه‌های موجود، بهترین معادل برای Data Science در زبان فارسی «علوم داده» است. به گزینه‌های دیگر اشکالاتی وارد است که در استفاده از علم به صورت اسم جمع تلاش شده تا حد ممکن راهکارهایی برای مواجهه با آن‌ها اندیشیده شود. اگر آنچه در گذشته در زبان فارسی متعارف بوده و به نوعی عرف زبانی تبدیل شده را معیار قرار دهیم، می‌توان به اختصار گفت علوم داده ترجمه بهتری از علم داده است همچنان که علوم کامپیوتر ترجمه بهتری از علم کامپیوتر  بوده است.

ممکن است برخی تصور کنند وقتی قریب به اتفاق ادبیات این حوزه ترجمه است، تفاوت چندانی ندارد چه واژه‌ای برای معادل‌سازی به کار گرفته شود. اما این تمام مطلب نیست. هیچ حوزه‌ای از علوم و فناوری در کشور توسعه پیدا نمی‌کند و به پایه‌ای برای آبادانی و رشد بدل نمی‌شود، مگر آنکه زبان و ادبیات آن نیز به تناسب توسعه پیدا کند.

علم و فناوری در محدوده زبان و فرهنگ گسترش پیدا می‌کنند و اگر ارتباطشان حفظ نشود، در رشد فکری و فرهنگی تاثیری نخواهند داشت.

The post بهترین معادل برای «Data Science» در زبان فارسی چیست؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

کسب‌وکارها برای مدیریت بهتر منابع خود استفاده‌های متعددی از داده‌هایشان می‌کنند. این داده‌ها می‌توانند در جداول مختلف در بخش‌های حسابداری، فروش، بازاریابی، پشتیبانی، عملیات و … وجود داشته باشند. کارشناسان کسب‌وکار تلاش می‌کنند تا با تحلیل داده در بخش‌های مختلف بهترین تصمیم‌ها را بگیرند و با رصد کردن نتایج در هر قدم سعی کنند عملکرد خود را به گونه‌ای تنظیم کنند تا به اهدافشان برسند.

ابزار رایج برای تحلیل داده در اکثر کسب‌و‌کارها در دنیا، نرم‌افزار اکسل (Excel) یا جداول آنلاین مثل جداول گوگل (Google Spreadsheets) است. اکثر کسب‌وکارها در دنیا در ابتدا داده‌های خود را به همین شیوه تحلیل می‌کنند. اما با توسعه کسب‌وکار و افزایش گردش کار این شیوه ممکن است نتواند با سرعت کافی به نیازهای کسب‌وکار پاسخ دهد. با بزرگ‌شدنِ کسب‌وکار و پیچیده‌تر شدن داده‌ها، تقاضای کارکنان برای مراجعه به منحنی‌های عملکرد کسب‌وکار افزایش می‌یابد و کارشناسان تحلیل داده ممکن است نتوانند اطلاعات مورد نیاز را به موقع به تصمیم‌گیرندگان برسانند.

از اکسل تا پاوربی‌آی

اطلاع سریع و بلادرنگ از آخرین وضعیت شاخص‌های کلیدی عملکرد ظرفیت بالایی برای جلوگیری بروز رفتارهای پرهزینه و هدررفت منابع دارد و اهمیت ویژه‌ای در کسب‌وکار دارد. در چنین شرایطی کسب‌وکارها برای بهره‌برداری موثر از داده‌ها سراغ گزینه‌های جدیدی مثل Power BI می‌روند و با ایجاد ارتباط با پایگاه‌های داده، خودکارسازی پیش‌پردازش‌ها و توسعه داشبوردهای مدیریتی اطلاعات را با سرعت بیشتری در سازمان‌ به گردش در می‌آوردند و کیفیت تصمیم‌‌ها را از این طریق ارتقا می‌بخشند.   

کسب‌وکارهای کوچک و متوسط معمولا در ابتدا با به کارگیری اکسل، شاخص‌های مورد نظر خود را محاسبه می‌کنند و بر اساس آن‌ها تصمیم می‌گیرند تا موثرترین شاخص‌ها در عمل شناسایی کنند. شناخت عملی شاخص‌ها و آزمون‌و‌خطا برای وارد کردن داده‌ در تصمیم‌گیری، کسب‌وکارها را برای طراحی درست و واقع‌بینانه داشبوردهای مدیریتی و استقرار سامانه‌های هوش تجاری آماده می‌کند. در واقع کسب‌وکار‌ها زمانی سراغ استفاده از پاوربی‌آی می‌روند که بلوغ کافی برای توسعه و بهره‌برداری از سامانه‌های هوش تجاری را به دست آورده باشند.  

هوش تجاری (Business Intelligence)

هوش تجاری (BI) به معنای فرآیندسازی برای جمع‌آوری، تحلیل و تبدیل داده‌ها به اطلاعات ارزشمند و قابل استفاده برای بهبود تصمیم‌گیری‌های در یک سازمان است. در این فرآیند، داده‌های خام از منابع مختلف جمع‌آوری شده، پردازش و پاکسازی می‌شوند و در قالب گزارش‌ها، داشبوردهای تحلیلی و نمودارهای تعاملی ارائه می‌گردند. هدف اصلی هوش تجاری این است که به مدیران و تصمیم‌گیرندگان کمک کند تا با استفاده از بینش‌های برآمده از داده‌ها، عملکرد سازمان را بهبود بخشند، هزینه‌ها را کاهش دهند و تصمیمات استراتژیک بگیرند.

کی سراغ Power BI برویم؟

اکسل یک ابزار قدرتمند برای مدیریت و تحلیل داده‌هاست و می‌توان آن را مهم‌ترین ابزار بهره‌برداری از داده در کسب‌وکارها مخصوصا در دوره راه‌اندازی و رشد آن‌ها دانست. در بسیاری از کسب‌وکارها اکسل یک ابزار ضروری برای تثبیت فرهنگ داده در سازمان است. اما با رشد کسب‌وکار و در هم تنیدن فرایندها مسائل جدیدی به وجود می‌آید و فناوری‌های جدید لازم می‌شوند.

 

از جمله موضوعاتی که مسئله شدن هر یک از آن‌ها می‌توان نشانه نیاز به فناوری‌هایی فراتر از اکسل برای تحلیل و گزارش شاخص‌های کسب‌وکار باشد می‌توان به موارد زیر اشاره کرد:

1. • به‌روزرسانی و خودکارسازی: اگر منحنی‌هایی که روزانه یا هفتگی به آن‌ها مراجعه می‌شود ساده و اندک باشد می‌توان راهکاری برای به‌روزرسانی و خودکارسازی در اکسل ایجاد کرد. اما اگر داده‌‌ها پیچیده‌تر‌ باشند و تعداد نمودارها بیشتر باشد، توسعه راهکار به‌روزرسانی و خودکارسازی در اکسل به راحتی‌ امکان‌پذیر نخواهد بود. اگر داده‌ها از منابع متعدد گردآوری شوند به‌روزرسانی و خودکارسازی با اکسل‌ به بسیار دشوار خواهد بود.   

1. • حجم زیاد داده‌ها: اگر داده‌های شما فراتر از چند صد هزار سطر باشد، اکسل کند می‌شود و تحلیل داده‌ها دشوار می‌شود. اگر داده‌ها پیچیده و حجم محاسبات قابل توجه باشد، کند شدن نرم‌افزار ممکن است با چند ده هزار یا حتی چند هزار سطر نیز آغاز شود.

1. • به‌اشتراک‌گذاری داده در کار تیمی: کار با فایل‌های اکسل به‌صورت تیمی و هم‌زمان می‌تواند باعث ایجاد ناهم‌خوانی و تضاد در فعالیت‌های مختلف شود و همگام‌سازی داده‌ها برای کار تیمی را سخت کند.

1. • نیاز به نمودارهای متعدد: وقتی تنوع در نمودارهای مورد نیاز زیاد می‌شود و نیاز کارشناسان برای مشاهده یک منحنی با پارامترها و فیلترینگ‌های مختلف افزایش می‌یابد، ابزارهای مصورسازی اکسل ممکن است جوابگو نباشد و راهکار اختصاصی برای مصورسازی تعامل لازم باشد.

1. • عدم پشتیبانی از اتوماسیون پیشرفته: ایجاد ارتباط بین اکسل برای اتصال به منابع داده‌ی متنوع و به‌روزرسانی خودکار داده‌ها نیازمند تنظیمات پیچیده و وقت‌گیر است. ارتباط با پایگاه‌های داده رابطه‌ای در پاوربی‌آی ساده‌تر و ساختاریافته‌تر انجام می‌شود.

 

——————-

 

چرا پاوربی‌آی؟

پاور بی‌آی به‌عنوان یکی از محبوب‌ترین ابزارهای هوش تجاری، امکانات گسترده‌ای برای تحلیل و مصورسازی داده‌ها و توسعه هوش تجاری ارائه می‌دهد – مخصوصا اگر با پایگاه‌های داده رابطه‌ای سر و کار داشته باشیم. برخی از مزایای آن عبارت‌اند از:

• • یکپارچگی با منابع مختلف:  امکان اتصال به منابع داده مختلف از جمله فایل‌های  Excel، پایگاه‌های داده رابطه‌ای و خدمات ابری.

• • قابلیت به‌روزرسانی خودکار: داده‌ها به‌صورت دوره‌ای به‌روزرسانی می‌شوند و نیازی به وارد کردن دستی اطلاعات نیست.

• • گزارش‌گیری تعاملی: داشبوردهای Power BI بسیار تعاملی هستند و کاربران می‌توانند داده‌ها را در تعامل با داشبورد و مشاهده نمودار مورد نظر خود تحلیل کنند.

• • انعطاف‌پذیری و مقیاس‌پذیری: از کسب‌وکارهای کوچک تا سازمان‌های بزرگ می‌توانند از این ابزار استفاده کنند.

جمع‌بندی

تحول دیجیتال در بسیاری از کسب‌وکارها با استفاده از ابزارهای هوش تجاری مانند Power BI آغاز می‌شود. اگر می‌خواهید در دنیای ارزش‌آفرینی با داده‌ها یک قدم جلوتر باشید و زمان آن رسیده تا برای محاسبه و رصد شاخص‌های کلیدی عملکرد از نرم‌افزار اکسل فراتر بروید و آینده کسب‌وکار خود را بهبود دهید، به استقرار سامانه‌های هوش تجاری در کسب‌وکار خود برنامه‌ریزی کنید. در عین حال به این نکته نیز توجه داشته باشید که به ثمر رساندن هوش تجاری و علوم داده در سازمان‌ها در گرو ارتقای فرهنگ داده است. اگر کارکنان سازمان به اندازه کافی با ابزارهایی مثل اکسل با داده‌ها کار نکرده ممکن است سازمان شما هنوز برای استقرار سامانه هوش تجاری آماده نشده باشد. کار با داده به واسطه ابزارهایی مثل اکسل شهود کارکنان درباره داده‌های سازمان را تقویت می‌کند و با را با ارزش‌های مستتر در داده‌های سازمان آشنا می‌سازد. آشنایی و اشراف کارکنان بر داده‌های سازمان شرط لازم برای موفقیت سازمانه‌های هوش تجاری و انواع دیگر بهره‌برداری تحلیلی از داده‌های سازمان‌ها است. 

دوره آموزشی مرتبط:

تحلیل داده و توسعه داشبورد با Power BI

Data Analysis and BI Dashboard Development with Power BI

اطلاعات بیشتر

دوره آموزشی

The post چرا کسب‌وکارها بعد از Excel سراغ PowerBI می‌روند؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

• بسیاری از مسائل یادگیری ماشین در دنیای واقعی، مسائل بهینه‌سازی چندهدفه هستند و معمولا از پیچیدگی بیشتری نسبت به مسائل کلاسیک بهینه‌سازی برخوردارند. برای حل چنین مسائلی فهم عمیق‌تری از الگوریتم‌های یادگیری ماشین لازم است. به عنوان نمونه می‌توان به مسائل زیر اشاره کرد:
  • • بهینه‌سازی زنجیره تأمین در کسب‌وکارها
    • برنامه‌ریزی زمان‌بندی بیمارستان‌ها در حوزه پزشکی
    • تخصیص منابع در شبکه‌های مخابراتی و سیستم‌های انرژی
  • • سیستم‌های توصیه‌گر در موتورهای جستجو و صنعت ویدئو و سرگرمی

• بسیاری از مسائل یادگیری ماشین در دنیای واقعی، مسائل بهینه‌سازی چندهدفه هستند و معمولا از پیچیدگی بیشتری نسبت به مسائل کلاسیک بهینه‌سازی برخوردارند. برای حل چنین مسائلی فهم عمیق‌تری از الگوریتم‌های یادگیری ماشین لازم است. به عنوان نمونه می‌توان به مسائل زیر اشاره کرد:
  • • بهینه‌سازی زنجیره تأمین در کسب‌وکارها
    • برنامه‌ریزی زمان‌بندی بیمارستان‌ها در حوزه پزشکی
    • تخصیص منابع در شبکه‌های مخابراتی و سیستم‌های انرژی
  • • سیستم‌های توصیه‌گر در موتورهای جستجو و صنعت ویدئو و سرگرمی

The post چرا یادگیری ماشین با رویکرد بهینه‌سازی؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

المپیاد ریاضی یکی از قدیمی‌ترین رقابت‌های حاضر در میان علاقه‌مندان جوان ریاضیات در دنیاست. این مسابقه از سال ۱۹۵۹ میلادی (۱۳۳۸ شمسی) تاکنون، همه ساله بین بهترین دانش‌آموزان کشورهای جهان برگزار می‌شود. آزمون المپیاد شامل شش مسئله دشوار در موضوعات جبر، هندسه، ترکیبیات و تئوری اعداد است و حل آن‌ها به ساعت‌ها فکر کردن متمرکز نیاز دارد. سوالات این آزمون همیشه جدید است و غالبا توسط برجسته‌ترین ریاضی‌دانان جهان مثل برندگان مدال فیلدز طرح می‌شود تا هیچ شرکت‌کننده‌ای با مشاهده نمونه‌ای نزدیک به سوالات آزمون از امتیازی نسبت به سایر شرکت‌کنندگان برخوردار نباشد. اما در آخرین آزمون بین‌المللی المپیاد ریاضی در سال ۲۰۲۴ یک اتفاق کاملا جدید افتاد و توجه بسیاری را به خود جلب کرد. در آخرین المپیاد ریاضی، یک مدل هوش مصنوعی موفق شده امتیازی معادل مدال نقره مسابقه را کسب کند.

در این آزمون ابتدا هر شش سوال به زبان ریاضی درآمده و به این صورت وارد سیستم‌های آلفاپروف[۱] و آلفاجیومتریِ[۲] گوگل شد‌اند تا تلاش برای حل آن‌ها آغاز شود. سیستم گوگل موفق شده تا از شش سوال، یک سوال را در چند دقیقه ابتدایی حل کند، حل سه سوال دیگر سه روز طول کشیده و دو سوال در نهایت بدون راه حل باقی مانده است (زمان آزمون ۴.۵ ساعت است). تلاش این دو سیستم گوگل در نهایت به کسب امتیاز ۲۸ از ۴۲ و رتبه ۵۹ از ۶۰۹ نفر شرکت‌کننده شده است (۲۹ کمترین امتیاز برای کسب مدال طلا بوده است)[۳].

توانایی استدلال ریاضی در این سطح، یک قابلیت جدید هوش مصنوعی است که نسخه‌های قبلی آن‌ را نداشته‌اند. این قابلیت‌ سبب شده چشم‌انداز تازه‌ای برای حل مسائل باز و بغرنج علوم توسط هوش مصنوعی در آینده ایجاد شود. چه چیزی سبب پیدایش قابلیت‌های تازه در نسل‌های جدید مدل‌های هوش مصنوعی می‌شود؟

در سال‌های اخیر، هوش مصنوعی به لطف مدل‌های زبانی بزرگ (LLMs) تحولات عظیمی را تجربه کرده است. این مدل‌ها که چت‌جی‌پی‌تی و لاما نمونه‌هایی از آن‌ها هستند، به صورت بی‌سابقه‌ای توانایی‌هایی شبیه استدلال منطقی، حل مسائل ریاضی و حتی سطوحی از خلاقیت در نوشتن را نشان داده‌اند. این توانایی‌ها چگونه ظهور کرده‌اند؟ چه چیزی باعث می‌شود ویژگی‌های جدیدی در این مدل‌ها پدیدار شود؟

اغلب مدل‌های هوش مصنوعی جدید مثل مدل‌های زبانی بزرگ با تکیه بر شبکه‌های عصبی عمیق  کار می‌کنند. در این مدل‌ها، بزرگی شبکه مدل یا به عبارت دقیق‌تر تعداد یال‌ها، (پارامترهای قابل تنظیم) به عنوان معیاری برای انعطاف و پیچیدگی مدل در نظر گرفته می‌شود. برای مثال، مدل جی‌پی‌تی۳ دارای ۱۷۵ میلیارد پارامتر است که هنگام مدلسازی باید مقدار آن‌ها با به کارگیری یک سخت‌افزار بزرگ تعیین شود، در حالی که نسخه‌های اولیه این مدل‌ها تنها میلیون‌ها یا چند میلیارد پارامتر بیشتر نداشتند.

مشاهده این روند افزایشی این ایده را به ذهن متبادر می‌کند که با افزایش تعداد پارامترها، نه تنها توانایی و دقت مدل در تولید متن بهبود می‌یابد، بلکه قابلیت‌های غیرمنتظره‌ و جدیدی مثل خلاقیت و استدلال نیز ظاهر می‌شوند.

به عنوان مثال در حالی که جی‌پی‌تی۲ با ۱.۵ میلیارد پارامتر قابلیتی فراتر از تولید متن‌های روان نداشت و جی‌پی‌تی۳ با۱۷۵  میلیارد پارامتر قابلیت‌های جدیدی مثل ترجمه، خلاصه‌سازی، کدنویسی و درک برخی از مسائل منطقی پیدا کرده بود، جی‌پی‌تی۴ با بیش از یک تریلیون پارامتر از آنچه در حوزه پردازش زبان‌های طبیعی تصور شده بود، فراتر رفت و توانایی‌های جدیدتری مثل درک تصاویر و حل مسائل ترکیبی بروز داد[۴].

پیدایش قابلیت‌های جدید در هوش مصنوعی در سال‌های اخیر مورد توجه زیادی قرار گرفته است، چراکه این تصور به وجود آمده که با تامین سخت‌افزاری و صرف انرژیِ بیشتر و آموزش مدل‌های بزرگ‌تر، توانایی‌های تازه و پیش‌بینی‌ناپذیری پدید می‌آیند[۵]. این قابلیت‌ها هم از جهت امکانات و هم از جهت مخاطراتی که ایجاد می‌کنند مورد توجه قرار گرفته‌اند.

آنچه باعث این تصور شده در واقع این است که این توانایی‌ها را نمی‌توان در مدل‌های کوچک‌تر – حتی اگر همان داده‌ها را آموزش داده باشند – مشاهده کرد. شرکت اوپن‌اِی‌آی در یکی از مطالعات خود مدعی شده برخی از توانایی‌های منطقی تنها زمانی ظاهر می‌شوند که مدل به حد مشخصی از تعداد پارامترها برسد. برای مثال، توانایی حل مسائل جبری در مدل‌هایی با کمتر از ۱۰ میلیارد پارامتر دیده نمی‌شد، اما با افزایش مقیاس، این توانایی به صورت ناگهانی و شگفت‌انگیز ظاهر شد[۶].

این مشاهده تا حدی شبیه به ایده پیدایش ویژگی‌های جدید[۷] در مطالعات سیستم‌های پیچیده[۸] است. منظور از پدیدار شدن ویژگی‌های جدید، ویژگی‌هایی است که با نگاه به اجزای تشکیل دهنده سیستم قابل مشاهده نباشد و مشاهده آن را احتمالا باید به تعاملات پیچیده بین نورون‌ها در شبکه عصبی مصنوعی مدل نسبت داد[۹]. در شبکه‌های عصبی، افزایش پارامترها به معنای افزایش تعداد ارتباطات ممکن بین نورون‌ها است. این تعاملات در مقیاس بزرگ به مدل اجازه می‌دهد تا الگوهای پیچیده‌تری را شناسایی کند که در مقیاس‌های کوچک‌تر دست‌نیافتنی هستند. اگر یک ویژگی با تعداد مشخصی از پارامترها محقق شود، آیا با افزایش تعداد پارامترهای بیشتر می‌توان به ویژگی‌های مهم‌تری دست یافت؟ آیا محدودیتی وجود دارد؟

به نظر می‌رسد سرمایه‌گذاران این حوزه نیز با همین تصور به گردآوری خوشه‌های بزرگ‌تری از پردازنده‌ها روی آورده‌اند و به همین دلیل نیز هر بار ابعاد مدل و اندازه پردازنده‌ها در خبرها مورد توجه قرار می‌گیرد[۱۰].   

البته این رویکرد در میان پژوهشگران هوش مصنوعی منتقدانی نیز دارند. آن‌ها معتقدند افزایش مقیاس و بروز قابلیت‌های جدید نمی‌تواند به صورت نامحدود ادامه یابد و بحث‌های زیادی در این مورد وجود دارد. ظهور قابلیت‌های جدید با افزایش پارامترها یک امر تضمین‌شده نیست و باید محدودیت‌های آن را مورد بحث قرار داد[۱۱]. بعضی از این توانایی‌ها ممکن است به داده‌های آموزشی خاص مثل یادگیری اطلاعات زمینه[۱۲] یا ساختار معماری متفاوتی نیاز داشته باشند. آن‌ها مدعی‌اند ایده ظهور بی‌پایان توانایی‌های جدید با افزایش اندازه مدل ممکن است اغراق‌آمیز و نامرتبط باشد و اظهار نظر در این مورد بررسی‌های دقیق‌ و جامع‌تری دارد[۱۳].

به نظر شما مهم‌ترین عامل بروز قابلیت‌های جدید در مدل‌های زبانی بزرگ‌، آموزش مدل‌هایی با تعداد پارامتر بیشتر است یا می‌توان از عوامل دیگری نیز به عنوان نقاط بروز قابلیت‌های جدید در این مدل‌ها یاد کرد؟ محدودیت‌های زبانی چیست؟

ادامه دارد ...

پردازش زبان‌های طبیعی و مدل‌های زبانی بزرگ با پایتون

RegEx, NLP, ML & LLM with Python

اطلاعات بیشتر

دوره آموزشی

ارجاع و پانویس

[1] AlphaProof

[2] AlphaGeometry

[3] AI achieves silver-medal standard solving International Mathematical Olympiad problems, Google DeepMind, AlphaProof and AlphaGeometry teams 25 July 2024 (+)

[4] Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance, Google Search April 4, 2022 (+)

[5] Emergent Abilities of Large Language Models, assembly AI, Mar 7, 2023 (+)

[6] Scaling Laws for Neural Language Models, Cornell University 23 Jan 2020 (+)

[7] Emergent Properties, Stanford Encyclopedia of Philosophy (+)

[8] Complex Systems

[9] Emergent Abilities in Large Language Models: An Explainer, Georgetown University April 16, 2024 (+)

[10] Elon Musk starts training ‘world’s most powerful AI’, Times of India, Jul 23, 2024 (+)

[11] Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models, University of Notre Dame (+)

[12] In-Context Learning

[13] Are Emergent Abilities of Large Language Models a Mirage? Stanford University 2023 (+)

The post قابلیت‌های جدید هوش مصنوعی از کجا می‌آیند؟ آیا محدودیتی وجود دارد؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

ارزشیابی

• تمرین: 25%
• میان‌ترم: 25%
• پایان‌ترم: 25%
• پروژه: 25%
• آزمون کلاسی: 10%
• مسابقه آی‌سی‌پی‌سی: 5%

       ————————–

       جمع: 150%

منابع

1. John V. Guttag, Introduction to Computation and Programming Using Python, Fourth Edition; With Application to Understanding Data; MIT Press 2016
2. Eric Grimson, John Guttag, Ana Bell; Introduction to Computer Science and Programming in Python; MIT Open Courseware 2016
3. David J. Malan, CS50: Introduction to Computer Science; Harvard University 2021
4. Daniel Hills, The Pattern on the Stone; 1998
5. Peter Higgins; Nets, Puzzles, and Postmen: An exploration of mathematical connections; Oxford Press 2007
6. code.org Learning computer science
7. bebras.org International Challenge on Informatics and Computational Thinking

دسترسی به محتوای اختصاصی کلاس

برای دسترسی به محتوای اختصاصی این کلاس لطفا کدی که در اختیار شما قرار گرفته را وارد کنید و بقیه مراحل را طی کنید.

کد ثبت نام ثبت نام

The post مبانی برنامه‌سازی کامپیوتری با زبان پایتون و مقدماتی برای تحلیل داده (دانشگاه صنعتی شریف) appeared first on مدرسه پردازش و تحلیل داده دقیقه.

تغییر نگرش به «برچسب‌» و تحول در یادگیری ماشین

تغییر نگرش‌های منجر به رشد سریع هوش مصنوعی مولد در سال‌های اخیر (۱)​

در سال‌های اخیر، «هوش مصنوعی مولد» و «مدل‌های زبانی» [1] با رشدی بی‌سابقه و ناگهانی به یکی از حوزه‌های پرطرفدار و پرکاربرد در امور روزمره، علوم کامپیوتر و توسعه کسب‌وکار تبدیل شده است. این پدیده که می‌توان آن را یکی از مهم‌ترین تحولات در هوش مصنوعی در نظر گرفت، محصول به هم پیوستن مجموعه‌ای از ایده‌هاست که در حوزه‌های مختلف علوم کامپیوتر به کار گرفته شده‌ و مراحل رشد و تحول خود را طی کرده‌اند. در مجموعه «تغییر نگرش‌های مولد: نگاهی به تحولات هوش مصنوعی» تلاش خواهیم کرد به ایده‌های اساسی و نقاط عطفی که منجر به پیدایش و توسعه گونه‌های جدید هوش مصنوعی شده بپردازیم.

«هوش مصنوعی مولد» شاخه‌ای از هوش مصنوعی است که بر نوع خاصی از به کارگیری ایده «یادگیری ماشین»[2] بنا شده است. آموزش یادگیری ماشین کتاب‌ها و درس‌های دانشگاهی معمولا با یک تقسیم‌بندی حول مقوله «دادۀ برچسب‌خورده» آغاز می‌شود: یادگیری بانظارت[3]، یادگیری بدون‌نظارت[4] و پس از آن‌ها یادگیری تقویتی[5]؛ اما آنچه باعث رشد و توسعه ناگهانی هوش مصنوعی مولد شده، بازی با این تقسیم‌بندی کلاسیک و خلاقیت در تلفیق آن‌ها با یکدیگر و ارائه یک چهارچوب‌ جدید است.

برای اینکه بفهمیم فراتر رفتن از تقسیم‌بندی حول «داده برچسب‌خورده» چگونه منجر به تحولات جدیدی در یادگیری ماشین شده، بهتر است ابتدا این سه رویکرد را به اختصار مرور کنیم.

یادگیری بانظارت

در یادگیری بانظارت سعی می‌کنیم با استفاده از داده‌های برچسب‌خورده توسط یک ناظر، مدلی ایجاد کنیم که برچسب داده‌های جدید را با دقت قابل قبولی حدس بزند. ناظر کسی است که به داده‌ها برچسب می‌زند تا ماشین برچسب زدن به داده‌ها را از روی دست او یاد بگیرد.

مثال معروف یادگیری بانظارت، شناسایی ایمیل‌های تبلیغاتی یا هرزنامه[6] و جداکردن آن‌ از ایمیل‌های واقعی[7] است که کاربر در صندوق نامه‌های الکترونیک خود دریافت می‌کند. در اینجا دو برچسبِ «هرزنامه» یا «واقعی» از پیش تعریف شده و مدل با استفاده از تعداد قابل توجهی از ایمیل‌های برچسب‌خورده آموزش داده می‌شود تا هرزنامه ‌یا واقعی بودن ایمیل‌های جدید را با توجه به شباهت آن‌ها به ایمیل‌های برچسب‌خورده پیش‌بینی[8] کند. هر بار که کاربر نتیجه پیش‌بینی مدل را اصلاح می‌کند و ایمیلی را از حالت هرزنامه خارج می‌کند، ماشین از داده جدید یاد می‌گیرد تا در آینده پیش‌بینی‌های بهتری برای هرزنامه‌ یا واقعی بودن ایمیل‌های هر کاربر ارائه کند.

مثال معروف دیگر تشخیص برچسب احساسی جمله در سه دسته «مثبت»، «خنثی» و «منفی» است برای اینکه ماشین بتواند احساسات پنهان در جملات جدید را حدس بزند. به این کار در پردازش متن، اصطلاحاً تحلیل احساسات[9] گفته می‌شود.

نمونه معروف دیگر برای یادگیری بانظارت، مدل‌های پیش‌بینی قیمت بر اساس داده‌های گذشته است[10]. مثلا اگر داده‌های معاملات مسکن در یک شهر را داشته باشیم می‌توانیم تخمینی ارزشمند از قیمت یک معامله جدید در آن به دست بیاوریم و اصطلاحا قیمت آن را پیش‌بینی کنیم. در مسئله پیش‌بینی تلاش می‌کنیم تا یک ویژگی مثل قیمت را بر اساس ویژگی‌های دیگری مثل طول و عرض جغرافیایی، مساحت، سن بنا، پارکینگ داشتن یا نداشتن، آسانسور داشتن یا نداشتن، انباری داشتن یا نداشتن و … پیش‌بینی کنیم. به داده‌های زیر نگاه کنید.

شماره مشاهده	طول جغرافیایی	عرض جغرافیایی	مساحت	سن	نوع اسکلت	پارکینگ	انباری	آسانسور	قیمت هر متر مربع
معامله 1	35.6851	51.3704	120	9	فلزی	1	0	1	48
معامله 2	35.6334	51.3211	65	27	بتونی	1	0	0	67
معامله 3	35.6572	51.3315	93	16	فلزی	0	1	1	118
…	…	…	…	…	…	…	…	…	…

در این داده‌ها تعدادی مشاهده از معاملات انجام شدۀ شهر به عنوان داده برچسب‌خورده گردآوری شده‌ است. در رویکرد یادگیری بانظارت از این داده‌ها برای توسعه مدل‌های پیش‌بینی استفاده می‌شود. یک مدل پیش‌بینی می‌تواند ساده و قابل تفسیر یا پیچیده و غیر قابل تفسیر باشد و نتوان به راحتی از منطق و محاسبات آن سر در آورد. وظیفه چنین مدل‌هایی پیش‌بینی ویژگی مورد نظر مثل قیمت برای مشاهدات جدید است.

شماره مشاهده	طول جغرافیایی	عرض جغرافیایی	مساحت	سن	نوع اسکلت	پارکینگ	انباری	آسانسور	قیمت هر متر مربع
معامله جدید	35.6137	51.3217	106	19	فلزی	1	1	1	؟؟؟

مسائل پیش‌بینی اغلب در چهارچوب یادگیری بانظارت مورد بحث و بررسی قرار می‌گیرند.

یادگیری بدون‌نظارت

در یادگیری بدون نظارت، برخلاف رویکرد یادگیری بانظارت، برچسب‌های از پیش تعریف شده‌ یا دادۀ برچسب‌خورده‌ برای پیش‌بینی وجود ندارد. در رویکرد بدون نظارت داده‌ها پردازش و تحلیل می‌شوند تا قواعد و الگوهای پنهانی مثل شباهت‌ها و تفاوت‌های مشاهدات با یکدیگر کشف شود. یکی از مثال‌های معروف یادگیری بدون نظارت، خوشه‌بندی[11] است؛ مثل خوشه‌بندی مشتریان[12] که طراحی استراتژی‌های مناسب برای طراحی محصولات جدید و توسعه بازار کاربرد دارد. در خوشه‌بندی مشتریان، تعداد گروه‌های از پیش تعیین‌شده‌ای برای شناسایی وجود ندارد، اما تفکیک مشتریان به گروه‌های متمایزِ تشکیل‌شده از افراد شبیه به یکدیگر بسیار سودمند است، چرا که مدیریت در می‌یابد که با چند گونه مشتری طرف است و می‌تواند استراتژی خود را متناسب با آن طراحی کند.

به عنوان نمونه در میان مشتریانِ یک سوپر مارکت، گروه‌های مختلف مشتریان بر اساس فاکتورهای خریدشان می‌تواند شامل چهار خوشه متمایز باشد: (1) کسانی که مواد شوینده می‌خرند، (2) کسانی که بیسکوییت، تنقلات و نوشیدنی می‌خرند، (3) کسانی که نوشابه، تخم مرغ، غذاهای یخ‌زده و کنسروی می‌خرند و (4) کسانی که اغلب لبنیات، تخم مرغ، گوشت و مرغ می‌خرند. داده‌های این مسئله کم‌وبیش چنین شکل و شمایلی دارد:

شماره مشاهده	شیر	پنیر	ماست	تخم مرغ	تن ماهی	مرغ	گوشت	مایع ظرفشویی	…
مشتری 1	1	1	0	1	0	1	0	0	…
مشتری 2	0	1	1	1	0	1	0	0	…
مشتری 3	0	1	0	1	0	0	1	1	…
…	…	…	…	…	…	…	…	…	…

اگر در این مسئله خرید هر یک از اقلام فوق را یک ویژگی و هر مشتری را به عنوان یک مشاهده در نظر بگیریم، هدف نه پیش‌بینی یک ویژگی بر اساس ویژگی‌های دیگر بلکه شناسایی مشاهدات شبیه به یکدیگر با توجه به ویژگی‌های مشترک آن‌ها است. 

مثال دیگر گروه‌بندی موضوعی مقالات[13] و قرار دادن آن‌ها در گروه‌های جداگانه است. به نظر شما برای حل این مسئله، «ویژگی» را در مقالات چگونه می‌توان تعریف کرد؟   

یادگیری تقویتی

در یادگیری تقویتی نیز داده برچسب‌خورده برای محاسبه میزان دقت یا درستیِ حدس‌ها در مراحل میانی وجود ندارد، اما یک برچسب نهایی از جنس «پاداش» یا «مجازات» وجود دارد تا به مرور ماشین بر اساس آن به الگوهای پیروز پرداخته و به این ترتیب یادگیری خود را تقویت کند. یکی از کاربردهای یادگیری تقویتی، استفاده از بازی‌های پیچیده‌ای مثل شطرنج است. فرض کنید داده‌های زیادی از بازی‌های شطرنج در اختیار داریم و می‌خواهیم برنامه‌ای بنویسیم تا کامپیوتر بتواند به خوبیِ یک استادبزرگ شطرنج بازی کند. در این داده‌ها برای هر حرکت‌ به تنهایی ارزش‌گذاری مشخصی در طول بازی وجود ندارد، اما برای هر بازی در انتها یک برچسب «برد» یا «باخت» وجود دارد. رویکرد یادگیری تقویتی تلاش می‌کند تا مجموعه عظیم داده‌های بدون برچسب شامل حرکت‌های مختلف و پاسخی را که از محیط دریافت می‌شود، با استفاده از همین یک برچسب یعنی پیروزی و شکست پردازش و تحلیل کند تا ماشین به استراتژی‌های پیروز دست یابد.    

نمونه‌های دیگر از کاربرد یادگیری تقویتی را می‌توان در سیستم‌های توصیه‌گر[14] فروشگاه‌های آنلاین و بهینه‌سازی سبدهای سرمایه‌گذاری[15] در بازار سهام به خوبی مشاهده کرد.   

گذار به یک رویکرد جدید

مدل‌های بدون نظارت معمولا نیازمند تنظیم پارامترهای مختلف مسئله مثل تعداد معنادار خوشه‌ها و تفسیر هستند. این تنظیم در بسیاری موارد توسط انسان متخصص انجام می‌شود و در برخی موارد به اطلاعات بیرونی برای تصمیم‌گیری مناسب نیاز دارد. به همین خاطر می‌تواند کُند و پرهزینه‌ باشد. این مسئله به دلیل دسترسی به داده برچسب‌خورده در مدل‌های تحت نظارت وجود ندارد و کل فرایند به صورت خودکار و بدون مداخله عامل انسانی انجام می‌شود. آنچه در مدل تحت نظارت به وسیله ناظر انسانی انجام می‌شود، برچسب زدن داده‌هاست. اما برچسب زدن توسط ناظر انسانی در مقیاس بزرگ بسیار هزینه‌بر است. در یک دوره زمانی، شرکت‌های بزرگ برای اینکه داده‌های خود را برچسب ‌بزنند به ترفندهایی مانند جمع‌سپاری در قالب پر کردن جای خالی در عبارات کپچا[16]یا پیدا کردن سگ و گربه و اتوبوس در تصویر روی آوردند. این نیاز وقتی برای برچسب‌زدن داده‌ها به نیروی انسانی متخصص با سطح دانش بالا مثل پزشک، دندان‌پزشک و رادیولوژیست نیاز است بسیار پرهزینه‌تر نیز می‌شود.  

یادگیری خودنظارتگر

نیاز گسترده و البته پرهزینه به عامل انسانی برای برچسب‌زدن داده‌ها و ایجاد مدل‌های بانظارت با تغییر نگرش به تقسیم‌بندی کلاسیکِ یادگیریِ بانظارت و بدون‌نظارت در سال‌های اخیر فروکش کرد و دنیای یادگیری ماشین با یک رویکرد جدید در مواجهه خود با داده‌های برچسب‌خورده روبرو شد. به این رویکرد جدید یادگیریِ خودنظارتگر[17] گفته می‌شود. این رویکرد تلاش می‌کند تا با ترفندهای مختلف از داده‌های بدون برچسب، دادۀ برچسب‌خورده تولید کند و به این ترتیب مشاهدات جدیدی برای یادگیری ماشین به وجود بیاورد.

پردازش متن و مدلسازی‌های زبانی

یادگیری خودنظارتگر تلاش می‌کند تا بر اساس چند ایده جالب و در عین حال ساده و سرراست داده‌ برچسب‌خورده تولید کند و سپس از آن‌ها برای مدلسازی بانظارت استفاده کند. در ادامه با بررسی چند نمونه در حوزه پردازش زبان با برخی از این ایده‌ها آشنا می‌شویم. خاستگاه تحولات جدید هوش مصنوعی در حوزه پردازش داده‌های زبانی و اطلاعات متنی است. 

ایده پوشاندن

یکی از ایده‌های اصلی در یادگیری «خودنظارتگر»، پوشاندن بخش‌هایی از داده برای تولید دادۀ برچسب‌خورده به عنوان مشاهدات جدید است. ایده پوشاندن[18] در ایجاد مدل‌های زبانی و پردازش تصویر کاربرد زیادی دارد. برای اینکه بیشتر با ایده پوشاندن آشنا شویم، به یک مثال از داده‌های زبانی توجه کنید.

فرض کنید تعداد زیادی جمله به زبان فارسی گردآوری کرده‌ایم و می‌خواهیم با استفاده از این داده‌ها یک مدل یادگیری ماشین برای توسعه یک چت‌بات برای تولید متن و پاسخ به پرسش‌های کاربران فارسی‌زبان ایجاد کنیم. تصور کنید یکی از این جملات به این صورت است:

• عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل فقر و تبعیض جنسیتی مواجه است.

این یک داده بدون برچسب است، اما با پوشاندن بخش‌های مختلف آن می‌توانیم داده برچسب‌خورده مثل موارد زیر ایجاد کنیم. به عنوان مثال به موارد زیر توجه کنید:

• عدالت آموزشی در دنیا همچنان با ……….. زیادی مثل فقر و تبعیض جنسیتی مواجه است.

برچسب این داده همان عبارت پوشانده‌شده یعنی «چالش‌های» است. این روش می‌تواند داده‌های برچسب‌خورده زیادی از داده‌های متنی تولید کند. مدل برآمده از این داده‌ها جاهای خالی در جملات و عبارات را پیش‌بینی کند و عبارت‌های جدیدی برای درج در آن‌ها پیشنهاد دهد.

‌پیش‌بینی عبارت بعدی

اگر جای خالی یا بخش‌های پوشانده‌شده را در آخر متن قرار دهیم، مدل ما از یک قابلیت ویژه و هیجان‌‌انگیز برخوردار می‌شود و آن چیزی نیست غیر از پیش‌بینی کلمه بعدی[19]. این ایده همان چیزی است که پای مدل‌های پیش‌بینی و یادگیری بانظارت را به تولید محتوای متنی باز کرده است: اگر مجموعه‌ای از عبارات را یکی پس از دیگری به مدل بدهیم، محتمل‌ترین عبارتی که می‌تواند برای بعد از آن پیشنهاد شود چیست؟

اگر جمله یادشده را به عنوان تنها داده در نظر بگیریم، این مسئله به صورت زیر حل می‌شود:      

• عدالت …………
• عدالت آموزشی …………
• عدالت آموزشی در …………
• عدالت آموزشی در دنیا …………
• عدالت آموزشی در دنیا همچنان …………
• عدالت آموزشی در دنیا همچنان با …………
• عدالت آموزشی در دنیا همچنان با چالش‌های …………
• …

ایدۀ پیشنهاد کلمه بعدی هنگام تایپ در برنامه‌های مختلف کامپیوتری مثل موتورهای جستجو و ایمیل در گذشته نیز سابقه دارد، اما در سال‌های اخیر با تحولی عظیم در مدل‌های جدید هوش مصنوعی همراه شده است.

قدم نخست این ایده تولید داده‌های برچسب‌خورده‌ای مثل مشاهدات جدول زیر است که بدون نیاز به ناظر از داده‌های متنی استخراج می‌شوند.  

 

شماره مشاهده	مقدارهای ورودی	برچسب
1	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل فقر و تبعیض جنسیتی مواجه	است
2	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل فقر و تبعیض جنسیتی	مواجه
3	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل فقر و تبعیض	جنسیتی
4	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل فقر و	تبعیض
5	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل فقر	و
6	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل	فقر
7	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی	مثل
…	…	…

ایده پیش‌بینی عبارت بعدی علاوه بر کلمات، برای جملات نیز پیاده‌سازی می‌شود و از آن با عنوان پیش‌بینی جمله بعدی[20] یاد می‌شود.

ایده به هم زدن ترتیب

 

شماره مشاهده	مقدارهای ورودی	برچسب
1	همچنان با چالش‌های عدالت آموزشی در دنیا زیادی جنسیتی مواجه است مثل فقر و تبعیض	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل فقر و تبعیض جنسیتی مواجه است
2	چالش‌های آموزشی در همچنان با جنسیتی مواجه است مثل فقر و تبعیض عدالت دنیا زیادی	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل فقر و تبعیض جنسیتی مواجه است
3	آموزشی در همچنان با چالش‌های جنسیتی مواجه است مثل فقر و عدالت دنیا زیادی تبعیض	عدالت آموزشی در دنیا همچنان با چالش‌های زیادی مثل فقر و تبعیض جنسیتی مواجه است
…	…	…

ایده‌ دیگری که در رویکرد خودنظارتگر کابرد دارد، به هم زدن ترتیب[21] برای تولید داده برچسب خورده است. در این ایده جمله اصلی را به عنوان برچسب و ترتیب متفاوتی از کلمات تشکیل‌دهنده آن را به عنوان داده‌های جدید در نظر می‌گیریم.

مدل برآمده از این ایده قادر خواهد بود تا ایرادات نحوی جملات را اصلاح کند و کلمات را در جایگاه درست آن‌ها قرار دهد؛ مثلا فاعل را به ابتدا و فعل را به انتهای جمله ببرد. این نوع مدلسازی پیشتر در برنامه‌های غلط‌‌یاب و ویرایشگرها مورد استفاده قرار گرفته است.  

ایدۀ یادگیری با به هم زدن ترتیب[22] به همان صورت که در مورد کلمات در جمله استفاده می‌شود، در مورد جملات در متن نیز کاربرد دارد.  

سایر ایده‌ها

پوشاندن و به هم زدن ترتیب تنها ایده‌های رویکردهای یادگیری خودنظارتگر نیستند. از جمله ایده‌های دیگری که در این رویکرد مورد استفاده قرار می‌گیرد، می‌توان به مدل‌های پیش‌بینی ویژگی‌های معنایی اشاره کرد.

پردازش زبان‌های طبیعی و مدل‌های زبانی بزرگ با پایتون

RegEx, NLP, ML & LLM with Python

اطلاعات بیشتر

دوره آموزشی

مدل‌های پردازش تصویر

ایده‌های یادگیری تحت نظارت خود، کم‌وبیش به همان صورت که روی داده‌های زبانی پیاده‌سازی شد، در پردازش تصویر نیز قابل استفاده است. فرض کنید تعداد زیادی تصویر از جمله تصویر زیر را در اختیار داریم.

با پوشاندن بخش‌های مختلف عکس و به هم زدن ترتیب قطعات آن می‌توان مشاهدات جدیدی به وجود آورد و از آن‌ها در مدلسازی برای پردازش تصویر استفاده کرد. در مدلسازی برای پردازش تصویر علاوه بر ایده پوشاندن و جابجایی اجزا، از تغییرِ اندازه و دورانِ تصویر نیز برای تولید مشاهدات جدید استفاده می‌شود.

با این ایده‌ها مدل‌های پردازش تصویر می‌توانند رنگ‌ها و بافت‌های مشابه را در کنار یکدیگر قرار دهند و موجودیت‌های مختلف درون تصویر را بدون دسترسی به تصاویر برچسب‌خورده شناسایی کنند و بخش‌های حذف‌شده تصاویر جدید را پیش‌بینی یا ایجاد کنند.

مرور و جمع‌بندی

یادگیری ماشین شاخه‌ای از علوم کامپیوتر و هوش مصنوعی است که چندین دهه از تولد آن در این حوزه می‌گذرد. اما سال‌های اخیر به موتور محرک هوش مصنوعی تبدیل شده و آن را با تحولات بی‌سابقه‌ای مواجه کرده است. بخشی از این تحولات نتیجه تغییر نگرش به مفهوم به ظاهر پیش‌ پا افتادۀ برچسب‌ و ارائه چهارچوبی جدید در میان رویکردهای کلاسیک یادگیری ماشین است. البته این رویکرد جدید و محصولات مبتنی بر آن به هیچ رو بی‌هزینه نیست. یادگیری خودنظارتگر برخلاف بسیاری از روش‌های پیشین، به پردازش حجم بسیار زیادی از داده‌ها نیاز دارد. اینکه پردازش عظیم داده در سال‌های اخیر چگونه ممکن شده خود نتیجه تغییر نگرش‌ جذاب و آموزندۀ دیگری در حوزه سخت‌افزار است که به آن خواهیم پرداخت.

به نظر شما چه عوامل و تغییر نگرش‌هایی به رشد سریع هوش مصنوعی در سال‌های اخیر منجر شده ؟

پاورقی و ارجاع

[1] Generative Artificial Intelligence (Generative AI) & Language Models

[2] Machine Learning

[3] Supervised Learning

[4] Unsupervised Learning

[5] Reinforcement Learning

[6] Spam

[7] Not Spam

[8] Prediction

[9] Sentiment Analysis

[10] وقتی برچسب از نوع غیرعددی یا رسته‌ای باشد با یک مسئله پیش‌بینی از نوع دسته‌بندی (Classification) و وقتی برچسب از نوع عددی پیوسته باشد اصطلاحا با یک مسئله پیش‌بینی از نوع رگرسیون (Regression) مواجهیم.

[11] Clustering

[12] Customer Segmentation

[13] Topic Modeling

[14] Recommender System

[15] Portfolio Optimization

[16] CAPTCHA: Completely Automated Public Turing test to tell Computers and Human Apart

کپچا سوالی است که برای جلوگیری از نفوذ ماشین به برنامه‌های کامپیوتری به جای کاربر انسانی پرسیده می‌شود. در این سوال برنامه کامپیوتری از کاربر می‌پرسد تا بر اساس پاسخ آن مطمئن شود کاربر ماشین نیست و از این طریق از نفوذ امنیتی به برنامه جلوگیری کند. کلمه کپچا از حروف اول « آزمون همگانی کاملاً خودکارشدهٔ تورینگ برای تمییز دادن انسان و رایانه» گرفته شده است. 

[17] Self-Supervised Learning

[18] Masking

[19] Next Word Prediction

[20] Next Sentence Prediction

[21] Permutation / Shuffling

[22] Permutation-based Training

The post تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۱) appeared first on مدرسه پردازش و تحلیل داده دقیقه.

یکی از دوستان درباره ارتباط «تحلیل داده» و «تحقیق در عملیات» پرسید و انگیزه ما در مدرسه دقیقه از برگزاری دوره آموزشی «بهینه‌سازی و تحقیق در عملیات با پایتون» را جویا شد. چند نکته در پاسخ به این سوالات به ذهنم رسید که فکر کردم در قالب یادداشتی کوتاه در مورد آن بنویسم.

۱. تحقیق در عملیات در دانشگاه‌ها معمولا با نگاه کاربردی آموزش داده نمی‌شود و به همین خاطر تکنیک‌های بهینه‌سازی علی رغم نیاز مبرم به آن‌ها در کسب‌وکار، مهجور مانده و کمتر سراغش می‌روند.

۲. پیاده‌سازی مسائل تحقیق در عملیات در دانشگاه‌ها معمولا با نرم‌افزارهای غیرمتن‌باز انجام می‌شود و همین باعث می‌شود ارتباط کارشناسان این حوزه با دیگر متخصصین به سختی برقرار شود و بسیاری از ایده‌ها به بهره‌برداری نمی‌رسند. به همین خاطر پیاده‌سازی روش‌های بهینه‌سازی در پایتون به خودی خود مزیت محسوب می‌شود.

۳. دوره‌های آموزشی باکیفیتی که رئوس مطالب تحقیق در عملیات را بصورت کاربردی و با نگاه عملگرایانه ارائه کنند اصلا زیاد نیستند.

۴. یادگیری تحقیق در عملیات به چند دلیل برای تحلیلگران داده بسیار مفید است.

۴.۱. کارشناسان تحقیق در عملیات برای تشکیل تابع هدف و محدودیت‌ها نیاز به تحلیل داده برای تخمین پارامترها و ضرایب با استفاده از داده‌های قبلی دارند. در نتیجه اگر تحلیلگر داده سراغ تحقیق در عملیات برود می‌تواند بسیاری از قابلیت‌های خود را به کار بگیرد.

۴.۲. تحقیق در عملیات نیاز به شناخت و تحلیل موضوع مطالعه در قالب یک سیستم متشکل از مجموعه‌ای از اجزا و تاثیر آن‌ها بر یکدیگر  دارد. به بیان دیگر، بدون شناخت و تحلیل موضوع، نمی‌توان متغیرهای تصمیم، تابع هدف و همینطور محدودیت‌های مسئله را تعیین کرد و از پس مسائل تحقیق در عملیات برآمد. در نتیجه یادگیری رویکردها و مفاهیم تحقیق در عملیات، توانایی تحلیل موضوعات مختلف را در افراد بالا می‌برد که یکی از مهارت‌های پایه برای تحلیلگران داده نیز به شمار می‌رود.

۴.۳. طراحی الگوریتم‌های داده‌کاوی نوعی حل مسئله در فضای بهینه‌سازی و تحقیق در عملیات است. در الگوریتم‌های داده‌کاوی می‌خواهیم مقدار خطا را با توجه به محدودیت‌هایی مثل پرهیز از بیش‌برازش، پردازش‌های غیرقابل انجام و… کمینه کنیم. از این جهت نیز شکل‌گیری ذهنیت بهینه‌سازی در هر یک از این دوشاخه‌ می‌تواند کمک‌هایی به تقویت شاخه دیگر بکند.

اگر دستی در تحلیل داده دارید یا با هر پیش‌زمینه دیگری به بهینه‌سازی و تحقیق در عملیات علاقه‌مندید شرکت در این دوره آموزشی را به شما توصیه می‌کنیم:

بهینه‌سازی و تحقیق در عملیات با پایتون

علیرضا سرودی، مدرس این دوره آموزشی، هم تجربه پژوهشی و دانشگاهی چشمگیری دارد و در این حوزه صاحب تالیف معتبر است و هم تجربه کار حرفه‌ای و مواجهه‌ با چالش‌های مسائل واقعی و از این نظر هم می‌توان این دوره آموزشی را منحصر به فرد و ممتاز تلقی کرد و از آن بهره برد.

در دوران کمبود منابع، تسلط بر دانش تصمیم‌گیری ارزشی بیش از پیش پیدا خواهد کرد.

منبع: لینکدین علیرضا کدیور

The post تحلیل داده و تحقیق در عملیات چه ارتباطی با یکدیگر دارند؟ appeared first on مدرسه پردازش و تحلیل داده دقیقه.

دسترسی به محتوای اختصاصی کلاس

برای دسترسی به محتوای اختصاصی این کلاس لطفا کدی که در اختیار شما قرار گرفته را وارد کنید و بقیه مراحل را طی کنید.

کد ثبت نام ثبت نام

The post رگرسیون و تحلیل داده (دانشگاه صنعتی شریف) appeared first on مدرسه پردازش و تحلیل داده دقیقه.

داده‌های مرتبط

داده کودکان بازمانده از تحصیل در سرشماری ۱۳۹۰

داده‌ کودکان بازمانده از تحصیل به تفکیک سن، جنسیت، وضعیت سکونت در شهرستان‌های ایران – سرشماری ۱۳۹۵

The post داده‌ کودکان بازمانده از تحصیل به تفکیک سن، جنسیت، وضعیت سکونت در شهرستان‌های ایران – سرشماری ۱۳۹۵ appeared first on مدرسه پردازش و تحلیل داده دقیقه.