<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>سایت هوش مصنوعی &#8211; مدرسه پردازش و تحلیل داده دقیقه</title>
	<atom:link href="https://d-learn.ir/tag/%D8%B3%D8%A7%DB%8C%D8%AA-%D9%87%D9%88%D8%B4-%D9%85%D8%B5%D9%86%D9%88%D8%B9%DB%8C/feed/" rel="self" type="application/rss+xml" />
	<link>https://d-learn.ir</link>
	<description>یادگیری گام به گام علوم داده و تحلیل داده</description>
	<lastBuildDate>Sat, 15 Feb 2025 09:30:40 +0000</lastBuildDate>
	<language>fa-IR</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	

<image>
	<url>https://d-learn.ir/wp-content/uploads/2021/10/cropped-Picture1-e1633785514326-150x150.png</url>
	<title>سایت هوش مصنوعی &#8211; مدرسه پردازش و تحلیل داده دقیقه</title>
	<link>https://d-learn.ir</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​</title>
		<link>https://d-learn.ir/word-embedding/</link>
					<comments>https://d-learn.ir/word-embedding/#respond</comments>
		
		<dc:creator><![CDATA[حمیده حسین‌زاده]]></dc:creator>
		<pubDate>Mon, 14 Oct 2024 14:47:52 +0000</pubDate>
				<category><![CDATA[میدان گرانش]]></category>
		<category><![CDATA[ویژه]]></category>
		<category><![CDATA[AI]]></category>
		<category><![CDATA[AI learn]]></category>
		<category><![CDATA[آموزش هوش مصنوعی]]></category>
		<category><![CDATA[آینده هوش مصنوعی]]></category>
		<category><![CDATA[پیشرفت های هوش مصنوعی]]></category>
		<category><![CDATA[تغییرات هوش مصنوعی]]></category>
		<category><![CDATA[سایت هوش مصنوعی]]></category>
		<category><![CDATA[هوش مصنوعی]]></category>
		<category><![CDATA[هوش مصنوعی آنلاین]]></category>
		<guid isPermaLink="false">https://d-learn.ir/?p=71709</guid>

					<description><![CDATA[<p>بدون این تبدیل، امکان پردازش داده‌های متنی و انجام محاسبات پیچیده وجود ندارد. از آغاز شکل‌گیری این شاخه در علوم کامپیوتر و زبان‌شناسی محاسباتی، فرآیند کدگذاری کلمات، تغییرات چشمگیری را تجربه کرده و از یک کدگذاری ساده صفرویکی به بردارهای عددی با ابعاد بالا رسیده است. این تحولات نه‌تنها به بهبود دقت و کارایی مدل‌های زبانی کمک کرده بلکه چشم‌انداز جدیدی برای توسعه هوش مصنوعی نیز به وجود آورده است. در این مقاله، سیر تحول تبدیل واژه به عدد و تأثیر این تغییرات بر رشد سریع هوش مصنوعی مولد را در چند مرحله بررسی خواهیم کرد.</p>
<p>The post <a rel="nofollow" href="https://d-learn.ir/word-embedding/">تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​</a> appeared first on <a rel="nofollow" href="https://d-learn.ir">مدرسه پردازش و تحلیل داده دقیقه</a>.</p>
]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="71709" class="elementor elementor-71709">
						<section class="elementor-section elementor-top-section elementor-element elementor-element-4144387 elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="4144387" data-element_type="section">
						<div class="elementor-container elementor-column-gap-default">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-bfad4ce" data-id="bfad4ce" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-eafaea5 elementor-widget elementor-widget-heading" data-id="eafaea5" data-element_type="widget" data-widget_type="heading.default">
				<div class="elementor-widget-container">
			<style>/*! elementor - v3.23.0 - 05-08-2024 */
.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}</style><h3 class="elementor-heading-title elementor-size-default">تغییر نگرش به شیوه نگاشت عددی کلمات</h3>		</div>
				</div>
				<div class="elementor-element elementor-element-1cab7e1 elementor-widget elementor-widget-text-editor" data-id="1cab7e1" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
			<style>/*! elementor - v3.23.0 - 05-08-2024 */
.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:right;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}</style>				<p><b>تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)</b>​</p>						</div>
				</div>
				<div class="elementor-element elementor-element-7840b02 elementor-widget elementor-widget-text-editor" data-id="7840b02" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p>نخستین گام در پردازش زبان‌های طبیعی و شکل‌گیری مدل‌های زبانی، تبدیل واژه به عدد است. بدون این تبدیل، امکان پردازش داده‌های متنی و انجام محاسبات پیچیده وجود ندارد. از آغاز شکل‌گیری این شاخه در علوم کامپیوتر و زبان‌شناسی محاسباتی، فرآیند کدگذاری کلمات، تغییرات چشمگیری را تجربه کرده و از یک کدگذاری ساده صفرویکی به بردارهای عددی با ابعاد بالا رسیده است. این تحولات نه‌تنها به بهبود دقت و کارایی مدل‌های زبانی کمک کرده بلکه چشم‌انداز جدیدی برای توسعه هوش مصنوعی نیز به وجود آورده است. در این مقاله، سیر تحول تبدیل واژه به عدد و تأثیر این تغییرات بر رشد سریع هوش مصنوعی مولد را در چند مرحله بررسی خواهیم کرد.</p>						</div>
				</div>
				<div class="elementor-element elementor-element-d64a71c elementor-widget-divider--view-line elementor-widget elementor-widget-divider" data-id="d64a71c" data-element_type="widget" data-widget_type="divider.default">
				<div class="elementor-widget-container">
			<style>/*! elementor - v3.23.0 - 05-08-2024 */
.elementor-widget-divider{--divider-border-style:none;--divider-border-width:1px;--divider-color:#0c0d0e;--divider-icon-size:20px;--divider-element-spacing:10px;--divider-pattern-height:24px;--divider-pattern-size:20px;--divider-pattern-url:none;--divider-pattern-repeat:repeat-x}.elementor-widget-divider .elementor-divider{display:flex}.elementor-widget-divider .elementor-divider__text{font-size:15px;line-height:1;max-width:95%}.elementor-widget-divider .elementor-divider__element{margin:0 var(--divider-element-spacing);flex-shrink:0}.elementor-widget-divider .elementor-icon{font-size:var(--divider-icon-size)}.elementor-widget-divider .elementor-divider-separator{display:flex;margin:0;direction:ltr}.elementor-widget-divider--view-line_icon .elementor-divider-separator,.elementor-widget-divider--view-line_text .elementor-divider-separator{align-items:center}.elementor-widget-divider--view-line_icon .elementor-divider-separator:after,.elementor-widget-divider--view-line_icon .elementor-divider-separator:before,.elementor-widget-divider--view-line_text .elementor-divider-separator:after,.elementor-widget-divider--view-line_text .elementor-divider-separator:before{display:block;content:"";border-block-end:0;flex-grow:1;border-block-start:var(--divider-border-width) var(--divider-border-style) var(--divider-color)}.elementor-widget-divider--element-align-left .elementor-divider .elementor-divider-separator>.elementor-divider__svg:first-of-type{flex-grow:0;flex-shrink:100}.elementor-widget-divider--element-align-left .elementor-divider-separator:before{content:none}.elementor-widget-divider--element-align-left .elementor-divider__element{margin-left:0}.elementor-widget-divider--element-align-right .elementor-divider .elementor-divider-separator>.elementor-divider__svg:last-of-type{flex-grow:0;flex-shrink:100}.elementor-widget-divider--element-align-right .elementor-divider-separator:after{content:none}.elementor-widget-divider--element-align-right .elementor-divider__element{margin-right:0}.elementor-widget-divider--element-align-start .elementor-divider .elementor-divider-separator>.elementor-divider__svg:first-of-type{flex-grow:0;flex-shrink:100}.elementor-widget-divider--element-align-start .elementor-divider-separator:before{content:none}.elementor-widget-divider--element-align-start .elementor-divider__element{margin-inline-start:0}.elementor-widget-divider--element-align-end .elementor-divider .elementor-divider-separator>.elementor-divider__svg:last-of-type{flex-grow:0;flex-shrink:100}.elementor-widget-divider--element-align-end .elementor-divider-separator:after{content:none}.elementor-widget-divider--element-align-end .elementor-divider__element{margin-inline-end:0}.elementor-widget-divider:not(.elementor-widget-divider--view-line_text):not(.elementor-widget-divider--view-line_icon) .elementor-divider-separator{border-block-start:var(--divider-border-width) var(--divider-border-style) var(--divider-color)}.elementor-widget-divider--separator-type-pattern{--divider-border-style:none}.elementor-widget-divider--separator-type-pattern.elementor-widget-divider--view-line .elementor-divider-separator,.elementor-widget-divider--separator-type-pattern:not(.elementor-widget-divider--view-line) .elementor-divider-separator:after,.elementor-widget-divider--separator-type-pattern:not(.elementor-widget-divider--view-line) .elementor-divider-separator:before,.elementor-widget-divider--separator-type-pattern:not([class*=elementor-widget-divider--view]) .elementor-divider-separator{width:100%;min-height:var(--divider-pattern-height);-webkit-mask-size:var(--divider-pattern-size) 100%;mask-size:var(--divider-pattern-size) 100%;-webkit-mask-repeat:var(--divider-pattern-repeat);mask-repeat:var(--divider-pattern-repeat);background-color:var(--divider-color);-webkit-mask-image:var(--divider-pattern-url);mask-image:var(--divider-pattern-url)}.elementor-widget-divider--no-spacing{--divider-pattern-size:auto}.elementor-widget-divider--bg-round{--divider-pattern-repeat:round}.rtl .elementor-widget-divider .elementor-divider__text{direction:rtl}.e-con-inner>.elementor-widget-divider,.e-con>.elementor-widget-divider{width:var(--container-widget-width,100%);--flex-grow:var(--container-widget-flex-grow)}</style>		<div class="elementor-divider">
			<span class="elementor-divider-separator">
						</span>
		</div>
				</div>
				</div>
				<div class="elementor-element elementor-element-92e3137 elementor-widget elementor-widget-text-editor" data-id="92e3137" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p style="text-align: justify;">زبان بستر اصلی انتقال مفاهیم، اندیشه‌ها و احساسات است. کلمات واحدهای سازنده زبان هستند که  با ایجاد پیوندهای معنایی پیچیده و چند لایه، درک مشترکی از جهان را میان انسان‌ها برقرار می‌سازند. فهم چند لایه زبان طبیعی به هیچ رو ساده‌ نیست. شاید ما به عنوان یک انسان با قابلیت‌های ذهنی سطح بالا و پیشرفته به این پیچیدگی‌ها چندان واقف نباشیم. یادگیری زبان برای ما یک امر بدیهی است و تنها وقتی می‌خواهیم آن را به یک موجود کم هوش تر مثل ماشین آموزش دهیم با این ظرائف و پیچیدگی‌ها مواجه می‌شویم. به عنوان نمونه آیا تا به حال به این فکر کرده‌اید که چرا کلماتی مثل &#8220;پادشاه&#8221; و &#8220;ملکه&#8221; در ذهن ما به هم نزدیک‌تر از کلمات &#8220;پادشاه&#8221; و &#8220;زرد&#8221; هستند؟ </p><p style="text-align: justify;">ظاهرا مغز انسان به صورت شهودی کلمات را بر اساس معانی و روابطشان با یکدیگر دسته‌بندی‌هایی می‌کند و بر این اساس آن‌ها را درک و پردازش می‌کند و به ساختن عبارات و جملات جدید مبادرت می‌ورزد. آیا می‌توانیم این درک شهودی از کلمات را به عنوان یکی از قابلیت‌های زبانی مهم به ماشین بیاموزیم؟</p><p style="text-align: justify;">بسیاری از الگوریتم‌های پردازش زبان و متن با الهام از همین مکانیسم ذهنی برای فهم زبان در مغز انسان‌ها، تلاش می‌کنند تا روابط معنایی بین کلمات را کشف کنند. به عبارت دیگر، این الگوریتم‌ها با تحلیل حجم عظیمی از داده‌های متنی، سعی می‌کنند به کامپیوتر بیاموزند که کلمات با توجه به معناهای مختلفی که دارند و نحوه استفاده‌شان در جملات مختلف، در فضاهای معنایی مشترکی قرار می‌گیرند. این فرآیند کم‌وبیش شبیه به یادگیری زبان توسط یک کودک است که با شنیدن جملات مختلف و دریافت داده‌های بیشتر، به تدریج معنای کلمات و ساختار زبان را درک می‌کند.</p><p style="text-align: justify;">در حقیقت یکی از چالش‌های اساسی در حوزه هوش مصنوعی، برقراری ارتباط موثر بین انسان و ماشین  در حوزه‌های مختلف است. پردازش زبان طبیعی (NLP)، شاخه‌ای از هوش مصنوعی است که با هدف درک و تولید زبان طبیعی توسط ماشین‌ها، در قلمرو  زبان به این چالش می‌پردازد و تاکنون رویکردهای مختلفی برای فهماندن معنای کلمات و روابط معنایی عبارات در آن آزموده شده است. </p><p style="text-align: justify;"><span style="font-weight: bolder;">نمایش برداری کلمات</span> (Word Embedding) راهکاری نوآورانه برای حل این مسئله است. در این روش، هر کلمه به یک بردار عددی در یک فضای چند بعدی نگاشته می‌شود. به عبارت ساده‌تر به هر کلمه مجموعه‌ای مرتب از اعداد نسبت داده می‌شود تا یک بردار عددی نشان‌دهنده آن باشد. در این شیوه کلمات در یک فضای چند بعدی قرار می‌گیرند و مقادیر آن‌ها به گونه‌ای تعیین می‌شود که کلماتی که معنای نزدیک‌تری دارند به یکدیگر در فضای برداری نیز به یکدیگر نزدیک باشند و حرکت در جهت‌های مختلف حاوی معناهایی قابل فهم در ساحت زبان باشد.</p><p style="text-align: justify;">به عنوان مثال به موقعیت کلمات دختر، زن، نوزاد، بچه، بزرگسال، پسر، مرد و پدربزرگ نسبت به یکدیگر دیگر در نمودار زیر نگاه کنید. در این نمودار دو بعدی، کلمات نزدیک به یکدیگر دارند قرابت معنای بیشتری با یکدیگر دارند و حرکت به سمت پایین و بالا با کاهش و افزایش سن و حرکت در جهت چپ و راست با تغییر جنسیت همراه است.</p>						</div>
				</div>
				<div class="elementor-element elementor-element-1bfbe7f elementor-widget elementor-widget-image" data-id="1bfbe7f" data-element_type="widget" data-widget_type="image.default">
				<div class="elementor-widget-container">
			<style>/*! elementor - v3.23.0 - 05-08-2024 */
.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=".svg"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}</style>											<a href="https://d-learn.ir/wp-content/uploads/2024/10/1.png" data-elementor-open-lightbox="yes" data-elementor-lightbox-title="1" data-e-action-hash="#elementor-action%3Aaction%3Dlightbox%26settings%3DeyJpZCI6NzE3MTYsInVybCI6Imh0dHBzOlwvXC9kLWxlYXJuLmlyXC93cC1jb250ZW50XC91cGxvYWRzXC8yMDI0XC8xMFwvMS5wbmcifQ%3D%3D">
							<img fetchpriority="high" decoding="async" width="768" height="780" src="https://d-learn.ir/wp-content/uploads/2024/10/1-768x780.png" class="attachment-medium_large size-medium_large wp-image-71716" alt="1 | تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​" srcset="https://d-learn.ir/wp-content/uploads/2024/10/1-768x780.png 768w, https://d-learn.ir/wp-content/uploads/2024/10/1-295x300.png 295w, https://d-learn.ir/wp-content/uploads/2024/10/1.png 892w" sizes="(max-width: 768px) 100vw, 768px" title="تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​ 1">								</a>
													</div>
				</div>
				<div class="elementor-element elementor-element-3434b33 elementor-widget elementor-widget-text-editor" data-id="3434b33" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p style="text-align: justify;"><span style="font-family: var( --e-global-typography-text-font-family ), Sahel; font-weight: var( --e-global-typography-text-font-weight ); font-size: 1em;">در حقیقت نمایش برداری کلمات به عنوان پل ارتباطی بین زبان انسانی و ماشین، امکان درک بسیاری از پیچیدگی‌های زبان انسان را برای ماشین فراهم می‌کند. با استفاده از این شیوه کلمات به مجموعه‌ای از اعداد تبدیل می‌شوند و ماشین می‌تواند با استفاده از عملیات ریاضی روی بردارهای کلمات، روابط معنایی پیچیده‌ای را محاسبه و استخراج کنند. علاوه بر این، نمایش برداری کلمات، ورودی مناسبی برای الگوریتم‌های یادگیری ماشین فراهم می‌کند و به آن‌ها اجازه می‌دهد تا وظایفی مانند طبقه‌بندی متون، ترجمه و تولید متن را با دقت بالاتری انجام دهند.</span></p>
<p style="text-align: justify;">کدگذاری کلمه در قالب عدد تقریبا یکی از گام‌های ابتدایی در پردازش زبان‌های طبیعی به شمار می‌رود. به همین خاطر، مواجهه عددی با کلمات در طول زمان تحولات شگرفی را تجربه کرده است. پیش از ظهور مدل‌های زبانی بزرگ، روش‌های ساده‌تری مانند One-Hot Encoding برای نمایش کلمات به کار می‌رفت. در دوره‌های قبل از مدل‌های زبانی بزرگ، نمایش‌های کلمات عمدتاً بر اساس فراوانی کلمات در متن ساخته می‌شد. این روش‌های ساده قادر به درک مفاهیم پیچیده و روابط معنایی زبان نبودند. این مدل‌ها با روش‌های دیگری مانند Word2Vec و GloVe پیشرفت کرد و بعد در مدل‌های پیچیده‌تری مانند BERT و پیدایش مدل‌های زبانی بزرگ نوعی انقلاب در پردازش زبان‌های طبیعی و هوش مصنوعی به وجود آوردند. نگاشت کارآمد کلمات در فضاهای برداری یکی از پایه‌های اصلی در به وجود آمدن مدل‌های زبانی بزرگ است. در مدل‌های زبانی بزرگ، مقدارهای عددی کلمات با پردازش مجموعه وسیعی از داده‌های متنی تعیین می‌شود و به همین خاطر توانایی ماشین در پردازش زبان و اشراف بر بسیاری از پیچیدگی‌های آن به سطحی کاملا جدید ارتقا پیدا کرده است.</p><p style="text-align: justify;"><span style="font-family: var( --e-global-typography-text-font-family ), Sahel; font-weight: var( --e-global-typography-text-font-weight ); font-size: 1em;">در این مقاله سعی می‌کنیم سیر تحول روش‌های مواجهه عددی با کلمات را از نخستین ایده‌ها در پردازش زبان‌های طبیعی تا پیدایش مدل‌های زبانی بزرگ به اختصار توضیح دهیم.</span></p>						</div>
				</div>
				<div class="elementor-element elementor-element-132ff77 elementor-widget-divider--view-line elementor-widget elementor-widget-divider" data-id="132ff77" data-element_type="widget" data-widget_type="divider.default">
				<div class="elementor-widget-container">
					<div class="elementor-divider">
			<span class="elementor-divider-separator">
						</span>
		</div>
				</div>
				</div>
				<div class="elementor-element elementor-element-e94d194 elementor-cta--skin-classic elementor-animated-content elementor-bg-transform elementor-bg-transform-zoom-in elementor-widget elementor-widget-call-to-action" data-id="e94d194" data-element_type="widget" data-widget_type="call-to-action.default">
				<div class="elementor-widget-container">
			<link rel="stylesheet" href="https://d-learn.ir/wp-content/plugins/elementor-pro/assets/css/widget-call-to-action-rtl.min.css">		<a class="elementor-cta" href="/nlmpy">
					<div class="elementor-cta__bg-wrapper">
				<div class="elementor-cta__bg elementor-bg" style="background-image: url(https://d-learn.ir/wp-content/uploads/2024/08/nlmpy-ads-x.png);"></div>
				<div class="elementor-cta__bg-overlay"></div>
			</div>
							<div class="elementor-cta__content">
				
				<h2 class="elementor-cta__title elementor-cta__content-item elementor-content-item">پردازش زبان‌های طبیعی و مدل‌های زبانی بزرگ با پایتون</h2>
									<div class="elementor-cta__description elementor-cta__content-item elementor-content-item">
						RegEx,   NLP,   ML  &   LLM  with  Python					</div>
				
									<div class="elementor-cta__button-wrapper elementor-cta__content-item elementor-content-item ">
					<span class="elementor-cta__button elementor-button elementor-size-sm">
						اطلاعات بیشتر					</span>
					</div>
							</div>
							<div class="elementor-ribbon elementor-ribbon-left">
				<div class="elementor-ribbon-inner">دوره آموزشی</div>
			</div>
				</a>
				</div>
				</div>
				<div class="elementor-element elementor-element-eabc099 elementor-widget-divider--view-line elementor-widget elementor-widget-divider" data-id="eabc099" data-element_type="widget" data-widget_type="divider.default">
				<div class="elementor-widget-container">
					<div class="elementor-divider">
			<span class="elementor-divider-separator">
						</span>
		</div>
				</div>
				</div>
				<div class="elementor-element elementor-element-32d06a5 elementor-widget elementor-widget-heading" data-id="32d06a5" data-element_type="widget" data-widget_type="heading.default">
				<div class="elementor-widget-container">
			<h2 class="elementor-heading-title elementor-size-default">بازنمایی با یک و صفرها (one-hot encoding)
</h2>		</div>
				</div>
				<div class="elementor-element elementor-element-2ee56ac elementor-widget elementor-widget-text-editor" data-id="2ee56ac" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p style="text-align: justify;"><span style="font-family: var( --e-global-typography-text-font-family ), Sahel; font-weight: var( --e-global-typography-text-font-weight ); font-size: 1em;">در این روش برای کدگذاری کلمات، ابتدا یک کتاب لغتی شامل کل کلمات مورد نیاز تشکیل می‌دهیم. سپس هر کلمه را با برداری که عناصر آن 0 یا 1 هستند نشان می‌دهیم. این بردار در واقع یک نشانگر است که وجود یا عدم وجود آن کلمه در کتاب لغات را نشان می‌دهد. یعنی  هر کلمه یک بردار منحصر به فرد با یک عنصر 1 و تعداد زیادی 0 خواهد داشت.</span></p><p style="text-align: justify;">برای مثال، فرض کنید واژگان ما شامل 10,000 کلمه باشد. کلمه &#8220;کتاب&#8221; در این واژگان به یک بردار 10,000 بعدی تبدیل می‌شود که در آن عنصر مربوط به مولفه &#8220;کتاب&#8221; برابر 1 و بقیه عناصر برابر 0 هستند.</p><p style="text-align: justify;">پیاده‌سازی این روش ساده است. اما مشکلاتی نیز دارد. ابعاد بردارها با افزایش تعداد واژگان افزایش می‌یابد که می‌تواند منجر به مشکلات محاسباتی شود. به علاوه این روش هیچ اطلاعاتی در مورد روابط معنایی بین کلمات ارائه نمی‌دهد. به عنوان مثال، کلمات &#8220;کتاب&#8221; و &#8220;رمان&#8221; که معنای نزدیکی دارند، در این روش بردارهای بسیار متفاوتی خواهند داشت.</p>						</div>
				</div>
				<div class="elementor-element elementor-element-71a080e elementor-widget elementor-widget-image" data-id="71a080e" data-element_type="widget" data-widget_type="image.default">
				<div class="elementor-widget-container">
														<a href="https://d-learn.ir/wp-content/uploads/2024/10/2.png" data-elementor-open-lightbox="yes" data-elementor-lightbox-title="2" data-e-action-hash="#elementor-action%3Aaction%3Dlightbox%26settings%3DeyJpZCI6NzE3MTgsInVybCI6Imh0dHBzOlwvXC9kLWxlYXJuLmlyXC93cC1jb250ZW50XC91cGxvYWRzXC8yMDI0XC8xMFwvMi5wbmcifQ%3D%3D">
							<img decoding="async" width="180" height="300" src="https://d-learn.ir/wp-content/uploads/2024/10/2-180x300.png" class="attachment-medium size-medium wp-image-71718" alt="2 | تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​" srcset="https://d-learn.ir/wp-content/uploads/2024/10/2-180x300.png 180w, https://d-learn.ir/wp-content/uploads/2024/10/2-613x1024.png 613w, https://d-learn.ir/wp-content/uploads/2024/10/2.png 656w" sizes="(max-width: 180px) 100vw, 180px" title="تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​ 2">								</a>
													</div>
				</div>
				<div class="elementor-element elementor-element-cb5594d elementor-widget elementor-widget-text-editor" data-id="cb5594d" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p style="text-align: justify;">این روش صرفاً حضور یا عدم حضور یک کلمه را در متن نشان می‌دهد و به فراوانی آن توجهی ندارد. برای بهبود بردارها در روش‌های بعدی سعی شده که تا به تکرار کلمات و موقعیت معنایی آن‌ها در جملات نیز تا جدی توجه داشته باشند.</p>						</div>
				</div>
				<div class="elementor-element elementor-element-851cca5 elementor-widget elementor-widget-heading" data-id="851cca5" data-element_type="widget" data-widget_type="heading.default">
				<div class="elementor-widget-container">
			<h3 class="elementor-heading-title elementor-size-default">فراوانی وزنی TF-IDF</h3>		</div>
				</div>
				<div class="elementor-element elementor-element-9ce6e02 elementor-widget elementor-widget-text-editor" data-id="9ce6e02" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p>روش فراوانی وزنی term frequency–inverse document frequency یا به اختصار TFD-IDF نوعی بهبود نسبت به روش one-hot encoding است. در این روش به جای کدگذاری مطلق با 0 و 1 به هر کلمه یک وزن نسبت داده می‌شود که نشان‌دهنده اهمیت آن کلمه در داده‌هایی است که با آن سروکار داریم. </p><p>فرض کنید مجموعه زیادی از داده‌های متنی مثلا متن مجموعه‌ای از رمان‌های آمریکای لاتین را جمع‌آوری کرده‌اید. در این داده‌ها هر رمان حکم یک سند را دارد. یک کلمه ممکن است در یک سند کلمه‌ای کانونی باشد و باید وزن بالایی به آن اختصاص داده شود اما در سند دیگر کلمه‌ای بی‌اهمیت باشد و وزن بالایی نداشته باشد. در این رویکرد وزن‌دهی کلمات یا عبارات با توجه به مفاهیم زیر انجام می‌شود. </p>						</div>
				</div>
				<div class="elementor-element elementor-element-0010f47 elementor-widget elementor-widget-heading" data-id="0010f47" data-element_type="widget" data-widget_type="heading.default">
				<div class="elementor-widget-container">
			<h4 class="elementor-heading-title elementor-size-default">بسامد عبارت Term Frequency </h4>		</div>
				</div>
				<div class="elementor-element elementor-element-518755c elementor-widget elementor-widget-text-editor" data-id="518755c" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p style="text-align: justify;"><span style="font-family: var( --e-global-typography-text-font-family ), Sahel; font-weight: var( --e-global-typography-text-font-weight ); font-size: 1em;">بسامدِ عبارت نشان‌دهنده فراوانی یک کلمه یا عبارت در یک سند خاص است. چون طول سندها متفاوت است این اعداد به طول سندها (یعنی کل کلمات یا عبارات داخل آن) تقسیم می‌شود تا عددی بین صفر و یک تولید شود و طول سند خللی در محاسبات ایجاد نکند. به این ترتیب، کلماتی که در یک سند بیشتر تکرار شوند، بسامد بیشتری خواهند داشت.</span></p>						</div>
				</div>
				<div class="elementor-element elementor-element-c7b0a2c elementor-widget elementor-widget-heading" data-id="c7b0a2c" data-element_type="widget" data-widget_type="heading.default">
				<div class="elementor-widget-container">
			<h4 class="elementor-heading-title elementor-size-default">معکوس بسامد اسناد (Inverse Document Frequency)</h4>		</div>
				</div>
				<div class="elementor-element elementor-element-9114c44 elementor-widget elementor-widget-text-editor" data-id="9114c44" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p>منظور از بسامد اسناد، نسبت اسناد دربرگیرنده کلمه یا عبارت مورد نظر است. این نسبت به این خاطر معکوس می‌شود تا کلماتی که در کل اسناد به وفور تکرار شده و نقش کلمات کلیدی را در یک سند ایفا نمی‌کنند وزن بالایی نداشته باشند. معکوس بسامد اسناد معمولا در مقیاس لگاریتم استفاده می‌شود تا وزن نهایی کمتر تحت تاثیر بزرگی کل داده‌ها باشد. </p>						</div>
				</div>
				<div class="elementor-element elementor-element-9fc2175 elementor-widget elementor-widget-image" data-id="9fc2175" data-element_type="widget" data-widget_type="image.default">
				<div class="elementor-widget-container">
														<a href="https://d-learn.ir/wp-content/uploads/2024/10/3.png" data-elementor-open-lightbox="yes" data-elementor-lightbox-title="3" data-e-action-hash="#elementor-action%3Aaction%3Dlightbox%26settings%3DeyJpZCI6NzE3MTksInVybCI6Imh0dHBzOlwvXC9kLWxlYXJuLmlyXC93cC1jb250ZW50XC91cGxvYWRzXC8yMDI0XC8xMFwvMy5wbmcifQ%3D%3D">
							<img decoding="async" width="768" height="305" src="https://d-learn.ir/wp-content/uploads/2024/10/3-768x305.png" class="attachment-medium_large size-medium_large wp-image-71719" alt="3 | تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​" srcset="https://d-learn.ir/wp-content/uploads/2024/10/3-768x305.png 768w, https://d-learn.ir/wp-content/uploads/2024/10/3-300x119.png 300w, https://d-learn.ir/wp-content/uploads/2024/10/3-1024x407.png 1024w, https://d-learn.ir/wp-content/uploads/2024/10/3.png 1321w" sizes="(max-width: 768px) 100vw, 768px" title="تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​ 3">								</a>
													</div>
				</div>
				<div class="elementor-element elementor-element-6b7a671 elementor-widget elementor-widget-text-editor" data-id="6b7a671" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p><span style="font-family: var( --e-global-typography-text-font-family ), Sahel; font-weight: var( --e-global-typography-text-font-weight ); font-size: 1em;">در این روش با در نظر گرفتن فراوانی کلمات اهمیت آن‌ها بهتر نشان داده می‌شود. مثلا در بردار کلماتی مانند &#8220;و&#8221;، &#8220;که&#8221;، &#8220;در&#8221; که در اکثر سندها ظاهر می‌شوند وزن نهایی مقدار کمتری خواهد داشت.</span><br></p>
<p></p>
<p>این روش کمک می‌کند که اهمیت هر کلمه را در هر سند در مقایسه با سایر اسناد مجموعه، بسنجیم. این نمایش عددی، نه تنها حضور یک کلمه در سند را نشان می‌دهد، بلکه فراوانی آن و نادر بودن آن در کل مجموعه اسناد را نیز در نظر می‌گیرد. اگر یک کلمه در سندی زیاد تکرار شود اما در سایر اسناد به ندرت یافت شود حتما یک کلمه کلیدی آن سند است و وزن بالایی در آن دارد. روش TF-IDF به عنوان یک ابزار قدرتمند در سیستم‌های بازیابی اطلاعات مانند Elasticsearch به کار می‌رود تا اسناد مرتبط با یک پرس‌وجو را با دقت بیشتری پیدا کنند.</p>
<p></p>						</div>
				</div>
				<div class="elementor-element elementor-element-f2730f8 elementor-widget-divider--view-line elementor-widget elementor-widget-divider" data-id="f2730f8" data-element_type="widget" data-widget_type="divider.default">
				<div class="elementor-widget-container">
					<div class="elementor-divider">
			<span class="elementor-divider-separator">
						</span>
		</div>
				</div>
				</div>
				<div class="elementor-element elementor-element-3430f9e elementor-widget elementor-widget-text-editor" data-id="3430f9e" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
							<p><b>ادامه دارد &#8230;</b></p><p> </p>						</div>
				</div>
				<div class="elementor-element elementor-element-ceadd19 elementor-widget-divider--view-line elementor-widget elementor-widget-divider" data-id="ceadd19" data-element_type="widget" data-widget_type="divider.default">
				<div class="elementor-widget-container">
					<div class="elementor-divider">
			<span class="elementor-divider-separator">
						</span>
		</div>
				</div>
				</div>
				<div class="elementor-element elementor-element-76d16d2 elementor-grid-1 elementor-grid-tablet-2 elementor-grid-mobile-1 elementor-posts--thumbnail-top elementor-widget elementor-widget-posts" data-id="76d16d2" data-element_type="widget" data-settings="{&quot;classic_columns&quot;:&quot;1&quot;,&quot;classic_columns_tablet&quot;:&quot;2&quot;,&quot;classic_columns_mobile&quot;:&quot;1&quot;,&quot;classic_row_gap&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;size&quot;:35,&quot;sizes&quot;:[]},&quot;classic_row_gap_tablet&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;size&quot;:&quot;&quot;,&quot;sizes&quot;:[]},&quot;classic_row_gap_mobile&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;size&quot;:&quot;&quot;,&quot;sizes&quot;:[]}}" data-widget_type="posts.classic">
				<div class="elementor-widget-container">
			<link rel="stylesheet" href="https://d-learn.ir/wp-content/plugins/elementor-pro/assets/css/widget-posts-rtl.min.css">		<div class="elementor-posts-container elementor-posts elementor-posts--skin-classic elementor-grid">
				<article class="elementor-post elementor-grid-item post-69423 post type-post status-publish format-standard has-post-thumbnail hentry category-parantez category-gravfield category-sgt tag-659 tag-666 tag-665 tag-660 tag-658 tag-474 tag-663 tag-664 tag-662 tag-661 pmpro-has-access">
				<a class="elementor-post__thumbnail__link" href="https://d-learn.ir/p/labeling-in-self-supervised-learning/" >
			<div class="elementor-post__thumbnail"><img loading="lazy" decoding="async" width="768" height="519" src="https://d-learn.ir/wp-content/uploads/2024/08/labels-in-self-supervised-learning-4-1-768x519.png" class="attachment-medium_large size-medium_large wp-image-69536" alt="labels in self supervised learning 4 1 | تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​" title="تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​ 4" srcset="https://d-learn.ir/wp-content/uploads/2024/08/labels-in-self-supervised-learning-4-1-768x519.png 768w, https://d-learn.ir/wp-content/uploads/2024/08/labels-in-self-supervised-learning-4-1-300x203.png 300w, https://d-learn.ir/wp-content/uploads/2024/08/labels-in-self-supervised-learning-4-1-1024x692.png 1024w, https://d-learn.ir/wp-content/uploads/2024/08/labels-in-self-supervised-learning-4-1-1536x1038.png 1536w, https://d-learn.ir/wp-content/uploads/2024/08/labels-in-self-supervised-learning-4-1.png 1920w" sizes="(max-width: 768px) 100vw, 768px" /></div>
		</a>
				<div class="elementor-post__text">
				<h3 class="elementor-post__title">
			<a href="https://d-learn.ir/p/labeling-in-self-supervised-learning/" >
				تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۱)			</a>
		</h3>
				<div class="elementor-post__excerpt">
			<p>«هوش مصنوعی مولد» شاخه‌ای از هوش مصنوعی است که بر نوع خاصی از به کارگیری ایده «یادگیری ماشین» بنا شده است. آموزش یادگیری ماشین کتاب‌ها و درس‌های دانشگاهی معمولا با یک تقسیم‌بندی حول مقوله «دادۀ برچسب‌خورده» آغاز می‌شود: یادگیری بانظارت، یادگیری بدون‌نظارت و پس از آن‌ها یادگیری تقویتی؛ اما آنچه باعث رشد و توسعه ناگهانی هوش مصنوعی مولد شده، بازی با این تقسیم‌بندی کلاسیک و خلاقیت در تلفیق آن‌ها با یکدیگر و ارائه یک چهارچوب‌ جدید است.</p>
		</div>
				</div>
				</article>
				</div>


		
				</div>
				</div>
					</div>
		</div>
					</div>
		</section>
				</div>
		<p>The post <a rel="nofollow" href="https://d-learn.ir/word-embedding/">تغییر نگرش‌های مولد: نگاهی به تحولات اخیر هوش مصنوعی (۲)​</a> appeared first on <a rel="nofollow" href="https://d-learn.ir">مدرسه پردازش و تحلیل داده دقیقه</a>.</p>
]]></content:encoded>
					
					<wfw:commentRss>https://d-learn.ir/word-embedding/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
	</channel>
</rss>
