ساخت هوش مصنوعی تطبیقی تیک تاک تو با یادگیری تقویتی در جاوااسکریپت

مفاهیم پایه یادگیری تقویتی و الگوریتم Q-learning

یادگیری تقویتی (Reinforcement Learning یا RL) یکی از قدرتمندترین رویکردها در هوش مصنوعی است. برخلاف یادگیری نظارت شده که مدل‌ها بر روی مجموعه‌داده‌های برچسب‌گذاری شده آموزش می‌بینند، عامل‌های یادگیری تقویتی از طریق تعامل مستقیم با محیط خود یاد می‌گیرند و برای کارهایشان پاداش یا جریمه دریافت می‌کنند. در این مقاله، ما به بررسی مفاهیم اصلی یادگیری تقویتی و الگوریتم Q-learning می‌پردازیم؛ الگوریتمی بنیادی که به یک هوش مصنوعی اجازه می‌دهد استراتژی‌های بهینه را از طریق تجربه کشف کند.

یادگیری تقویتی: یادگیری از طریق تجربه

یادگیری تقویتی یک چارچوب قدرتمند است که به سیستم‌های هوش مصنوعی امکان می‌دهد تا به جای برنامه‌ریزی صریح، از طریق آزمون و خطا یاد بگیرند. بازی‌ها محیطی ایده‌آل برای یادگیری تقویتی فراهم می‌کنند، زیرا دارای ویژگی‌های زیر هستند:

• **بازنمایی‌های واضح حالت:** مانند وضعیت لحظه‌ای صفحه بازی.


• **فضاهای عمل گسسته:** مجموعه‌ای محدود از حرکات معتبر.


• **بازخورد فوری:** نتایج برد، باخت یا مساوی.


• **قوانین قطعی:** رفتار سازگار در تمام بازی‌ها.

در حالی که هوش مصنوعی سنتی بازی از تکنیک‌هایی مانند مینیمکس (minimax) با هرس آلفا-بتا استفاده می‌کند که نیازمند برنامه‌ریزی صریح استراتژی‌هاست، عامل‌های یادگیری تقویتی استراتژی‌های بهینه را از طریق تجربه کشف می‌کنند، دقیقاً مانند انسان‌ها که از طریق تمرین یاد می‌گیرند. بازی دوز (Tic-Tac-Toe) نقطه‌ی شروعی عالی برای این منظور است، زیرا فضای حالت آن قابل مدیریت است (حدود ۵,۴۷۸ موقعیت منحصر به فرد)، بازی‌ها کوتاه هستند و امکان تکرار سریع را فراهم می‌کنند، دستیابی به بازی کامل امکان‌پذیر است و مفاهیم آن به بازی‌های پیچیده‌تر نیز قابل تعمیم هستند.

درک الگوریتم Q-learning: شالوده اصلی

کیو-لرنینگ (Q-learning) یک الگوریتم یادگیری تقویتی بدون مدل (model-free) و مبتنی بر ارزش (value-based) است. "بدون مدل" به این معنی است که عامل نیازی به درک قوانین بازی ندارد؛ صرفاً از تجربه یاد می‌گیرد. "مبتنی بر ارزش" نیز بدین معناست که عامل "ارزش" هر عمل را در هر حالت می‌آموزد و سپس عملی را انتخاب می‌کند که بالاترین ارزش را دارد. برای ساخت یک بازی با این الگوریتم، باید چند مؤلفه کلیدی را درک کنید:

• **حالت (s):** پیکربندی فعلی صفحه بازی (مثلاً یک رشته ۹ کاراکتری مانند "XO-X-----" که '-' خانه‌های خالی را نشان می‌دهد).


• **عمل (a):** حرکتی که هوش مصنوعی می‌تواند انجام دهد (مثلاً یک شاخص از ۰ تا ۸ مربوط به موقعیت‌های صفحه).


• **پاداش (r):** بازخورد عددی از محیط:
  
  
  
  • +۱ برای بردن
  
  
  • -۱ برای باختن
  
  
  • ۰ برای مساوی یا بازی‌های در حال انجام
  
  
  
  


• **جدول Q (Q-Table):** یک جدول جستجو که Q(s,a) را ذخیره می‌کند؛ پاداش تجمعی مورد انتظار برای انجام عمل 'a' در حالت 's'.


• **سیاست (Policy):** استراتژی انتخاب عمل‌ها (مانند سیاست اپسیلون-حریصانه).

قلب Q-learning فرمول به‌روزرسانی آن است که یادگیری تفاوت‌های زمانی (temporal difference learning) را پیاده‌سازی می‌کند. این فرمول تخمین ما از Q(s,a) را بر اساس تفاوت بین تخمین فعلی ما و تخمینی بهتر با استفاده از پاداش واقعی دریافت شده به علاوه بهترین پاداش ممکن آینده به‌روز می‌کند. پارامترهای اصلی شامل نرخ یادگیری (α)، عامل تخفیف (γ) و حداکثر مقدار Q در حالت بعدی (max Q(s',a')) هستند که همگی در تعیین چگونگی به‌روزرسانی مقادیر Q نقش دارند.

چالش اکتشاف در برابر بهره‌برداری

یکی از چالش‌های حیاتی در یادگیری تقویتی، توازن بین "اکتشاف (exploration)" و "بهره‌برداری (exploitation)" است. برای درک این چالش، تصور کنید می‌خواهید رستورانی برای شام انتخاب کنید: بهره‌برداری به معنای رفتن به رستوران مورد علاقه شماست؛ غذایش را می‌شناسید و از یک وعده‌ی غذایی رضایت‌بخش مطمئنید. این یک انتخاب امن و قابل اعتماد است که پاداش فوری شما را بر اساس تجربه گذشته به حداکثر می‌رساند. اکتشاف به معنای امتحان کردن یک رستوران جدید و ناشناخته است؛ ممکن است فاجعه‌بار باشد، یا ممکن است یک رستوران مورد علاقه جدید پیدا کنید که حتی بهتر از قبلی است. این یک انتخاب پرخطر است که تضمین فوری ندارد، اما تنها راه برای جمع‌آوری اطلاعات جدید و احتمالاً یافتن یک استراتژی بلندمدت بهتر است.

همین معضل برای هوش مصنوعی ما نیز صدق می‌کند. اگر فقط از دانش فعلی خود بهره‌برداری کند، ممکن است در یک استراتژی متوسط گیر کند و هرگز حرکت‌های درخشان منجر به برد قطعی را کشف نکند. اگر فقط با انجام حرکات تصادفی اکتشاف کند، هرگز یاد نمی‌گیرد از استراتژی‌های خوبی که پیدا می‌کند استفاده کند و بازی ضعیفی خواهد داشت. کلید موفقیت، ایجاد تعادل بین این دو است: به اندازه کافی اکتشاف کنید تا استراتژی‌های بهینه را بیابید، اما از این دانش برای بردن بازی‌ها بهره‌برداری کنید. برای دستیابی به این تعادل، از استراتژی اپسیلون-حریصانه (epsilon-greedy) استفاده می‌کنیم: با یک احتمال کوچک (ϵ)، هوش مصنوعی یک حرکت تصادفی را انتخاب می‌کند (اکتشاف)، و با احتمال باقی‌مانده (۱-ϵ)، بهترین حرکت شناخته شده از جدول Q خود را انتخاب می‌کند (بهره‌برداری). همچنین، از تکنیک "کاهش اپسیلون (epsilon decay)" استفاده می‌کنیم که در ابتدا مقدار ϵ را بالا می‌برد تا اکتشاف را در مراحل اولیه آموزش تشویق کند و سپس با یادگیری و افزایش اعتماد به نفس هوش مصنوعی، آن را به تدریج کاهش می‌دهد.

پیاده‌سازی ساختار بازی و رابط کاربری

برای ایجاد یک برنامه کاربردی هوش مصنوعی یادگیری تقویتی که هم قدرتمند باشد و هم استفاده از آن آسان، نیاز به یک معماری نرم‌افزاری منظم و رابط کاربری شهودی داریم. در این پروژه، کد ما به دو کلاس اصلی در فایل game.js تقسیم می‌شود: کلاس QLearning که منطق اصلی الگوریتم یادگیری تقویتی را پیاده‌سازی می‌کند، و کلاس TicTacToe که مسئولیت مدیریت وضعیت بازی، رندرینگ بصری، و تعاملات کاربر را بر عهده دارد. این بخش بر چگونگی ساختاردهی رابط کاربری HTML و مدیریت جریان بازی توسط کلاس TicTacToe تمرکز دارد تا یک تجربه کاربری کامل و قابل درک فراهم شود.

طراحی رابط کاربری با HTML و Tailwind CSS

فایل index.html اساس رابط کاربری واکنش‌گرا و مدرن ما را تشکیل می‌دهد. برای طراحی این رابط، از ابزارهای کمکی Tailwind CSS استفاده می‌کنیم تا به سرعت یک طرح‌بندی جذاب و سازگار با دستگاه‌های مختلف ایجاد شود. این رابط شامل یک طرح‌بندی شبکه‌ای دو ستونی برای صفحه‌های متوسط و بزرگتر است که در آن بوم بازی (canvas) در سمت چپ و تمامی کنترل‌ها در سمت راست قرار می‌گیرند. تمامی عناصر تعاملی مانند دکمه‌ها و اسلایدرها از رویدادهای onclick و oninput برای برقراری ارتباط با منطق جاوااسکریپت بازی استفاده می‌کنند.

بخش‌های کلیدی رابط کاربری عبارتند از:

• بخش سرصفحه: عنوان و زیرعنوان بازی را برای معرفی برنامه نمایش می‌دهد.




• نشانگر آموزش: یک بنر زرد رنگ که فقط در طول جلسات آموزش هوش مصنوعی ظاهر می‌شود و به‌روزرسانی پیشرفت را هر ۵۰ بازی نشان می‌دهد تا بازخورد بصری ارائه دهد.




• بخش بوم: عنصر HTML5 Canvas که تخته بازی روی آن رسم می‌شود. این بوم دارای ابعاد ۴۰۰x۴۰۰ پیکسل است و با کلاس‌های Tailwind برای حاشیه‌ها و افکت‌های هاور طراحی شده است. پیام وضعیت بازی در زیر آن به‌روزرسانی می‌شود.




• کنترل‌های بازی: شامل سه دکمه اصلی برای شروع بازی جدید، آموزش هوش مصنوعی از طریق ۱۰۰۰ بازی خودکار، یا بازنشانی کامل حافظه هوش مصنوعی (پاک کردن Q-table).




• انتخابگر دشواری: سه دکمه برای انتخاب سطح دشواری هوش مصنوعی: مبتدی، متوسط و حرفه‌ای.




• پارامترهای هوش مصنوعی: سه اسلایدر با راهنمایی‌های ابزاری (tooltips) که به کاربران امکان می‌دهد پارامترهای اصلی یادگیری تقویتی مانند نرخ یادگیری (α)، عامل تخفیف (γ) و نرخ اکتشاف (ϵ) را در زمان واقعی تنظیم کنند.




• پنل آمار: یک شبکه از شش کارت که معیارهای زمان واقعی مانند تعداد بازی‌های انجام شده، برد/باخت/مساوی، حالت‌های یادگرفته شده و نرخ برد هوش مصنوعی را نمایش می‌دهد.

سیستم راهنمای ابزاری (tooltip) با استفاده از حالت‌های group hover CSS، متن‌های توضیحی را هنگام حرکت ماوس کاربران روی آیکون‌های اطلاعات نمایش می‌دهد و به آن‌ها کمک می‌کند تا هر پارامتر را بدون شلوغی رابط درک کنند.

مدیریت منطق بازی با کلاس TicTacToe

در حالی که کلاس QLearning مغز هوش مصنوعی را تشکیل می‌دهد، کلاس TicTacToe اسکلت و سیستم عصبی بازی را فراهم می‌کند. این کلاس تمام منطق مربوط به رندرینگ تخته، پردازش کلیک‌های کاربر، مدیریت جریان بازی و فراخوانی هوش مصنوعی در نوبت آن را مدیریت می‌کند. سازنده این کلاس وضعیت اولیه بازی را تنظیم می‌کند، ارجاعی به عنصر HTML Canvas می‌گیرد و شنوندگان رویداد را برای ورودی کاربر سیم‌کشی می‌کند. متد initControls اسلایدرهای HTML را به پارامترهای هوش مصنوعی متصل می‌کند و امکان تنظیمات زمان واقعی را فراهم می‌آورد. این رویکرد به کاربران اجازه می‌دهد تا مستقیماً مشاهده کنند که چگونه تغییر در پارامترها بر رفتار هوش مصنوعی تأثیر می‌گذارد.

منطق اصلی تعاملی شامل متدهایی مانند handleClick است که یک کلیک را به موقعیت روی تخته ترجمه می‌کند، move که وضعیت بازی را به‌روزرسانی می‌کند، و aiMove که یک عمل را از کلاس QLearning دریافت و آن را اجرا می‌کند. پس از هر حرکت هوش مصنوعی، متد this.ai.update() فوراً فراخوانی می‌شود تا هوش مصنوعی از نتیجه عمل خود درس بگیرد. متدهای کمکی وضعیت بازی را تعیین می‌کنند (حرکات موجود، برنده، و شرایط پایان بازی)، و متدهای به‌روزرسانی رابط کاربری، پیام‌های وضعیت و آمار را به عناصر HTML متصل می‌کنند. دکمه‌های کنترلی برای بازنشانی بازی یا حافظه هوش مصنوعی و همچنین دکمه "Train AI" که هوش مصنوعی را قادر می‌سازد تا با انجام هزاران بازی خودکار به سرعت یاد بگیرد، از طریق متدهایی در این کلاس کنترل می‌شوند. در نهایت، متدهایی برای ذخیره و بارگذاری وضعیت بازی و حافظه هوش مصنوعی در localStorage پیاده‌سازی شده‌اند تا پایداری داده‌ها تضمین شود.

قابلیت‌های پیشرفته و افزایش تجربه کاربری

این پیاده‌سازی فراتر از منطق اصلی Q-learning است و شامل چندین ویژگی پیشرفته برای ایجاد یک برنامه کاربردی کامل، کاربرپسند و آموزشی می‌شود. این ویژگی‌ها تجربه کاربری را بهبود بخشیده و مفاهیم یادگیری تقویتی را ملموس‌تر می‌کنند. سه حالت دشواری مجزا برای پاسخگویی به بازیکنان مختلف طراحی شده است:

• مبتدی (🌱): هوش مصنوعی ۷۰ درصد مواقع حرکات تصادفی انجام می‌دهد و فرصت زیادی برای برد و یادگیری قوانین بازی به بازیکن می‌دهد.




• متوسط (🎯): در این حالت، هوش مصنوعی از الگوریتم Q-learning با استراتژی اپسیلون-حریصانه استفاده می‌کند و یک رقیب چالش‌برانگیز اما منصفانه را ارائه می‌دهد که به مرور زمان بهبود می‌یابد.




• حرفه‌ای (🔥): این حالت از الگوریتم کلاسیک مینیماکس استفاده می‌کند که بازی کاملی را تضمین می‌کند و شکست دادن آن غیرممکن است (بهترین نتیجه ممکن مساوی است).

علاوه بر سطوح دشواری، تنظیم پارامترهای هوش مصنوعی در زمان واقعی از طریق اسلایدرها، پایداری داده‌ها با localStorage و حالت آموزش خودکار اختصاصی "Train AI" نیز به تجربه کاربری غنا می‌بخشند. این امکانات به کاربران اجازه می‌دهند تا به طور مستقیم تأثیر هایپرپارامترها را بر عملکرد هوش مصنوعی مشاهده کنند، هوش مصنوعی یادگیری‌های خود را بین جلسات مرورگر حفظ کند، و به سرعت از طریق بازی‌های خودکار مهارت‌هایش را بهبود بخشد. همچنین، این پروژه امکاناتی برای به اشتراک‌گذاری مدل‌های هوش مصنوعی آموزش‌دیده و حتی تجسم فرآیند تصمیم‌گیری هوش مصنوعی از طریق یک نقشه حرارتی (heatmap) رنگی را ارائه می‌دهد که به کاربران در درک عمیق‌تر منطق پشت هر حرکت کمک می‌کند.

توسعه منطق هوش مصنوعی با Q-learning

یادگیری تقویتی (RL) یکی از قدرتمندترین پارادایم‌ها در هوش مصنوعی محسوب می‌شود. برخلاف یادگیری نظارت شده که در آن مدل‌ها با مجموعه‌داده‌های برچسب‌گذاری شده آموزش می‌بینند، عامل‌های RL از طریق تعامل مستقیم با محیط خود، و دریافت پاداش یا جریمه برای اقداماتشان، یاد می‌گیرند. در این بخش، ما بر روی توسعه یک هوش مصنوعی برای بازی دوز (Tic-Tac-Toe) تمرکز می‌کنیم که استراتژی‌های بهینه را از طریق Q-learning، یک الگوریتم بنیادی یادگیری تقویتی، فرا می‌گیرد. این رویکرد به ما امکان می‌دهد تا یک برنامه وب کاربردی و آماده برای تولید (production-ready) بسازیم که مفاهیم عملی RL را مستقیماً در مرورگر با جاوااسکریپت خالص (vanilla JavaScript) به نمایش می‌گذارد.

مبانی Q-learning: قلب یادگیری هوش مصنوعی بازی

Q-learning یک الگوریتم یادگیری تقویتی "مدل-آزاد" (model-free) و "مبتنی بر ارزش" (value-based) است. مدل-آزاد به این معنی است که عامل نیازی به درک قوانین بازی ندارد؛ بلکه صرفاً از تجربه یاد می‌گیرد. مبتنی بر ارزش نیز به این معناست که عامل، "ارزش" هر عمل را در هر حالت یاد می‌گیرد و سپس عملی را انتخاب می‌کند که بالاترین ارزش را دارد. بازی دوز نقطه شروعی عالی برای یادگیری RL است زیرا فضای حالت آن قابل مدیریت است (۵,۴۷۸ موقعیت منحصر به فرد)، بازی‌ها کوتاه هستند و امکان تکرار سریع را فراهم می‌کنند، دستیابی به بازی بی‌نقص امکان‌پذیر است و معیاری واضح برای موفقیت ارائه می‌دهد، و مفاهیم آن به بازی‌های پیچیده‌تر نیز مقیاس‌پذیر هستند.

برای درک Q-learning، باید چند مؤلفه کلیدی را بشناسیم:

• حالت (State (s)): پیکربندی فعلی صفحه بازی، که به عنوان یک رشته ۹ کاراکتری (مانند "XO-X-----") نمایش داده می‌شود.




• عمل (Action (a)): حرکتی که هوش مصنوعی می‌تواند انجام دهد، که به عنوان یک ایندکس از ۰ تا ۸ متناظر با موقعیت‌های صفحه نمایش داده می‌شود.




• پاداش (Reward (r)): بازخورد عددی از محیط: +۱ برای برد، -۱ برای باخت، و ۰ برای تساوی یا بازی‌های در حال انجام.




• جدول Q (Q-Table): یک جدول جستجو که (Q(s,a را ذخیره می‌کند – پاداش تجمعی مورد انتظار برای انجام عمل a در حالت s.




• سیاست (Policy): استراتژی برای انتخاب اعمال، که در اینجا از سیاست اپسیلون-حریصانه (epsilon-greedy) استفاده می‌کنیم که تعادل بین اکتشاف و بهره‌برداری را برقرار می‌کند.

معادله به روزرسانی Q-learning و تعادل اکتشاف و بهره‌برداری

قلب Q-learning فرمول به روزرسانی زیر است:
(Q(s, a) ← Q(s, a) + α [r + γ max(a') Q(s', a') − Q(s, a)]
در این فرمول، α (آلفا) نرخ یادگیری (۰ تا ۱) است که میزان به روزرسانی مقدار Q را تعیین می‌کند؛ γ (گاما) عامل تخفیف (۰ تا ۱) است که میزان ارزش‌گذاری پاداش‌های آینده را نشان می‌دهد؛ s' حالت بعدی پس از انجام عمل a است؛ و (max Q(s',a' بالاترین مقدار Q موجود در حالت بعدی است. این فرمول یادگیری تفاوت زمانی (temporal difference learning) را پیاده‌سازی می‌کند، به این معنی که تخمین ما از (Q(s,a را بر اساس تفاوت بین تخمین فعلی ما و تخمین بهتر با استفاده از پاداش واقعی دریافت شده به علاوه بهترین پاداش ممکن آینده، به روز می‌کند.

یکی از چالش‌های اساسی در یادگیری تقویتی، توازن بین "اکتشاف" (exploration) و "بهره‌برداری" (exploitation) است. اگر هوش مصنوعی تنها دانش فعلی خود را بهره‌برداری کند، ممکن است در یک استراتژی متوسط گیر کند و هرگز حرکات درخشان را کشف نکند. از سوی دیگر، اگر فقط به اکتشاف با حرکات تصادفی بپردازد، هرگز یاد نمی‌گیرد از استراتژی‌های خوبی که پیدا می‌کند استفاده کند. برای دستیابی به این تعادل، از استراتژی اپسیلون-حریصانه (ϵ-greedy) استفاده می‌کنیم. در این روش، مقدار کوچکی برای اپسیلون (مانند ۰.۱) انتخاب می‌شود. قبل از هر حرکت، هوش مصنوعی یک عدد تصادفی بین ۰ و ۱ تولید می‌کند. اگر عدد تصادفی کمتر از ϵ باشد (مثلاً ۱۰٪ شانس)، هوش مصنوعی استراتژی خود را نادیده گرفته و یک حرکت تصادفی موجود را انتخاب می‌کند که همان "اکتشاف" است. اگر عدد تصادفی بزرگتر یا مساوی ϵ باشد (مثلاً ۹۰٪ شانس)، هوش مصنوعی بهترین حرکت شناخته شده را از جدول Q خود انتخاب می‌کند که "بهره‌برداری" نامیده می‌شود. این تضمین می‌کند که هوش مصنوعی عمدتاً برای برد بازی می‌کند، اما بخش کوچکی از حرکات خود را به امتحان چیزهای جدید اختصاص می‌دهد. ما همچنین "کاهش اپسیلون" (epsilon decay) را پیاده‌سازی می‌کنیم – با یک مقدار ϵ بالاتر شروع می‌کنیم تا اکتشاف را در زمانی که هوش مصنوعی بی‌تجربه است تشویق کنیم، و به تدریج آن را کاهش می‌دهیم تا هوش مصنوعی یاد بگیرد و به استراتژی خود مطمئن‌تر شود.

پیاده‌سازی کلاس QLearning در جاوااسکریپت

کد ما به دو کلاس اصلی در فایل `game.js` تقسیم می‌شود: `QLearning` که منطق مغز و یادگیری هوش مصنوعی را مدیریت می‌کند، و `TicTacToe` که وضعیت بازی و رندرینگ را مدیریت می‌کند. کلاس `QLearning` شامل تمام منطق عامل یادگیری تقویتی است. سازنده (constructor) سه هایپرپارامتر کلیدی (α، γ، ϵ) و خود جدول Q را که یک JavaScript Map است، مقداردهی اولیه می‌کند. متد `getQ(state)` یک تابع کمکی حیاتی است که به طور ایمن آرایه مقادیر Q را برای یک حالت صفحه بازی معین بازیابی می‌کند. اگر هوش مصنوعی قبلاً این حالت را ندیده باشد، یک ورودی جدید در Map با آرایه‌ای از نُه صفر ایجاد می‌کند که نشان‌دهنده مقدار اولیه Q صفر برای هر حرکت ممکن است.

متد `getAction` جایی است که هوش مصنوعی تصمیم می‌گیرد چه حرکتی انجام دهد و سطوح دشواری و استراتژی اپسیلون-حریصانه را در خود جای می‌دهد. این منطق ابتدا دشواری را بررسی می‌کند: حالت 'Beginner' عمدتاً تصادفی است، در حالی که 'Expert' به یک الگوریتم جداگانه و بازی بی‌نقص (minimax) ارجاع می‌دهد. برای سطح 'Intermediate'، منطق اپسیلون-حریصانه را پیاده‌سازی می‌کند. با احتمال ϵ، اکتشاف می‌کند (یک حرکت تصادفی را انتخاب می‌کند)؛ در غیر این صورت، بهره‌برداری می‌کند (بهترین حرکت شناخته شده را از جدول Q انتخاب می‌کند). متد `update` قلب الگوریتم است و پیاده‌سازی مستقیم فرمول Q-learning است. تابع `maxQ2` بخش (max Q(s',a' فرمول را محاسبه می‌کند – بهترین مقدار Q ممکن که هوش مصنوعی می‌تواند از حرکت بعدی خود به دست آورد. خط آخر ترجمه مستقیم فرمول است که مقدار عمل تازه انجام شده را بر اساس پاداش و پتانسیل آینده به‌روز می‌کند. همچنین، برای سطح 'Expert'، الگوریتم Minimax را پیاده‌سازی می‌کنیم که یک الگوریتم بازگشتی کلاسیک از نظریه بازی است و بازی بی‌نقص را تضمین می‌کند. در نهایت، متدهایی برای کاهش اپسیلون، بازنشانی حافظه هوش مصنوعی و ذخیره/بارگذاری جدول Q در localStorage اضافه می‌شوند تا این سیستم هوش مصنوعی کامل گردد.

آموزش، تست و ارزیابی عملکرد هوش مصنوعی

در این بخش، ما به بررسی چگونگی آموزش هوش مصنوعی ساخته شده و روش‌های ارزیابی عملکرد آن می‌پردازیم. فرایند یادگیری ماشین تقویتی از مراحل اولیه و ناآگاهانه شروع شده و با گذشت زمان، به یک سیستم هوشمند و کارآمد تبدیل می‌شود. همچنین، اهمیت تست‌های خودکار در تأیید صحت کد و رفع مشکلات رایج در عملکرد هوش مصنوعی را نیز پوشش خواهیم داد.

شروع با هوش مصنوعی تازه‌کار و فرایند آموزش

هنگامی که برای اولین بار بازی را بارگذاری می‌کنید، هوش مصنوعی در حالت "تخته سفید" قرار دارد و جدول Q آن خالی است. برای شروع، مطمئن شوید که دشواری روی حالت "Beginner" (🌱) تنظیم شده و یک بازی در برابر آن انجام دهید. به احتمال زیاد شکست دادن آن بسیار آسان خواهد بود، زیرا هوش مصنوعی ۷۰٪ از حرکت‌های خود را به صورت تصادفی انجام می‌دهد و حرکت‌های بی‌معنی دارد، چرا که هیچ تجربه‌ای کسب نکرده است. در این مرحله، مقدار "States Learned" در پنل آمار بسیار پایین است که نشان‌دهنده عدم آشنایی هوش مصنوعی با موقعیت‌های بازی است.

اکنون زمان آن رسیده که جادوی یادگیری را مشاهده کنید. روی دکمه "Train AI (1000 games)" کلیک کنید. یک نشانگر زرد رنگ برای آموزش به همراه شمارنده پیشرفت ظاهر می‌شود. در عرض چند ثانیه، هوش مصنوعی ۱۰۰۰ بازی را با خودش انجام می‌دهد و به سرعت از بردها، باخت‌ها و تساوی‌های خود درس می‌گیرد. برای هر حرکت در هر بازی، جدول Q خود را به‌روزرسانی می‌کند، استراتژی‌های خوب را تقویت کرده و حرکت‌های بد را جریمه می‌کند. این فرایند یادگیری تقویتی، هوش مصنوعی را قادر می‌سازد تا درک خود را از محیط بازی بهبود بخشد.

ارزیابی عملکرد و بررسی ویژگی‌های پیشرفته

پس از اتمام آموزش، یک بازی دیگر را در حالت "Intermediate" (🎯) انجام دهید. تفاوت چشمگیر خواهد بود. هوش مصنوعی اکنون استراتژیک‌تر بازی خواهد کرد، جلوی برد شما را می‌گیرد و حرکت‌های خود را برای ایجاد موقعیت‌های برنده تنظیم می‌کند. دیگر یک حریف آسان نیست. پنل آمار را دوباره بررسی کنید: متوجه خواهید شد که تعداد "States Learned" به طور قابل توجهی افزایش یافته است، که نشان‌دهنده تمام موقعیت‌های جدیدی است که هوش مصنوعی اکنون آن‌ها را درک کرده و برای آن‌ها ارزش‌گذاری کرده است.

حالا که هوش مصنوعی شما آموزش دیده است، با ویژگی‌های دیگر برنامه آزمایش کنید:

• **تغییر به حالت "Expert" (🔥):** در برابر الگوریتم مینیمکس بازی کنید. متوجه خواهید شد که هرگز نمی‌توانید برنده شوید (بهترین نتیجه تساوی است). این نشان‌دهنده قدرت یک الگوریتم بازی با استراتژی کاملاً بهینه است.


• **تنظیم پارامترها:** نوار لغزنده "Exploration Rate (ε)" را روی ۰ تنظیم کنید. هوش مصنوعی کاملاً قطعی می‌شود و همیشه حرکتی را با بالاترین مقدار Q از جدول خود انتخاب می‌کند. سپس آن را روی ۰.۵ تنظیم کنید و مشاهده کنید که دوباره نامنظم‌تر و آزمایشی‌تر عمل می‌کند. این به شما امکان می‌دهد تأثیر پارامترها بر رفتار هوش مصنوعی را به صورت بلادرنگ مشاهده کنید.


• **بازنشانی هوش مصنوعی:** روی دکمه "Reset AI Memory" کلیک کنید. این عمل جدول Q آن را پاک می‌کند. اگر اکنون در برابر آن بازی کنید، خواهید دید که هوش مصنوعی به حالت اولیه و آموزش‌ندیده خود بازگشته است. این تأیید می‌کند که "هوش" آن در جدول Q ذخیره شده بود که شما پاک کردید.

تست‌های خودکار برای اطمینان از صحت کد

در حالی که بازی کردن با هوش مصنوعی و مشاهده رفتار آن به صورت دستی، درک خوبی از عملکرد آن به شما می‌دهد، تست‌های خودکار برای تأیید برنامه‌نویسی‌شده صحت کد زیرین بسیار حیاتی هستند. این نوع تست با تست دستی که در بالا انجام دادید متفاوت است؛ در اینجا، ما کدی می‌نویسیم تا کد خودمان را بررسی کند. مجموعه تست ارائه شده سه ویژگی حیاتی را تأیید می‌کند: تغییر دشواری، پایداری داده‌ها با `localStorage`، و عدم خطای هوش مصنوعی متخصص در حالت مینیمکس.

این تست‌ها به شرح زیر کار می‌کنند:

• **تغییر دشواری:** تست اول یک نمونه از بازی را ایجاد می‌کند، دشواری را تنظیم کرده و تأیید می‌کند که ویژگی داخلی هوش مصنوعی به درستی به‌روزرسانی شده است.


• **پایداری داده‌ها:** تست دوم وضعیت هوش مصنوعی را برای ذخیره‌سازی شبیه‌سازی می‌کند. یک ورودی ساختگی به جدول Q اضافه می‌کند، آن را ذخیره کرده، سپس یک نمونه بازی جدید (شبیه‌سازی بارگذاری مجدد صفحه) ایجاد می‌کند و در نهایت تأیید می‌کند که نمونه جدید داده‌های ذخیره شده را با موفقیت بارگذاری کرده است.


• **صحت حالت تخصصی:** تست سوم و دقیق‌ترین، ۱۰۰ بازی را در برابر هوش مصنوعی متخصص با استفاده از حرکت‌های تصادفی برای بازیکن انجام می‌دهد. سپس تأیید می‌کند که هوش مصنوعی متخصص هرگز حتی یک بازی را نباخته است، که درستی پیاده‌سازی الگوریتم مینیمکس را اثبات می‌کند.

شما می‌توانید این تست‌ها را با کپی و چسباندن کد مربوطه در کنسول توسعه‌دهنده مرورگر خود در حالی که بازی باز است، اجرا کنید.

رفع مشکلات رایج در عملکرد هوش مصنوعی

در طول فرآیند آموزش و ارزیابی، ممکن است با چالش‌هایی در عملکرد هوش مصنوعی مواجه شوید. درک علل رایج و راه‌حل‌های آن‌ها می‌تواند به شما در بهینه‌سازی سیستم کمک کند:

• **علت: هوش مصنوعی ضعیف بازی می‌کند.**
  
  
  
  • **دلیل:** نرخ یادگیری (α) بسیار پایین است یا آموزش کافی صورت نگرفته است.
  
  
  • **راه‌حل:** نرخ یادگیری را به بین ۰.۲ تا ۰.۳ افزایش دهید و برای بیش از ۲۰۰۰ بازی آموزش دهید.
  
  
  
  


• **علت: هوش مصنوعی پس از آموزش حرکت‌های تصادفی زیادی انجام می‌دهد.**
  
  
  
  • **دلیل:** نرخ کاوش (ε) پس از آموزش بسیار بالا است.
  
  
  • **راه‌حل:** پس از اتمام آموزش، نرخ کاوش را به ۰.۰۱ کاهش دهید.
  
  
  
  


• **علت: تصمیم‌گیری هوش مصنوعی کند است.**
  
  
  
  • **دلیل:** نمایش وضعیت یا جستجوی جدول Q ناکارآمد است.
  
  
  • **راه‌حل:** به جای اشیاء از `Map` استفاده کنید و کشینگ وضعیت را پیاده‌سازی کنید.
  
  
  
  


• **علت: هوش مصنوعی استراتژی بهینه را یاد نمی‌گیرد.**
  
  
  
  • **دلیل:** کاوش کافی در طول آموزش وجود ندارد.
  
  
  • **راه‌حل:** با نرخ کاوش بالا (ϵ=۰.۵) شروع کنید و به تدریج آن را کاهش دهید تا به تعادل مناسبی بین کاوش و بهره‌برداری برسید.
  
  
  
  

تکنیک‌های پیشرفته و بهینه‌سازی‌های هوش مصنوعی

کاهش فضای حالت با شناسایی موقعیت‌های معادل

یکی از بهینه‌سازی‌های کلیدی برای افزایش سرعت یادگیری هوش مصنوعی، کاهش فضای حالت با شناسایی موقعیت‌های معادل در صفحه بازی است. این تکنیک با درک تقارن‌ها به هوش مصنوعی کمک می‌کند تا موقعیت‌های مختلف اما از نظر استراتژیک یکسان را به عنوان یک حالت واحد در نظر بگیرد. تابع getCanonicalState() هشت نسخه متقارن از هر حالت صفحه (چهار چرخش و چهار نسخه آینه‌ای) را تولید کرده و اولین نسخه الفبایی را به عنوان نمایش استاندارد برمی‌گرداند. توابعی مانند rot90()، rot180()، rot270() و flip() به ترتیب برای چرخش و آینه‌ای کردن صفحه استفاده می‌شوند. اهمیت این روش در این است که با ذخیره تنها حالت‌های کانونی در جدول Q، هوش مصنوعی تعداد موقعیت‌های منحصربه‌فرد را از حدود 5,500 به حدود 700 کاهش می‌دهد و سرعت یادگیری را تا 8 برابر افزایش می‌دهد. با اصلاح متد getQ() برای استفاده از حالت‌های کانونی، زمان یادگیری به شدت کاهش می‌یابد زیرا هوش مصنوعی موقعیت‌های چرخانده و آینه‌ای شده را معادل هم می‌شناسد.

به اشتراک‌گذاری مدل‌های هوش مصنوعی آموزش‌دیده

امکان به اشتراک‌گذاری مدل‌های هوش مصنوعی آموزش‌دیده بین کاربران، یکی دیگر از قابلیت‌های پیشرفته‌ای است که می‌توان به این سیستم اضافه کرد. متد exportAI() وظیفه بسته‌بندی کامل وضعیت هوش مصنوعی شامل جدول Q، آمار بازی، سطح دشواری و برچسب زمانی را در قالب یک شی JSON دارد. سپس یک فایل برای دانلود تولید می‌کند که نام آن شامل یک برچسب زمانی برای ردیابی نسخه‌ها خواهد بود. متد importAI() نیز از FileReader برای خواندن فایل JSON بارگذاری شده استفاده می‌کند، آن را تجزیه کرده، نقشه (Map) جدول Q را از آرایه ورودی‌ها بازسازی می‌کند، تمام وضعیت بازی را بازیابی کرده و نمایشگر را به‌روزرسانی می‌کند. این توابع شامل مدیریت خطا برای تشخیص فایل‌های JSON نامعتبر یا خراب نیز هستند.

بصری‌سازی تصمیم‌گیری هوش مصنوعی

بصری‌سازی فرآیند تصمیم‌گیری هوش مصنوعی می‌تواند به درک بهتر نحوه یادگیری و عملکرد آن کمک کند. این روش بصری‌سازی یک نقشه حرارتی (heatmap) رنگی ایجاد می‌کند که میزان اطمینان هوش مصنوعی به هر حرکت ممکن را نشان می‌دهد. ابتدا مقادیر Q برای حالت فعلی بازی استخراج می‌شوند و برای هر خانه خالی، یک امتیاز نرمال‌شده (بین ۰ تا ۱) محاسبه می‌شود. این امتیاز سپس به یک مقدار رنگی (hue) تبدیل می‌شود (۰ درجه قرمز برای مقادیر پایین و ۱۲۰ درجه سبز برای مقادیر بالا) با استفاده از فضای رنگی HSL. سپس خانه مربوطه با یک مستطیل رنگی نیمه‌شفاف پر می‌شود و مقدار Q واقعی به صورت متن روی خانه نمایش داده می‌شود. این بصری‌سازی بازخورد فوری در مورد اینکه کدام حرکت‌ها از نظر هوش مصنوعی امیدوارکننده‌تر هستند، ارائه می‌دهد: خانه‌های سبز نشان‌دهنده حرکت‌های خوب و خانه‌های قرمز نشان‌دهنده حرکت‌های ضعیف هستند.

اشتباهات رایج و راه‌حل‌ها

در حین کار با سیستم‌های یادگیری تقویتی، ممکن است با چالش‌هایی روبرو شوید. در ادامه به برخی از اشتباهات رایج و راه‌حل‌های آن‌ها می‌پردازیم:
۱. نرخ یادگیری پایین یا آموزش ناکافی: اگر هوش مصنوعی به خوبی یاد نمی‌گیرد، نرخ یادگیری (α) را به بین ۰.۲ تا ۰.۳ افزایش دهید و آموزش را برای بیش از ۲۰۰۰ بازی ادامه دهید.
۲. نرخ اکتشاف بالا پس از آموزش: اگر پس از آموزش، هوش مصنوعی هنوز حرکات تصادفی زیادی انجام می‌دهد، نرخ اکتشاف (ϵ) را پس از اتمام آموزش به ۰.۰۱ کاهش دهید.
۳. نمایش حالت یا جستجوی ناکارآمد در جدول Q: برای بهبود عملکرد، به جای اشیا از Map جاوااسکریپت برای جدول Q استفاده کنید و کشینگ حالت‌ها را پیاده‌سازی نمایید.
۴. اکتشاف ناکافی در طول آموزش: برای جلوگیری از گیر کردن هوش مصنوعی در استراتژی‌های محدود، با یک نرخ اکتشاف بالا (ϵ=۰.۵) شروع کنید و آن را به تدریج کاهش دهید تا هوش مصنوعی هم فرصت کشف داشته باشد و هم دانش خود را به کار گیرد.

جمع‌بندی و توصیه‌های نهایی

در این آموزش، شما موفق به ساخت یک سیستم کامل یادگیری تقویتی در جاوااسکریپت شدید که مفاهیم اساسی RL را با پیاده‌سازی عملی ترکیب می‌کند. این پروژه مهارت‌هایی نظیر معماری کد تمیز، آموزش و بصری‌سازی در زمان واقعی، و تکنیک‌های پیشرفته‌ای مانند epsilon decay و خودآموزی (self-play) را به نمایش می‌گذارد. همچنین با سه سطح دشواری متفاوت، از مبتدی تا پیشرفته، و قابلیت ذخیره‌سازی داده‌ها با localStorage آشنا شدید. اساس Q-learning که پیاده‌سازی کردید، بنیان بسیاری از تکنیک‌های پیشرفته‌تر مانند شبکه‌های عصبی عمیق Q (DQN) است که در هوش مصنوعی بازی‌های مدرن به کار می‌رود.

برای ادامه یادگیری و گسترش این پروژه، توصیه‌های زیر را در نظر بگیرید:

• افزودن سطوح دشواری بیشتر با پارامترهای سفارشی.
• پیاده‌سازی ذخیره‌سازی حالت با IndexedDB برای جداول Q بزرگتر.
• ایجاد حالت چندنفره با مشاهده هوش مصنوعی.
• ساخت یک نسخه شبکه عصبی با TensorFlow.js.
• گسترش پروژه به بازی‌های دیگری مانند Connect Four یا پایان بازی‌های شطرنج.

برای تعمیق دانش خود در زمینه یادگیری تقویتی، مطالعه منابع معتبر مانند کتاب «Reinforcement Learning: An Introduction» اثر ساتن و بارتو و منابع «OpenAI Spinning Up» توصیه می‌شود. این پروژه یک نقطه شروع عالی برای ورود به دنیای هیجان‌انگیز هوش مصنوعی و یادگیری ماشین است.