تپه نوردی در هوای مه آلود

یکی از مسائل رایج در علوم مهندسی یافتن مقدار کمینه یا بیشنه توابع چند متغیره است که طبق معمول، این کار را نیز به کمک کامپیوتر انجام میدهند. یافتن مقدار بیشینه برای کامپیوتر مانند پیدا کردن قله تپه در هوای مه آلود است برای آدمی. کامپیوتر فقط تعریف تابع را داد و هیچ ایده ای در مورد موقیعت قله ندارد بلکه از یک نقطه حدسی شروع کرده و در جهت بیشترین شیب که همان بردار گرادیان تابع است مسافتی را طی کرده تا به نقطه جدیدی برسد. سپس و از آنجا دوباره بیشترین شیب را دنبال میکند و همینطور ادامه میدهد تا به قله برسد. اما در حالت کلی یافتن مسافت بهینه  در هر مرحله کار دشواری است، از این رو معمولا روش ساده گام های کوچک را بکار میبرند. در این روش در هر مرحله مسافت کمی در جهت بردار گرادیان پیش رفته تا به نقطه جدید برسد. سپس در نقطه جدید مجددا بردار گرادیان محاسبه میشود و همینطور تا قله پیش میرود. این روش ساده هم معمولا به خوبی روش مسافت بهینه جواب میدهد اما ممکن است نیاز به محاسبه گرادیان به دفعات بسیار زیاد باشد.
بطور کلی الگوریتم دنبال کردن شیب gradient ascent نامیده میشود. یکی از مشکلات این الگوریتم و الگوریتم های مشابه این است که ممکن است، بستگی به نقطه شروع، به جای ماگزیمم مطلق، به ماگزیمم نسبی را پیدا کنند. در این نقطه بردار گرادیان صفر میشود  و الگوریتم بر این گمان است که به قله رسیده است.
یافتن مقدار کمینه تابع کاملا مشابه همین الگوریتم است با این تفاوت که در هر مرحله باید در جهت عکس بردار گرادیان پیش رفت که در این حالت gradient descent نامیده میشود.
#ریاضیات_کاربردی