هدف از آموزش شبکه های عصبی، یافتن اندازه وزن ها و بایاس ها به نحوی است که خطای داده های آموزش را به حداقل ممکن برساند. لذا آموزش شبکه های عصبی را می توان در بردارنده یک مسألة بهینه سازی دانست که هدف از آن بهینه سازی ضرایب وزنی و بایاس ها جهت دستیابی به حداقل خطای آموزش می باشد. در روش های مرسوم جهت آموزش شبکه های عصبی از الگوریتم پس انتشار و دیگر روش های گرادیانی استفاده می شود. این روش ها در مواردی که شکل تابع غیرخطی و پیچیده باشد، ضعف و ناکارآمدی ...