Умови Куна-Таккера корисні, навіть якщо в оптимальній точці немає активних обмежень. В цьому випадку розглядається тільки градієнт цільової функції. а він в точці оптимуму має дорівнювати нулю. [48]
Зауважимо, що метод найшвидшого спуску зводить багатовимірну задачу оптимізації до послідовності одновимірних задач на кожному кроці оптимізації, як і в разі покоордінатного спуску. Різниця полягає в тому, що тут напрямок одновимірної оптимізації визначається градієнтом цільової функції. тоді як покоординатно спуск проводиться на кожному кроці вздовж одного з координатних напрямків. [49]
За визначенням, градієнти є нормалями до дотичним, проведеним до ліній рівного рівня. Так як в точці оптимуму дотичні до цільової функції і функції обмежень збігаються, то градієнти цільової функції і функції, що задається обмеженнями, колінеарні, а їх величини пропорційні з точністю до множника К. [50]
Градієнт цільової функції в точці х Ах задається лівою частиною рівності (4.3.34), якщо х досить близько до х Ах в тому сенсі, що квадратична апроксимація є адекватною. Для того щоб х Пекло: було точкою локального оптимуму на поточному безлічі активних обмежень, вимагатимемо, щоб градієнт цільової функції був в цій точці ортогонален поверхні, утвореної активними обмеженнями. Це означає, що проекція вектора градієнта на цю поверхню дорівнює нулю і подальші пересування не приведуть до поліпшення. Для того щоб вектор градієнта був ортогонален поверхні, утвореної обмеженнями-нерівностями, він повинен являти собою лінійну комбінацію нормалей до цих обмежень; ці нормалі задаються правою частиною рівності 4.3.34), Я, і ц, називаються множниками Лаг-Ранже. [51]
Отже, при вирішенні питання, наскільки конкретний алгоритм підходить для вирішення даного завдання, ми повинні брати до уваги не тільки швидкість збіжності цього алгоритму, але також і ступінь обумовленості, що витікає із природи даної задачі. Взагалі кажучи, коли область пошуку дуже вузька і має форму банана, алгоритми, в яких пошук здійснюється вздовж напрямку градієнта цільової функції. або методи можливих напрямків першого порядку (розд. Що ж стосується квазіньютоновскіх методів, методів сполучених градієнтів і методів можливих напрямків другого порядку (розд. Таким чином, якщо область пошуку має несприятливу форму, ми віддамо перевагу один з сверхлінейно сходяться алгоритмів, якщо тільки час, потрібний на одну ітерацію, чи не виявиться дуже великим. [52]
Детерміністський метод навчання виробляє модифікацію ваг мережі тільки на основі інформації про направлення градієнта цільової функції в просторі ваг. Щоб змусити мережу покинути локальний екстремум і відправитися на пошуки глобального, потрібно створити додаткову силу, яка залежала б не від градієнта цільової функції. а від якихось інших факторів. Вибір цих факторів, більш-менш виправданий різними евристичними міркуваннями, і становить основу різних методів подолання локальних пасток. Один з найпростіших методів полягає в тому, щоб просто створити випадкову силу і додати її до детерминистической. [53]
Алгоритм дозволяє визначити всі полуеффектівние вершини, так як вони стають зв'язковими через полуеффектівние ребра в ДДО. Роль цих ребер полягає в тому, що вони обмежують ті подобласти X, в яких ефективними є внутрішні точки безлічі X. В межах цих ребер деяка опукла комбінація градієнтів цільових функцій дорівнює нульовому вектору. [54]
Як уже зазначалося, метод узагальнених стохастичних градієнтів не вимагає диференційованої цільової функції еквівалентної детермінованою завдання. Тут ми розглянемо можливий варіант застосування методу можливих напрямків до вирішення двох-етапної завдання лінійного стохастичного програмування. Використання і обгрунтування цього методу вимагає існування і безперервності градієнта цільової функції еквівалентної детермінованою завдання. Як і при викладі інших методів, будемо припускати можливість обчислення всіх математичних очікувань, значення яких використовуються в излагаемом нижче алгоритмі. [55]
Нелінійне програмування застосовується при нелінійних цільових функціях і / або обмеженнях. Обмеження зазвичай мають вигляд нерівностей, що виключає рішення методом невизначених множників Лагранжа. Ці завдання також вирішуються спрямованим пошуком (зазвичай на основі градієнта цільової функції), який призводить до локального екстремуму. [56]
Визначення значень параметрів оптимізації, які мінімізують суму залежностей (20.53) - (20.57) при дотриманні зазначених умов (другий етап рішення), відбувається наступним чином. За інформацією про стан виробництва в поточний момент часу визначаються значення приватних похідних цільової функції по параметрам оптимізації. Знайдені значення похідних використовуються потім для зміни зазначених параметрів в напрямку, протилежному градієнту цільової функції; при цьому можливість руху в одному із зазначених напрямків на кожному кроці визначається результатами, отриманими на першому етапі рішення задачі. Модель заводу, необхідна на другому етапі рішення, складається з рівняння, отриманого підсумовуванням залежностей (20.53) - (20.57) і названих умов. Приватні похідні цільової функції по керуючим параметрам, які використовуються при оптимізації процесу в свою чергу залежать від приватних похідних цехових витрат за параметрами оптимізації. [57]
Сторінки: 1 2 3 4
Поділитися посиланням: