Універсальна лінеаризована структура вдосконалення підпростору для нейронних мереж

Нейронні мережі переважно навчаються за допомогою градієнтних методів, але в багатьох додатках їх остаточні прогнози залишаються далекими від точності, досяжної в межах виразної здатності моделі. Ми представляємо лінійне вдосконалення підпростору (LSR), загальну та архітектурно-агностичну структуру, яка використовує індуковану Якобіанську лінійну залишкову модель у фіксованому тренованому мережевому стані. Вирішуючи зменшену задачу прямих найменших квадратів у цьому підпросторі, LSR обчислює оптимальне для підпростору рішення лінеаризованої залишкової моделі, отримуючи вдосконалений лінійний предиктор із значно підвищеною точністю порівняно зі стандартними градієнтними рішеннями, не змінюючи мережеві архітектури, формулювання втрат або навчальні процедури. У наближенні контрольованих функцій, навчанні операторів на основі даних та тонкому налаштуванні оператора, інформованого фізикою, ми показуємо, що навчання на основі градієнтів часто не дає доступу до цієї досяжної точності, навіть коли локальна лінеаризація дає опуклу проблему. Це спостереження вказує на те, що числове погане кондиціонування, спричинене втратами, а не неопуклість або експресивність моделі, можуть становити домінуюче практичне вузьке місце. Навпаки, одноразовий LSR систематично викриває рівні точності, які не повністю використовуються навчанням на основі градієнта, часто досягаючи зменшення помилок порядку величини. Для задач, обмежених оператором, із композитними структурами втрат ми додатково вводимо Ітеративний LSR, який чергує одноразовий LSR з контрольованим нелінійним вирівнюванням, перетворюючи погано обумовлену залишкову мінімізацію в чисельно щадні кроки підгонки та забезпечуючи прискорену конвергенцію та покращену точність. Поєднуючи нелінійні нейронні уявлення з лінійними вирішувачами зменшеного порядку у фіксованих точках лінеаризації, LSR забезпечує чисельно обґрунтовану та широко застосовну структуру уточнення для керованого навчання, навчання операторів та наукових обчислень.