ПОДІЛИТИСЯ: Повністю неконтрольована структура для відновлення одного гіперспектрального зображення

Відновлення гіперспектрального зображення (HSI) є фундаментальною проблемою в обчислювальній візуалізації та комп'ютерному зору. Він включає погано поставлені зворотні проблеми, такі як вфарбуванні та суперроздільній здатності. Хоча методи глибокого навчання трансформували галузь за допомогою навчання на основі даних, їх ефективність залежить від доступу до ретельно підібраних наборів даних основної істини. Це принципово обмежує їх застосовність у реальних сценаріях, коли такі дані недоступні. У цій роботі представлено SHARE (відновлення єдиного гіперспектрального зображення з еквівалентністю), повністю неконтрольовану структуру, яка об'єднує принципи геометричної еквівалентності із спектральним моделюванням низького рангу, щоб усунути потребу в основній істині. Основна концепція SHARE полягає в тому, щоб використовувати внутрішню інваріантність гіперспектральних структур під час диференційованих геометричних перетворень (наприклад, обертання та масштабування) для отримання сигналів самонагляду за допомогою обмежень узгодженості еквівалентності. Наш новий модуль динамічної адаптивної спектральної уваги (DASA) ще більше посилює цю зміну парадигми, явно кодуючи глобальну низькорангову властивість HSI та адаптивно вдосконалюючи локальні спектрально-просторові кореляції за допомогою механізмів уваги, які можна вивчити. Широкі експерименти з HSI у завданнях фарбування та суперроздільної здатності демонструють ефективність SHARE. Наш метод перевершує багато найсучасніших підходів без нагляду та досягає продуктивності, порівнянної з результатами контрольованих методів. Ми сподіваємось, що наш підхід проллє нове світло на відновлення HSI та більш широкі сценарії наукових зображень. Код буде випущений за адресою https://github.com/xuwayyy/SHARE.