Просторово-спектральна мамба з кластеризацією для класифікації гіперспектральних зображень

Незважаючи на те, що моделі Mamba значно покращують класифікацію гіперспектрального зображення (HSI), вони мають критичні проблеми з точки зору визначення ефективних та адаптивних послідовностей токенів для підвищення продуктивності.Таким чином, у цьому документі представлено структуру CSSMamba (Clustering-guided Spatial-Spectral Mamba) для кращого вирішення проблем із наступними внесками.По-перше, щоб досягти ефективних і адаптивних послідовностей токенів для покращення продуктивності Mamba, ми інтегруємо механізм кластеризації в просторову архітектуру Mamba, що призводить до створення кластерно-керованого просторового модуля Mamba (CSpaMamba), який зменшує довжину послідовності Mamba та покращує можливості навчання функцій Mamba.По-друге, щоб покращити вивчення як просторової, так і спектральної інформації, ми інтегруємо модуль CSpaMamba з модулем спектральної мамби (SpeMamba), що веде до повної просторово-спектральної структури Mamba з керуванням кластеризацією.По-третє, для подальшого вдосконалення можливостей вивчення функцій ми запроваджуємо механізм вибору маркерів, керований увагою, щоб оптимізувати послідовність маркерів Mamba.Насамкінець, щоб бездоганно інтегрувати кластеризацію в модель Mamba узгодженим способом, ми розробляємо навчальний модуль кластеризації, який вивчає членство в кластері адаптивним способом.Експерименти на наборах даних Pavia University, Indian Pines і Liao-Ning 01 демонструють, що CSSMamba досягає вищої точності та кращого збереження меж порівняно з найсучаснішими методами на основі CNN, Transformer і Mamba.