Фазорний трансформатор: усунення вузьких місць у колі блоків
Зосереджено на фазовому трансформаторі: усунення вузьких місць у колі одиниць.
At a glance
- Source
- arXiv
- Published
- Jan 26, 2026
- Read time
- 1 min read
- Primary lane
- Machine Learning
Quick read
4 bullets- Зосереджено на фазовому трансформаторі: усунення вузьких місць у колі одиниць.
- Моделі трансформаторів мають переосмислене навчання послідовності, але скалярний добуток власної уваги створює вузьке місце квадратичного змішування токенів для довгоконтекстних часових рядів.
- Кожен блок поєднує легкі фазові зсуви, які можна навчити, зі зв’язком токенів дискретного перетворення Фур’є (DFT) без параметрів, досягаючи глобального змішування \mathcal{O}(N\log N) без явних карт уваги.
- Цінність тут полягає не в одному заголовному показнику, а в тому, щоб зробити базову систему дешевшою, зрозумілішою або надійнішою в реальному використанні.
Чому це важливо
Цінність тут полягає не в одному заголовному показнику, а в тому, щоб зробити базову систему дешевшою, зрозумілішою або надійнішою в реальному використанні.
Builder takeaway
arXiv published this update in the Machine Learning lane. Use the original source for details, then compare it with related briefings before changing a roadmap, workflow, or production system.
Швидке читання
- Зосереджено на фазовому трансформаторі: усунення вузьких місць у колі одиниць.
- Моделі трансформаторів мають переосмислене навчання послідовності, але скалярний добуток власної уваги створює вузьке місце квадратичного змішування токенів для довгоконтекстних часових рядів.
- Кожен блок поєднує легкі фазові зсуви, які можна навчити, зі зв’язком токенів дискретного перетворення Фур’є (DFT) без параметрів, досягаючи глобального змішування \mathcal{O}(N\log N) без явних карт уваги.
Stay ahead with daily AI briefings
Follow the feed, share the briefing, or jump back into the archive.