Навчання трансформерів у просторі косинусних коефіцієнтів
Зосереджено на навчанні трансформерів у просторі косинусних коефіцієнтів.
At a glance
- Source
- arXiv
- Published
- Apr 5, 2026
- Read time
- 1 min read
- Primary lane
- Performance
Quick read
4 bullets- Зосереджено на навчанні трансформерів у просторі косинусних коефіцієнтів.
- Ми параметризуємо матриці ваг трансформера в 2D-області дискретного косинусного перетворення, зберігаючи лише низькочастотні коефіцієнти.
- Метод досягає тієї ж перплексії при зберіганні 52% параметрів, без архітектурних змін.
- Спектральна параметризація, що вдвічі зменшує зберігання ваг трансформера без архітектурних змін або попередньо навченого чекпоінта — це готова до використання перевага компресії, яку варто перевірити на більших моделях.
Чому це важливо
Спектральна параметризація, що вдвічі зменшує зберігання ваг трансформера без архітектурних змін або попередньо навченого чекпоінта — це готова до використання перевага компресії, яку варто перевірити на більших моделях.
Builder takeaway
arXiv published this update in the Performance lane. Use the original source for details, then compare it with related briefings before changing a roadmap, workflow, or production system.
Швидке читання
- Зосереджено на навчанні трансформерів у просторі косинусних коефіцієнтів.
- Ми параметризуємо матриці ваг трансформера в 2D-області дискретного косинусного перетворення, зберігаючи лише низькочастотні коефіцієнти.
- Метод досягає тієї ж перплексії при зберіганні 52% параметрів, без архітектурних змін.
Stay ahead with daily AI briefings
Follow the feed, share the briefing, or jump back into the archive.