Та сама геометрія, протилежний шум: представлення величин у трансформерах не мають скалярної мінливості
Зосереджено на тій самій геометрії, протилежному шумі: представлення величин у трансформерах не мають скалярної мінливості.
At a glance
- Source
- arXiv
- Published
- Apr 4, 2026
- Read time
- 1 min read
- Primary lane
- Natural Language Processing
Quick read
4 bullets- Зосереджено на тій самій геометрії, протилежному шумі: представлення величин у трансформерах не мають скалярної мінливості.
- Скалярна мінливість є ознакою біологічних систем величин, де репрезентаційний шум масштабується пропорційно.
- Ми виявили протилежне: репрезентаційна мінливість зменшувалася зі збільшенням величини, показуючи недостатність дистрибуційного навчання.
- Трансформери вивчають ту саму лог-компресивну геометрію чисел, що й мозок, але їхній шумовий профіль інвертований — часті токени менш зашумлені. Це показує, що дистрибуційне навчання саме по собі не може відтворити.
Чому це важливо
Трансформери вивчають ту саму лог-компресивну геометрію чисел, що й мозок, але їхній шумовий профіль інвертований — часті токени менш зашумлені. Це показує, що дистрибуційне навчання саме по собі не може відтворити.
Builder takeaway
arXiv published this update in the Natural Language Processing lane. Use the original source for details, then compare it with related briefings before changing a roadmap, workflow, or production system.
Швидке читання
- Зосереджено на тій самій геометрії, протилежному шумі: представлення величин у трансформерах не мають скалярної мінливості.
- Скалярна мінливість є ознакою біологічних систем величин, де репрезентаційний шум масштабується пропорційно.
- Ми виявили протилежне: репрезентаційна мінливість зменшувалася зі збільшенням величини, показуючи недостатність дистрибуційного навчання.
Stay ahead with daily AI briefings
Follow the feed, share the briefing, or jump back into the archive.