ノイマン型以前の言語学がLLMに与えた「思想の設計図」を読み解く

AI要約

ソシュールの「差異の理論」やファースの「分布仮説」といった20世紀の言語学の思想が、LLMの設計にどう反映されているかを読み解きます。Embeddingは相対的な距離関係で意味を体現し、Self-Attentionは文脈依存性を計算し、次トークン予測の最適化から意味が副産物として出現します。チョムスキーとハリスの統計的アプローチをめぐる対立に、LLMが実装レベルで「決着をつけた」視点が秀逸です。