2017年の「Attention Is All You Need」論文がAI業界の起源であること、その著者たちが現在のOpenAIやGoogleなど各社を牽引していることを再発見できる一冊です。本は四則演算から始まり、行列・ベクトル・ニューラルネットワーク・Transformerへと段階的に解説。特にエンベディングで「意味」をベクトル化する仕組みが腑に落ちます。ChatGPTの動作原理を数式ではなく直感的に理解したいエンジニアに最適です。
GPT-5ではTransformerのAttention機構が線形化・階層化され、Mixture of Expertsで専門家AIを動的選択します。文脈保持が数万から数百万トークンに拡張され、マルチモーダル統合で音声・画像・動画を統一的に処理。これにより、Copilotは長文の議事録理解・会議音声からのスライド自動生成・タスク最適化など、単なる補助ツールから実践的パートナーへ進化しました。