#GPT-3

【GPTモデル】改めて振り返るLLMの歴史

GPTモデルの進化をたどると、LLMの本質が見えてきます。GPT-1の「事前学習+微調整」という概念から始まり、パラメータ数が15億から1750億へと100倍以上に増えたGPT-3で「Few-shotラーニング」という創発能力が突然現れました。しかしGPT-3は有害発言など会話として破綻しやすく、RLHFで人間フィードバックを組み込み、誰でも無料で使えるUIで公開したChatGPTが2022年に爆発的に広がった経緯を丁寧に解説しています。技術進化の背景にある意思決定とトレードオフを理解できる読み物です。