#遅延チャンキング

チャンキングしてからベクトル化するか、ベクトル化してからチャンキングするか ー Perplexity の遅延チャンキングを試してみる

RAGの根本的な課題である「チャンク間の文脈喪失」に対し、Perplexityが提供する遅延チャンキング（Late Chunking）が革新的な解決策をもたらします。従来は「先に分割→ベクトル化」でしたが、「先にベクトル化→分割」することで、Transformerのセルフアテンションが文書全体の文脈を保持したまま埋め込みを生成。pplx-embedファミリーを使った実験例を交えて、実装可能な形で解説しています。