#自然言語処理

4件の記事

生成AIはお笑いの面白さを理解できるのか、お笑い評価モデルの実装と数値化できるかを検証してみた

お笑いの面白さをAIで定量化できるのかを検証した興味深い実験です。音声解析・自然言語処理・生成AIを組み合わせ、構成・テンポ・言葉の面白さなど5つの指標でSIer漫才を採点。AIは人間の審査員を置き換えるのではなく、ネタ作りのフィードバックツールとして活用できる可能性を示しています。実装の詳細と採点結果が含まれています。

#LLM #自然言語処理 #プロンプトエンジニアリング

記事を読む →

🧠

Zenn4月2日· 2分で読める上級🔥 注目

# 青空文庫11冊でLLMをゼロから作ったら、意外と日本語を喋った話

青空文庫11冊（約104万文字）でLLMを実装したら、5時間で動く日本語生成モデルが完成しました。Transformerアーキテクチャ・数百万パラメータという超ミニチュア版でも、意味は不完全でも文法的に正しい日本語を生成します。Claude Codeを活用した実装過程と、Self-Attention・Position Embeddingなど必須コンポーネントの仕組みをコード付きで解説。「次の文字を予測し続けるシステム」という本質を体感できます。

#LLM #Transformer #AI駆動開発

記事を読む →

📚

Qiita3月16日· 2分で読める中級🔥 注目

なぜ「AIにたくさん読ませる」だけでは足りないのか ─ 出版現場の問いから生まれた「参照可能性」の実証（NLP2026）

RAG時代では、AIに「大量のテキストを読ませる」だけでは不十分です。出版現場から生まれたこの研究は、自由文より構造化メタデータがRAG検索で圧倒的に優位であることを実証しました。321エピソードの「嫉妬AI辞書」を用いた実験で、25項目のメタデータ設計がAIの参照性能を大幅に向上させます。AIは「読書」ではなく「索引引き」をしており、データ設計原理が根本的に異なることを示す重要な知見です。

#RAG #言語資源設計 #構造化データ

記事を読む →

📰

Zenn3月6日· 2分で読める中級

無料の日本語形態素解析ライブラリ比較：クラウド運用・辞書学習・機械学習との組み合わせまで

日本語形態素解析ライブラリ5種を実務的に比較した記事です。クラウド運用ではSudachiPyが最適、AWS Lambdaではjanomeが最速、大量処理ではMeCabが向くなど、環境別の使い分けを具体表で示しています。さらに精度向上を「辞書追加→コスト調整→ハイブリッド→再学習」の4段階で段階的に説明し、LLM APIとの使い分けも解説。実装者が実際の選択に迷わないよう設計された、実用的なガイドです。

#自然言語処理 #技術・実装 #Python

記事を読む →