松尾研LLMコンペ2025 アドバンスド参戦記 — 100+モデル作って学んだこと
AI要約
松尾研LLMコンペで100以上のモデルを試行錯誤した実験レポートです。効いた施策はハイパーパラメータ探索(LoRA rank=32が最適)、Instruction Masking、フォーマット統一など。重要な失敗知見として「eval_lossは性能を予測しない」「rankは大きいほど良くない」「モデルマージは万能ではない」を実証。実装者にとって即座に応用できる、生の知識が詰まっています。
AI要約
松尾研LLMコンペで100以上のモデルを試行錯誤した実験レポートです。効いた施策はハイパーパラメータ探索(LoRA rank=32が最適)、Instruction Masking、フォーマット統一など。重要な失敗知見として「eval_lossは性能を予測しない」「rankは大きいほど良くない」「モデルマージは万能ではない」を実証。実装者にとって即座に応用できる、生の知識が詰まっています。



Claude CodeとGoogle Colabで衛星画像分類に挑戦し、EuroSATデータセット上でResNet50が97.84%の精度を達成した実装記です。衛星画像特有のAugmentation(回転・反転)や2段階ファインチューニング、Grad-CAMによる注目領域の可視化まで、手を動かしながら画像分類の実装ノウハウを学べます。シリーズ5弾目として、時系列予測から画像分類への領域拡張の道筋も示しており、CNNとドメイン固有の工夫の組み合わせが体感できます。