BioNeMo Protein LLM Finetuning - 最高精度Run分析レポート
最も精度の高いrun（07xqc22b）の詳細分析と設定比較
Created on September 21|Last edited on September 21
Comment
BioNeMo Protein LLM Finetuning - 最高精度Run分析レポート
概要
BioNeMo_protein_LLM_finetuningプロジェクトにおいて、val_3state_accuracyが最も高いrun（07xqc22b）の詳細分析を行いました。
最高性能Run（07xqc22b）の結果
最終性能指標
- **Validation 3-State Accuracy**: **83.03%** 🎯
- **Test 3-State Accuracy**: **83.04%**
- **Validation Loss**: 0.108
- **Test Loss**: 0.108
学習の進行
- **総エポック数**: 20エポック
- **総ステップ数**: 1,240ステップ
- **実行時間**: 約19分
精度向上の軌跡
段階的な学習進展
1. **初期段階（エポック0-5）**: 35% → 56%
2. **中期段階（エポック6-12）**: 56% → 78%
3. **後期段階（エポック13-20）**: 78% → **83%**
学習率スケジューリング
- 初期学習率: 4.0e-07
- 最終学習率: 2.48e-05
- Warmup + Cosine Annealing方式を採用
他のRunとの設定比較
主要な違い
| 設定項目 | 最高精度Run | 他のRun |
|---------|------------|---------|
| **学習率** | **0.1** | 0.01-0.005 |
| **重み減衰** | **0.01** | 1.0-0.1 |
| **LoRAドロップアウト** | **0.3** | 0-0.3 |
成功要因の分析
#### 1. 高い学習率（0.1）
- 他のrunの10-20倍の学習率
- より積極的なパラメータ更新により、タスク固有の特徴を効率的に学習
#### 2. 適度な重み減衰（0.01）
- 過度な正則化を避けつつ、過学習を抑制
- 他のrun（1.0-0.1）と比較して適度な制約
#### 3. LoRAドロップアウト（0.3）
- 適度なドロップアウトにより汎化性能を向上
- 一部のrunでは0（ドロップアウトなし）だった
学習曲線の特徴
Lossの減少パターン
- 訓練loss: 初期0.27 → 最終0.14
- バリデーションloss: 初期0.22 → 最終0.11
- 両方とも滑らかに減少し、過学習の兆候なし
精度の向上パターン
- 初期から中期にかけて急激な向上
- 中期以降は緩やかだが着実な向上
- 最終段階で最高精度を達成
推奨事項
今後の実験に向けて
1. **学習率**: 0.1を基準として、0.05-0.2の範囲で探索
2. **重み減衰**: 0.01を基準として、0.001-0.1の範囲で調整
3. **LoRAドロップアウト**: 0.3を基準として、0.1-0.5の範囲で検証
追加検証項目
- より長い学習（25-30エポック）での性能
- 異なるバッチサイズでの影響
- データ拡張手法の効果
結論
Run 07xqc22bは、適切なハイパーパラメータ設定により、val_3state_accuracy 83.03%という優秀な性能を達成しました。特に高い学習率と適度な正則化の組み合わせが成功の鍵となっています。
Add a comment