アプリケーション開発

アプリケーション開発能力と安全性評価を強化し、実用的なLLM選定を支援

Yuya Yamamoto, Kei Kamata, Kotaro Yamamoto, Taichi Ibi, Kazuki Kurosawa, Hyunwoo Oh, Koshiro Murakami, chengwei gu, Richard Song, Akira Shibata

Created on August 26|Last edited on August 26

Comment

﻿
コーディング (coding)SWE-Bench Verified, HumanEval‑ja, MT-bench（coding）
﻿
📋 カテゴリ別リーダーボード
runs.summary["subcategory_table_coding"]
 - 24 of 59
jhumaneval_score
coding_mtbench
AVG
55
6
46
9
17
51
run.name
swebench_resolution_rate
Run set59
﻿
﻿
関数呼び出し (function calling)BFCL
﻿
Run set59
﻿
﻿
﻿
﻿

Add a comment