GPT-4.5関連の質問について

Created on April 17|Last edited on April 17
Comment
﻿
1. GPT-4.5の「論理的推論」についてMT-Bench Reasoningの比較: anthropic/claude-3.7-sonnet vs gpt-4.5-preview-2025-02-27
﻿
runs.summary["mtbench_output_table"]
 - 1 of 20
2
anthropic/claude-3.7-sonnet
gpt-4.5-preview-2025-02-27
1-2 of 2 
reasoning
1 of 2 
あなたが人々と一緒にレースをしていると想像してみてください。あなたがちょうど2番目の人を追い越したとしたら、あなたの現在の位置は何番目でしょうか？ あなたが追い越した人の位置はどこでしょうか？
あなたが人々と一緒にレースをしていると想像してみてください。あなたがちょうど2番目の人を追い越したとしたら、あなたの現在の位置は何番目でしょうか？ あなたが追い越した人の位置はどこでしょうか？
1-2 of 2 
この問題を考えてみましょう。

私がレースをしていて、「2番目の人」を追い越したとします。

「2番目の人」を追い越したということは、その人は追い越される前は2位でした。私が追い越した後、その人は私の後ろになるので3位になります。

そして私は、2位だった人を追い越したので、私は2位になります。

したがって：
- 私の現在の位置：2位
- 追い越した人の現在の位置：3位
あなたがちょうど2番目の人を追い越した場合、あなたの現在の位置は2番目です。  
あなたが追い越した人は、あなたに抜かれたことで3番目になります。
1-2 of 2 
1 of 2 
count
model_name
category
question
answer
judge
user_prompt
judgment
score
tstamp
sub_category
1
41
1
question_id
turn
Run set2
﻿
2. 回答の安定性について堅牢性は以下のように評価しております。質問の聞き方を変えた場合に回答が変わってしまう場合にスコアが下がります。
﻿
以下にGPT-4.5の実際の出力例を示します。
﻿
Run set1
﻿
﻿
Add a comment