Infron · Motif 3 · 46문항 × 3회 · Python TAR. 131,072 output tokens · 기본 1,800초 · 6+1 turns. ACC는 전체 138회, Pass@1은 각 문항의 첫 유효 시도, Pass@3는 3회 내 정답으로 계산합니다.
Problem Statement
의 값은?
① ② ③ ④ ⑤
최종 답은 선택지 번호 1~5 중 하나를 안에 쓰세요.
Ground Truth
4
Recorded model response / solution
Reasoning Process
Recorded Python call:
import mpmath as mp
f = lambda x: mp.sqrt(mp.sin(x) - mp.sin(x)**3)
print(mp.quad(f, [0, mp.pi/2]))
Tool Output
Execution succeeded
0.666666666666667
Reasoning Process
Let , so . Then
따라서 정답은 ④입니다.
Final Model Output
4
Comparative Analysis (Pcalculus_24) (Average across runs)
Averages use reported measurements only. Missing usage is not treated as zero.
Avg Time Taken
Solar Pro 4
35.5
MiMo V2.6 Pro
32.1
Union Alpha
28.6
Grok 4.7
16.2
Motif 3
14.9
Muse Spark 1.3
10.3
DeepSeek V4.1 Flash
4.9
Solar Mini 4 Preview
3.8
Avg Token Usage
Grok 4.7
7,674
Solar Pro 4
7,009
Motif 3
5,636
MiMo V2.6 Pro
4,422
Muse Spark 1.3
4,236
Union Alpha
4,000
Solar Mini 4 Preview
2,598
DeepSeek V4.1 Flash
2,508