Infron · Motif 3 · 46문항 × 3회 · Python TAR. 131,072 output tokens · 기본 1,800초 · 6+1 turns. ACC는 전체 138회, Pass@1은 각 문항의 첫 유효 시도, Pass@3는 3회 내 정답으로 계산합니다.
Problem Statement
두 벡터 , 에 대하여 의 모든 성분의 합은?
① ② ③ ④ ⑤
최종 답은 선택지 번호 1~5 중 하나를 안에 쓰세요.
Ground Truth
3
Recorded model response / solution
Reasoning Process
Recorded Python call:
a = (4, 1)
b = (-1, -1)
sum_vec = (a[0] + b[0], a[1] + b[1])
component_sum = sum_vec[0] + sum_vec[1]
print("a + b =", sum_vec)
print("Sum of components:", component_sum)
Tool Output
Execution succeeded
a + b = (3, 0)
Sum of components: 3
Reasoning Process
. 모든 성분의 합은 이므로 정답은 ③입니다.
Final Model Output
3
Comparative Analysis (Pgeometry_23) (Average across runs)
Averages use reported measurements only. Missing usage is not treated as zero.
Avg Time Taken
MiMo V2.6 Pro
23.6
Union Alpha
17.6
Grok 4.7
8.7
Solar Pro 4
6.7
Motif 3
6.2
Muse Spark 1.3
5.6
DeepSeek V4.1 Flash
3.0
Solar Mini 4 Preview
0.8
Avg Token Usage
Grok 4.7
4,488
Muse Spark 1.3
2,952
Solar Pro 4
2,604
Motif 3
2,205
DeepSeek V4.1 Flash
2,067
MiMo V2.6 Pro
1,722
Union Alpha
1,529
Solar Mini 4 Preview
1,108