opus 5 벤치

- Opus 5 수능, 미로 벤치 Fable 따잇

1. 수능

https://hehee9.github.io/2026-CSAT/ 또는 https://github.com/hehee9/2026-CSAT 에서 세부 내용 확인 가능

일반 모드: 1문제씩 풀이 미측정. 고난도 모드도 비슷비슷한데 굳이 일반 모드를 측정할 가치가 없는 듯 함

고난도 모드: 1과목씩 풀이

※ Claude Opus 5는 지식 컷오프가 수능 시행 이후임

고난도 모드

다행히도 이번에는 Fable마냥 검열 때문에 못 푸는 일어나지 않았음

Fable이 검열 당한 과목을 제외하고 비교하면

Fable이 Opus보다 더 높게 나옴

추론을 꺼도 결국 그냥 일반 출력에서 추론을 하고 있어서 토큰 사용량에 큰 차이는 없음

Opus 4.8보다는 토큰을 덜 썼지만 Fable, GPT보다는 많이 사용했음

450점으로 변환하지 않은 총점은 추론/비추론 모두 613점이지만, 틀린 게 공통 영역이냐 선택 과목이냐 때문에 환산 점수에서 차이가 발생함

===========================

2. 미로 벤치

Maze Bench — Visual Maze-Solving Benchmark

Compare LLMs on visual maze solving with an interactive leaderboard, cost analysis, and replayable results.

hehee9.github.io

https://hehee9.github.io/maze-bench/ 또는 https://github.com/hehee9/maze-bench 에서 세부 내용 확인 가능

미로를 탈출하되, 이미지만 보고 풀이 + 미로 내의 사람 입장에서 이동 방향을 설정해야 하는 시각 + 연속적 추론 문제임

Opus 4.8 (29.88%) -> Opus 5 (50.86%)로 무려 +21%p 정도 상승했음

다만 수능과 달리 토큰 사용량도 늘었음

쉬움(4x4, 6x6)

4x4는 만점이지만 6x6에서 Fable보다 감점이 커서 3위

그래도 Opus 4.8에 비하면 꽤 올랐음

보통 (9x9, 12x12)

Kimi K3를 제치고 큰 차이로 2위까지 올라왔음

1위가 병렬 추론인 Pro 모델인 걸 감안하면 실질적 1위라고 봐도 무방할 정도

12x12 사이즈 4번 문제는 전 모델 중 Opus 5만 유일하게 해결했음

https://hehee9.github.io/maze-bench/public/index.html?size=12x12&maze=maze_12x12_opposite_04&model=Claude+Opus+5+%28medium%29

Maze Bench Replay — Compare Model Maze-Solving Paths

Replay and compare how LLMs navigate visual mazes, including optimal paths, movement logs, and outcomes.

hehee9.github.io

하지만 가장 효율적인 경로는 아님

어려움 (15x15, 18x18)

여기서는 갑자기 훅 떨어짐

Opus 4.8, Opus 5, Fable 5가 다 오차 범위에 들어올 정도로

그런데 토큰 사용량을 보면 알겠지만 클로드 특유의 끈기 부족이 문제인 듯 함

쉬움보다도 토큰 사용량이 적을 정도로 생각을 조금 했거든

미로 사이즈별로 보면 위와 같음

현재 비용-성적 그래프에서 유일하게 녹색 영역에 올라온 모델이기도 함

벤치마크 보면 추론 강도가 낮을 때와 높을 때의 차이가 클 것 같긴 한데 비용이 무서워서 못 돌리겠음

궁금한 사람은 테스트 툴도 다 배포했으니 직접 돌려봐

- (앤트로픽) 클로드 오푸스5 벤치 모음

아래는 더 많은 벤치들, 더 자세하게 추론 설정 별로 나온 거 모음

- 특갤벤치) 오푸스5 밈벤치 모음집2

- ARC-AGI "오푸스5는 지금껏 발견 되지 않은 새로운 능력을 보였다"

 

ARC Prize - Leaderboard

The ARC-AGI Leaderboard.

arcprize.org

🔥 실시간 네티즌 베스트 반응

• 봄바다ㅁㅊ
• 띠리리개쩔긴하네
• ㅇㅇ1뭐냐?ㅁ친
• ㅇㅇ벤치만 보면 진짜 좋네??
• 우마이아????? 벤치 지리네
• RDG가성비 뭐임
• 신화망상벤치는 진짜 좋네
• ㅇㅇㅇ지리네
• 8비트양자화와 성능 향상폭 뭐지
• ㅇㅇ2대상혁
• ㅇㅇ난리
• ㅇㅇAI로 보기 좋게 정리해서 올려 X발아
• ㅇㅇ노미현은 2031년 AI로 부활한다
• ㅇㅇopus 5 일베 용어에요 쓰지 마새요
• ㅇㅇ뉴무현 테스트 어디?
• ㅇㅇ와 대단하다 이제 특이점 오는거야??
• ㅇㅇGpt 결제 취소함 ㅋㅋㅋ
• ㅇㅇ계산 쪽은 모르겠고 논리적 답변 요구 시켜보면 클로드랑 gpt가 딴거 대비로는 잘 하더라 근데 잘 한다고 해도 구멍투성이고 거론된 항목중에 x번 항목이 그 주장을 반박하고 있다고 말하면 애가 고장나기 시작함
• oo이런 멍청이 글 쓸 시간에 비트코인 100개만 모았으면...
• ㅇㅇX로드자식 너무비싼거 아니노? 프로모션이라도 좀 낭낭하게 하던가