LLM 추론 비용과 성능, ‘노력 수준(Effort Level)’ 설정이 핵심이다

Sebastian Raschka · ML 연구자, 저자 (Python ML, LLM From Scratch) · 2026.07.05 ~ 07.26 큐레이션

AI 모델을 쓸 때 “어떤 모델을 고를까”만큼 중요한 질문이 있어요. 바로 “얼마나 생각하게 할까”입니다. Sebastian Raschka는 최근 LLM의 추론 노력 수준(effort level) 설정이 성능과 비용을 동시에 좌우한다는 점에 집중하며, 실용적인 모델 선택 가이드를 잇달아 공유했어요.

모델 이름보다 ‘노력 수준’ 설정이 더 중요하다

For agentic coding, one can say:

– Unless you need Terra Ultra perf, it’s always better to use a Luna model with higher effort setting (same or better performance but cheaper).

– Forget everything below Sol High, use Luna with higher effort settings here

– Forget Sol Extra High, use Terra Ultra here

– The extra cost of Sol Ultra is probably not worth it over Max

^[1]

에이전틱 코딩(AI가 스스로 작업을 수행하는 방식) 환경에서, 고급 모델을 낮은 노력 수준으로 쓰는 것보다 중간 모델을 높은 노력 수준으로 쓰는 게 더 효율적일 수 있다는 분석이에요. 즉, 모델 티어를 올리는 것보다 effort 설정을 높이는 편이 비용 대비 성능에서 유리하다는 거예요. Sol Ultra처럼 최상위 모델의 추가 비용은 실질적인 성능 향상으로 이어지지 않을 수 있다고도 짚었어요.

이와 관련해, GPT-5.6 계열에서 2가지 모드(Codex/Work), 3가지 모델(Sol·Terra·Luna), 5가지 노력 수준(Light~Ultra)을 조합하면 무려 30가지 설정이 나온다는 점도 지적했어요.^[3] “Auto 모드는 어디 갔나”라는 말에서, 선택지가 많아질수록 오히려 사용자 혼란이 커진다는 현실적인 고민이 담겨 있어요.

LLM은 어떻게 ‘생각의 깊이’를 조절하는가

How can an LLM switch between low-, medium-, and high-effort reasoning? And how does an LLM learn to reason more or less?

I put together a “little” article explaining how these effort levels are implemented at inference time and during training.

^[2]

단순히 설정값을 바꾸는 것처럼 보이는 effort level이 실제로는 추론(inference) 단계와 훈련(training) 단계 모두에서 구현된다는 내용을 상세 아티클로 정리했어요. LLM이 ‘덜 생각하기’와 ‘더 생각하기’를 어떻게 학습하는지를 다루는 글로, 모델 내부 작동 원리에 관심 있는 독자라면 주목할 만해요. 또한 신규 아키텍처인 Thinky의 Inkling 모델이 컨볼루션 레이어, RMSNorm, RoPE 대신 상대적 위치 편향(Relative Position Bias)을 채택했다는 점도 흥미로운 변화로 소개했어요.^[4]

Raschka의 관심은 일관되게 “어떻게 하면 더 적은 비용으로 더 좋은 추론을 끌어낼 수 있는가”로 향해 있어요. 모델 선택의 기준이 브랜드나 파라미터 수에서 ‘노력 수준 설계’로 이동하고 있다는 신호를 포착한 것이죠.

📚 출처 (Sources)

1. [1]@rasbt on 𝕏 · 2026-07-10 — “For agentic coding, one can say:

   – Unless you need Terra Ultra perf, it’s always better t…”

2. [2]@rasbt on 𝕏 · 2026-07-18 — “How can an LLM switch between low-, medium-, and high-effort reasoning? And how does an LL…”
3. [3]@rasbt on 𝕏 · 2026-07-09 — “I like choices… but now I have:

   2x modes (Codex vs. Work mode)
   3x GPT-5.6 models (Sol, …”

4. [4]@rasbt on 𝕏 · 2026-07-15 — “Interesting surprise drop from Thinky! The Inkling model looks pretty solid on benchmarks,…”

본 글은 Sebastian Raschka(@rasbt)이(가) 지난 14일간 X(트위터)에 올린 게시물 중 4건을 인용해
Claude(Anthropic)가 한국어로 큐레이션·해설한 것입니다. 원문 저작권은 작성자에게 있으며,
출처 목록의 [n] 번호 또는 본문 내 [n] 표시를 누르면 원문 트윗으로 이동합니다.