로컬 LLM이 실무에 쓸 만한 시대, 직접 만든 추론 모델로 증명하다

Sebastian Raschka · ML 연구자, 저자 (Python ML, LLM From Scratch) · 2026.06.21 ~ 07.05 큐레이션

Sebastian Raschka가 최근 두 가지 흐름에 집중하고 있어요. 하나는 18개월간의 집필 끝에 완성한 추론 모델 구현 도서의 출간이고, 다른 하나는 로컬 오픈소스 LLM(거대 언어 모델)이 이제 실제 업무에 투입할 수 있을 만큼 성숙해졌다는 관찰이에요. 두 주제 모두 “직접 만들고 직접 실험해보라”는 그의 철학과 맞닿아 있어요.

18개월의 결실 — 추론 모델을 처음부터 구현하는 책

After 18 months of writing, coding, and experimenting, Build a Reasoning Model (From Scratch) is finally out! My first copies just arrived! 📚 440 full-color pages. Inference scaling, reinforcement learning, and distillation from scratch.

^[1]

『Build a Reasoning Model (From Scratch)』는 추론 모델의 핵심 기술인 인퍼런스 스케일링(inference scaling), 강화학습(reinforcement learning), 지식 증류(distillation)를 코드와 함께 처음부터 다뤄요. 440페이지 풀컬러 구성으로, 이전작 『LLM From Scratch』의 연장선에서 추론 능력에 특화된 모델 구현을 목표로 해요. 이론서가 아닌 코딩 중심의 실습서라는 점이 그의 시리즈 전반에 걸친 특징이에요.

로컬 LLM, 이제 실무에 쓸 수 있을까 — 직접 테스트한 결과

30B Mixture-of-Expert models are kind of a nice sweet spot and can solve challenging problems. And they get roughly 40 tok/sec on a Mac or DGX Spark, which is similar to GPT 5.5 in a Pro subscription and totally useable for everyday work. More interesting is also the harness choice! Claude Code seems to be using 2x many tokens as Codex.

^[2]

30B 규모의 MoE(Mixture-of-Experts) 모델이 Mac이나 DGX Spark에서 초당 약 40토큰을 처리하며 GPT-4.5 Pro 구독과 유사한 속도를 낸다는 실측 결과예요. 클라우드 서비스 없이 로컬에서 코딩 에이전트를 구동할 수 있다는 의미이고, 어떤 하네스(harness — 모델을 연결해 실제 작업을 수행하게 하는 환경)를 쓰느냐에 따라 토큰 소비량이 두 배까지 차이 난다는 점도 중요한 실무 변수예요. 이어서 공개한 아티클에서는 RAM 사용량, 처리 속도, 툴 콜링 능력, 실제 코딩 태스크 성능을 기준으로 로컬 LLM을 선택하는 체크리스트도 정리했어요.^[3]

Raschka의 행보는 “쓸 만한지 직접 확인하고, 원리까지 직접 구현해보자”는 태도로 일관돼요. 추론 모델이나 로컬 LLM 모두 이제 구경하는 대상이 아니라 손에 쥐고 실험할 수 있는 도구가 됐다는 메시지예요.

📚 출처 (Sources)

1. [1]@rasbt on 𝕏 · 2026-06-30 — “After 18 months of writing, coding, and experimenting, Build a Reasoning Model (From Scrat…”
2. [2]@rasbt on 𝕏 · 2026-06-26 — “Have been taking different local open-weight LLMs for a test drive in different harnesses …”
3. [3]@rasbt on 𝕏 · 2026-06-27 — “I put together a new article on setting up local coding agents with open-weight models. Ev…”

본 글은 Sebastian Raschka(@rasbt)이(가) 지난 14일간 X(트위터)에 올린 게시물 중 3건을 인용해
Claude(Anthropic)가 한국어로 큐레이션·해설한 것입니다. 원문 저작권은 작성자에게 있으며,
출처 목록의 [n] 번호 또는 본문 내 [n] 표시를 누르면 원문 트윗으로 이동합니다.