Sebastian Raschka

Sebastian Raschka가 최근 두 가지 흐름에 집중하고 있어요. 하나는 18개월간의 집필 끝에 완성한 추론 모델 구현 도서의 출간이고, 다른 하나는 로컬 오픈소스 LLM(거대 언어 모델)이 이제 실제 업무에 투입할 수 있을 만큼 성숙해졌다는 관찰이에요. 두 주제 모두 “직접 만들고 직접 실험해보라”는 그의 철학과 맞닿아 있어요.

18개월의 결실 — 추론 모델을 처음부터 구현하는 책

After 18 months of writing, coding, and experimenting, Build a Reasoning Model (From Scratch) is finally out! My first copies just arrived! 📚 440 full-color pages. Inference scaling, reinforcement learning, and distillation from scratch.

^[1]

『Build a Reasoning Model (From Scratch)』는 추론 모델의 핵심 기술인 인퍼런스 스케일링(inference scaling), 강화학습(reinforcement learning), 지식 증류(distillation)를 코드와 함께 처음부터 다뤄요. 440페이지 풀컬러 구성으로, 이전작 『LLM From Scratch』의 연장선에서 추론 능력에 특화된 모델 구현을 목표로 해요. 이론서가 아닌 코딩 중심의 실습서라는 점이 그의 시리즈 전반에 걸친 특징이에요.

로컬 LLM, 이제 실무에 쓸 수 있을까 — 직접 테스트한 결과

30B Mixture-of-Expert models are kind of a nice sweet spot and can solve challenging problems. And they get roughly 40 tok/sec on a Mac or DGX Spark, which is similar to GPT 5.5 in a Pro subscription and totally useable for everyday work. More interesting is also the harness choice! Claude Code seems to be using 2x many tokens as Codex.

^[2]

30B 규모의 MoE(Mixture-of-Experts) 모델이 Mac이나 DGX Spark에서 초당 약 40토큰을 처리하며 GPT-4.5 Pro 구독과 유사한 속도를 낸다는 실측 결과예요. 클라우드 서비스 없이 로컬에서 코딩 에이전트를 구동할 수 있다는 의미이고, 어떤 하네스(harness — 모델을 연결해 실제 작업을 수행하게 하는 환경)를 쓰느냐에 따라 토큰 소비량이 두 배까지 차이 난다는 점도 중요한 실무 변수예요. 이어서 공개한 아티클에서는 RAM 사용량, 처리 속도, 툴 콜링 능력, 실제 코딩 태스크 성능을 기준으로 로컬 LLM을 선택하는 체크리스트도 정리했어요.^[3]

Raschka의 행보는 “쓸 만한지 직접 확인하고, 원리까지 직접 구현해보자”는 태도로 일관돼요. 추론 모델이나 로컬 LLM 모두 이제 구경하는 대상이 아니라 손에 쥐고 실험할 수 있는 도구가 됐다는 메시지예요.

📚 출처 (Sources)

1. [1]@rasbt on 𝕏 · 2026-06-30 — “After 18 months of writing, coding, and experimenting, Build a Reasoning Model (From Scrat…”
2. [2]@rasbt on 𝕏 · 2026-06-26 — “Have been taking different local open-weight LLMs for a test drive in different harnesses …”
3. [3]@rasbt on 𝕏 · 2026-06-27 — “I put together a new article on setting up local coding agents with open-weight models. Ev…”

최근 오픈 웨이트(공개 가중치) LLM(거대 언어 모델) 시장에서 눈에 띄는 흐름이 포착되고 있어요. GLM-5.2, VibeCoder, Cohere의 신규 모델까지 — 서로 다른 팀이 만든 모델들이 놀랍도록 비슷한 설계 선택을 하고 있고, 그 바탕에는 몇 가지 공통된 원칙이 있어요.

효율적인 어텐션(Attention) 구조가 새 표준이 되고 있어요

Just caught up with the recent GLM-5.2 release. The best open-weight model today.

Architecture-wise, it’s build on the GLM-5 and GLM-5.1 architecture… What’s new is that they added an IndexShare mechanism. (That’s a cross-layer reuse trick for DSA where instead of recomputing the sparse-attention top-k indexer in every layer, GLM-5.2 runs the full indexer only once every four layers and lets the following layers reuse those selected token indices. This keeps the same DSA idea but makes 1M-token inference much cheaper.)

^[1]

GLM-5.2는 DeepSeek V3.2에서 온 MLA(Multi-head Latent Attention)와 DSA(DeepSeek Sparse Attention)를 그대로 채택한 위에, 새롭게 IndexShare 메커니즘을 추가했어요. 4개 레이어마다 한 번만 희소 어텐션 인덱서를 계산하고 나머지 레이어는 재사용하는 방식으로, 100만 토큰 길이의 추론 비용을 대폭 낮췄어요. 라슈카(Sebastian Raschka)는 이를 “현재 최고의 오픈 웨이트 모델”로 평가했어요.

한편 기술 발전의 계보도 눈여겨볼 만해요.

Always back to the basics: LatentMoE was probably inspired by MLA, which was inspired by LoRA, which was inspired by SVD, which was inspired by eigendecomposition.

^[2]

LatentMoE → MLA → LoRA → SVD → 고유값 분해(eigendecomposition)로 이어지는 계보를 짚으며, 최신 아키텍처 혁신도 결국 수십 년 된 수학적 기초 위에 서 있다는 점을 상기시켜줘요.

포스트 트레이닝(Post-training) 전략이 모델 성능을 가른다

Crazy model! It actually uses the old Qwen2.5-Coder-3B stack and got really great performance with their post-training stack… 6. MGPO (MaxEnt-Guided Policy Optimization) for RLVR: basically a GRPO-style RL method with an extra weighting that favors examples that are neither too easy nor too hard for the current policy

^[3]

VibeCoder는 오래된 Qwen2.5-Coder-3B 베이스 모델을 사용했음에도 뛰어난 성능을 보였어요. 고품질 합성 데이터, 다중 추론 경로, 2단계 SFT(지도 미세 조정), 그리고 MGPO라는 강화학습 기법 등 9단계에 걸친 포스트 트레이닝 파이프라인 덕분이에요. 기반 모델의 크기보다 훈련 이후 과정의 설계가 얼마나 중요한지를 잘 보여주는 사례예요.

Cohere의 30B 에이전틱(agentic) 코딩 모델도 같은 맥락에서 주목받았어요. 단순한 코드 생성이 아니라 터미널 조작, 파일 탐색, 테스트 실행까지 포함한 실제 워크플로우 환경에서의 평가를 중심에 뒀다는 점이 차별점이에요. ^[4]

라슈카의 관찰을 종합하면, 오픈 모델 경쟁의 초점이 단순히 “얼마나 큰 모델인가”에서 “어떻게 효율적으로 설계하고 훈련하는가”로 옮겨가고 있어요. 아키텍처 혁신과 정교한 포스트 트레이닝, 이 두 축이 앞으로의 모델 품질을 결정할 거예요.

📚 출처 (Sources)

1. [1]@rasbt on 𝕏 · 2026-06-18 — “Just caught up with the recent GLM-5.2 release. The best open-weight model today.

   Archite…”

2. [2]@rasbt on 𝕏 · 2026-06-09 — “Always back to the basics:
   LatentMoE was probably inspired by MLA, which was inspired by …”
3. [3]@rasbt on 𝕏 · 2026-06-17 — “Crazy model! It actually uses the old Qwen2.5-Coder-3B stack and got really great performa…”
4. [4]@rasbt on 𝕏 · 2026-06-13 — “Cool new open-weight model by Cohere: a new lightweight 30B open-weight model for agentic …”

컨슈머 하드웨어에서 돌아가는 오픈웨이트 LLM(공개 가중치 대형 언어 모델) 생태계가 빠르게 성숙하고 있어요. Sebastian Raschka는 최근 MiniMax M2 기술 보고서를 직접 정리하고, Nemotron 3 Ultra 출시 소식도 소개하며 오픈소스 LLM 설계의 핵심 논쟁 지점들을 짚었어요.

효율적인 어텐션은 왜 실제 배포에서 발목을 잡나

They found that linear and sparse attention are attractive on paper because they reduce the cost of long-context attention, but they are harder to make work well in a production agent system. In particular, they found that these efficient attention variants may be more fragile when KV-like state or intermediate memory is stored in lower precision. Also, they have worse prefix caching support, which matters a lot when using coding agents (which reuse a lot of the context).

^[1]

슬라이딩 윈도우 어텐션이나 선형 어텐션은 이론상 긴 컨텍스트 처리 비용을 낮춰줘요. 하지만 MiniMax M2 팀은 실제 에이전트 시스템에서 이 방식이 생각보다 까다롭다는 걸 발견했어요. 낮은 정밀도로 중간 상태를 저장할 때 불안정해지고, 코딩 에이전트처럼 컨텍스트를 많이 재사용하는 환경에서는 프리픽스 캐싱 지원도 부족하다는 점이 결정적인 약점이었어요.

더 잘게 쪼갠 전문가 모델이 성능을 끌어올린다

Concretely, they compare a baseline with 32 experts and top-2 routing against a fine-grained setup with 128 experts and top-8 routing. The fine-grained setup improves MATH from 19.6 to 24.1 and HumanEval from 29.7 to 32.5. That’s clearly a win for more fine-grained experts (confirming what the DeepSeek MoE paper reported ~2 years ago).

^[1]

MoE(혼합 전문가 모델) 설계에서 전문가 수를 32개에서 128개로 늘리자 수학과 코딩 벤치마크 모두에서 눈에 띄는 성능 향상이 나타났어요. Raschka는 이게 약 2년 전 DeepSeek MoE 논문의 결론을 다시 한번 확인해주는 결과라고 짚었어요. 더불어 Nemotron 3 Ultra 역시 Mamba-2 어텐션 하이브리드 구조와 LatentMoE를 앞세워 뛰어난 성능 대비 효율비를 달성했다고 소개했어요. ^[2]

오픈웨이트 LLM 설계에서 ‘효율’과 ‘안정성’은 여전히 팽팽한 긴장 관계에 있어요. Raschka의 정리는 논문의 결론보다 실제 배포 현장의 트레이드오프를 직시하는 것이 더 중요하다는 점을 일깨워줘요.

📚 출처 (Sources)

1. [1]@rasbt on 𝕏 · 2026-05-27 — “The MiniMax M2 series was one of the most widely used open-weight LLM series earlier this …”
2. [2]@rasbt on 𝕏 · 2026-06-04 — “And another open-weight release. Nemotron 3 Ultra has an ultra impressive capability:effic…”

최근 LLM(거대 언어 모델) 아키텍처 경쟁이 어텐션(Attention) 메커니즘의 효율화를 중심으로 빠르게 전개되고 있어요. Gemma 4부터 DeepSeek V4까지, 주요 오픈웨이트 모델들이 저마다 독특한 구조적 실험을 내놓으며 ‘더 긴 문맥을 더 적은 비용으로’라는 목표를 향해 수렴하는 양상입니다.

최신 LLM 구조의 공통 흐름: 어텐션을 줄이고 처리량을 높여라

New article: a visual tour of recent LLM architecture advances, from Gemma 4 to DeepSeek V4. I focus on long-context efficiency tweaks like KV sharing, per-layer embeddings, layer-wise attention budgets, compressed attention, and mHC.

^[1]

Sebastian Raschka가 직접 작성한 아티클에서는 KV 공유, 레이어별 임베딩, 압축 어텐션 등 긴 문맥 처리를 위한 효율화 기법들을 시각적으로 정리했어요. 단순한 성능 비교를 넘어, 각 모델이 왜 그런 구조적 선택을 했는지 동기까지 짚어줍니다. Cmd-A 기술 보고서에서 언급된 병렬 블록 설계처럼, 성능은 유지하면서 처리량을 크게 높이는 방향이 대세로 자리 잡고 있어요.^[4]

어텐션 수정 방식 중에서도 주목할 만한 접근이 있어요. 훈련 대부분의 과정에서 변형된 어텐션을 사용하다가 마지막에 표준 어텐션으로 전환해도 전체 어텐션을 쓴 것과 거의 동일한 성능을 회복할 수 있다는 연구 결과인데요.

What I like about this is that it is a relatively low-commitment attention modification. I.e., one can use it during most of training, switch back to vanilla attention near the end, and recover roughly the same modeling performance as if full attention had been used the whole time.

^[2]

이 논문이 흥미로운 이유는 ‘되돌릴 수 있는 유연성’ 때문이에요. 어텐션 구조 실험의 리스크를 크게 낮춰주는 접근으로, 연구자들에게 실질적인 선택지를 열어준다는 점에서 의미가 있어요.

처음부터 구현하는 것이 주는 통찰, 그리고 DeepSeek의 위치

Added a DeepSeek Sparse Attention (DSA) from-scratch implementation to my LLMs-from-scratch repo thanks to an awesome new reader contrib. With motivation, overview, and GPT-style model reference implementation as standalone example code.

^[3]

LLMs-from-scratch 저장소에 DeepSeek 희소 어텐션(Sparse Attention) 구현이 추가됐어요. 독자 기여로 완성된 이 예제는 동기 설명부터 GPT 스타일 참조 구현까지 포함해, 개념을 코드로 직접 확인하고 싶은 사람에게 유용한 자료예요. 처음부터 구현해 보는 것이 아키텍처를 깊이 이해하는 가장 확실한 방법이라는 그의 철학이 잘 드러나는 사례이기도 해요.^[5]

한편 DeepSeek는 여전히 활성 파라미터 비율(active-parameter ratio) 면에서 독보적인 위치를 유지하고 있어요.^[6] Gated DeltaNet-2처럼 하이브리드 어텐션 구조도 빠르게 진화하는 상황에서, 어떤 구조적 선택이 다음 세대 모델의 표준이 될지를 꼼꼼하게 추적하는 그의 시선이 이 시기 특히 가치 있어 보여요.

📚 출처 (Sources)

1. [1]@rasbt on 𝕏 · 2026-05-16 — “New article: a visual tour of recent LLM architecture advances, from Gemma 4 to DeepSeek V…”
2. [2]@rasbt on 𝕏 · 2026-05-13 — “Interesting paper. What I like about this is that it is a relatively low-commitment attent…”
3. [3]@rasbt on 𝕏 · 2026-05-23 — “Added a DeepSeek Sparse Attention (DSA) from-scratch implementation to my LLMs-from-scratc…”
4. [4]@rasbt on 𝕏 · 2026-05-20 — “It’s been *almost* a bit quiet around LLM architecture releases in the past two weeks 😅

   I…”

5. [5]@rasbt on 𝕏 · 2026-05-13 — “A little talk on what we can learn from implementing LLM architectures from scratch in Pyt…”
6. [6]@rasbt on 𝕏 · 2026-05-14 — “Meta observation: DeepSeek is still king of the active-parameter ratio”

오픈소스 LLM(거대 언어 모델) 생태계가 빠르게 재편되고 있어요. 새로운 플래그십 모델의 등장, 아키텍처 정보를 한데 모은 갤러리 업데이트, 그리고 파인튜닝(fine-tuning) 기법의 새 연구까지 — 짧은 기간 동안 주목할 만한 흐름이 한꺼번에 등장했답니다.

오픈웨이트 모델의 새 기준, GLM-5.1

Strong release! GLM-5.1 is a DeepSeek-V3.2-like architecture (including MLA and DeepSeek Sparse Attention) but with more layers. And the benchmarks look better throughout! Looks like THE flagship open-weight model now.

^[1]

GLM-5.1은 DeepSeek-V3.2와 유사한 구조(MLA 어텐션 및 희소 어텐션 기법)를 채택하면서도 레이어 수를 더 늘렸어요. 전반적인 벤치마크 성능이 기존 모델들을 앞서면서, 현시점 최고의 오픈웨이트 모델로 평가받고 있어요. 오픈소스 진영에서 독점 모델과의 격차를 빠르게 좁히고 있다는 신호이기도 해요.

아키텍처 갤러리 RSS 추가와 파인튜닝 연구

Added an RSS feed to the LLM Architecture Gallery so it is a bit easier to keep up with new additions over time.

^[2]

LLM 아키텍처 갤러리에 RSS 피드가 추가되면서, 새 모델 구조가 올라올 때마다 쉽게 알림을 받을 수 있게 됐어요. 모델 아키텍처 흐름을 꾸준히 추적하고 싶은 연구자나 개발자에게 유용한 업데이트예요.

↻ 공유한 글

RT @StenRuediger: I’ve uploaded a new paper on arXiv (co-authored by @rasbt): MiCA Learns More Knowledge Than LoRA and Full Fine-Tuning

^[3]

공동 저자로 참여한 논문도 주목할 만해요. MiCA라는 새로운 파인튜닝 기법이 널리 쓰이는 LoRA(저랭크 적응)와 풀 파인튜닝보다 더 많은 지식을 학습할 수 있다는 내용으로, arXiv에 공개됐어요. 효율적인 모델 적응 방법론에 관심 있다면 챙겨볼 만한 연구예요.

빠른 모델 릴리스 속도 속에서도 아키텍처 이해와 파인튜닝 기법의 발전을 꾸준히 주시하는 태도가 인상적이에요. 기술의 흐름을 따라가는 것과 직접 기여하는 것을 동시에 이어가는 모습에서 실용적인 연구자의 시각이 느껴져요.

📚 출처 (Sources)

1. [1]@rasbt on 𝕏 · 2026-04-08 — “Strong release! GLM-5.1 is a DeepSeek-V3.2-like architecture (including MLA and DeepSeek S…”
2. [2]@rasbt on 𝕏 · 2026-04-06 — “Added an RSS feed to the LLM Architecture Gallery so it is a bit easier to keep up with ne…”
3. [3]↻ RT@rasbt on 𝕏 · 2026-04-08 — “I’ve uploaded a new paper on arXiv (co-authored by @rasbt):
   MiCA Learns More Knowledge Tha…”

오픈소스 LLM(거대 언어 모델)의 구조적 진화와 실용적 활용법이 동시에 주목받고 있어요. 추론 능력을 갖춘 모델을 직접 만드는 법부터, 최신 모델의 아키텍처 비교, 코딩 에이전트의 구성 원리까지 — LLM 생태계의 핵심 레이어들이 한꺼번에 조명되고 있습니다.

추론 모델을 처음부터 만든다는 것의 의미

It’s done. All chapters of Build A Reasoning Model (From Scratch) are now available in early access. The book is currently in production and should be out in the next months, including full-color print and syntax highlighting. There’s also a preorder up on Amazon.

^[1]

『Build A Reasoning Model (From Scratch)』의 전체 챕터가 얼리 액세스로 공개됐어요. 이 책은 추론(Reasoning) 능력을 갖춘 모델을 밑바닥부터 구현하는 과정을 다루며, 아마존 선주문도 시작됐습니다. 『LLM From Scratch』에 이은 실습형 시리즈로, 이론과 코드를 함께 따라가고 싶은 독자에게 적합해요.

코딩 에이전트의 내부 구조도 정리됐어요. 레포지토리 컨텍스트 파악, 툴 사용, 메모리 관리, 작업 위임(delegation)까지 — 에이전트를 구성하는 빌딩 블록들을 한 글에서 체계적으로 설명했습니다.

Components of a coding agent: a little write-up on the building blocks behind coding agents, from repo context and tool use to memory and delegation.

^[2]

단순히 코드를 생성하는 것을 넘어, 에이전트가 어떻게 맥락을 유지하고 역할을 나누는지를 이해하는 것이 실제 구현의 출발점이에요.

Gemma 4 분석과 LLM 아키텍처 비교 도구

But let’s not be fooled by the lack of architectural changes. Looking at the benchmarks, Gemma 4 is a huge leap from Gemma 3. This is likely due to the training set and recipe. Interestingly, on the AI Arena Leaderboard, Gemma 4 (31B) ranks similarly to the much larger Qwen3.5-397B-A17B model.

^[3]

Gemma 4(31B)는 아키텍처 면에서 Gemma 3과 큰 차이가 없지만, 벤치마크 성능은 크게 향상됐어요. 훈련 데이터와 레시피의 차이가 성능을 결정했다는 분석이에요. 특히 Apache 2.0 라이선스로 전환되어 상업적 활용 면에서도 긍정적인 변화가 생겼습니다.

LLM 아키텍처 갤러리에도 여러 모델 간 구조 차이를 직접 비교할 수 있는 diff 도구가 추가됐어요. 아울러 공유한 글에서는 AI 생성 텍스트 탐지 모델 학습 시도와 DeepSeek의 MLA(Multi-Head Latent Attention) 구현 분석도 주목했는데, 모델의 내부 작동 방식에 대한 관심이 실용적인 방향으로 확장되고 있음을 보여줘요.

아키텍처보다 훈련 방식이 성능을 좌우하고, 에이전트는 구성 요소를 이해해야 제대로 만들 수 있다는 메시지가 일관되게 이어지고 있어요. 화려한 신기술보다 기본 원리를 꼼꼼히 짚는 시각이 돋보입니다.

📚 출처 (Sources)

1. [1]@rasbt on 𝕏 · 2026-03-29 — “It’s done.

   All chapters of Build A Reasoning Model (From Scratch) are now available in ea…”

2. [2]@rasbt on 𝕏 · 2026-04-04 — “Components of a coding agent: a little write-up on the building blocks behind coding agent…”
3. [3]@rasbt on 𝕏 · 2026-04-02 — “Flagship open-weight release days are always exciting. Was just reading through the Gemma …”