최신 오픈 모델들이 공통으로 선택한 설계 원칙, ‘MLA·희소 어텐션·포스트 트레이닝’

Sebastian Raschka · ML 연구자, 저자 (Python ML, LLM From Scratch) · 2026.06.07 ~ 06.21 큐레이션

최근 오픈 웨이트(공개 가중치) LLM(거대 언어 모델) 시장에서 눈에 띄는 흐름이 포착되고 있어요. GLM-5.2, VibeCoder, Cohere의 신규 모델까지 — 서로 다른 팀이 만든 모델들이 놀랍도록 비슷한 설계 선택을 하고 있고, 그 바탕에는 몇 가지 공통된 원칙이 있어요.

효율적인 어텐션(Attention) 구조가 새 표준이 되고 있어요

Just caught up with the recent GLM-5.2 release. The best open-weight model today.

Architecture-wise, it’s build on the GLM-5 and GLM-5.1 architecture… What’s new is that they added an IndexShare mechanism. (That’s a cross-layer reuse trick for DSA where instead of recomputing the sparse-attention top-k indexer in every layer, GLM-5.2 runs the full indexer only once every four layers and lets the following layers reuse those selected token indices. This keeps the same DSA idea but makes 1M-token inference much cheaper.)

^[1]

GLM-5.2는 DeepSeek V3.2에서 온 MLA(Multi-head Latent Attention)와 DSA(DeepSeek Sparse Attention)를 그대로 채택한 위에, 새롭게 IndexShare 메커니즘을 추가했어요. 4개 레이어마다 한 번만 희소 어텐션 인덱서를 계산하고 나머지 레이어는 재사용하는 방식으로, 100만 토큰 길이의 추론 비용을 대폭 낮췄어요. 라슈카(Sebastian Raschka)는 이를 “현재 최고의 오픈 웨이트 모델”로 평가했어요.

한편 기술 발전의 계보도 눈여겨볼 만해요.

Always back to the basics: LatentMoE was probably inspired by MLA, which was inspired by LoRA, which was inspired by SVD, which was inspired by eigendecomposition.

^[2]

LatentMoE → MLA → LoRA → SVD → 고유값 분해(eigendecomposition)로 이어지는 계보를 짚으며, 최신 아키텍처 혁신도 결국 수십 년 된 수학적 기초 위에 서 있다는 점을 상기시켜줘요.

포스트 트레이닝(Post-training) 전략이 모델 성능을 가른다

Crazy model! It actually uses the old Qwen2.5-Coder-3B stack and got really great performance with their post-training stack… 6. MGPO (MaxEnt-Guided Policy Optimization) for RLVR: basically a GRPO-style RL method with an extra weighting that favors examples that are neither too easy nor too hard for the current policy

^[3]

VibeCoder는 오래된 Qwen2.5-Coder-3B 베이스 모델을 사용했음에도 뛰어난 성능을 보였어요. 고품질 합성 데이터, 다중 추론 경로, 2단계 SFT(지도 미세 조정), 그리고 MGPO라는 강화학습 기법 등 9단계에 걸친 포스트 트레이닝 파이프라인 덕분이에요. 기반 모델의 크기보다 훈련 이후 과정의 설계가 얼마나 중요한지를 잘 보여주는 사례예요.

Cohere의 30B 에이전틱(agentic) 코딩 모델도 같은 맥락에서 주목받았어요. 단순한 코드 생성이 아니라 터미널 조작, 파일 탐색, 테스트 실행까지 포함한 실제 워크플로우 환경에서의 평가를 중심에 뒀다는 점이 차별점이에요. ^[4]

라슈카의 관찰을 종합하면, 오픈 모델 경쟁의 초점이 단순히 “얼마나 큰 모델인가”에서 “어떻게 효율적으로 설계하고 훈련하는가”로 옮겨가고 있어요. 아키텍처 혁신과 정교한 포스트 트레이닝, 이 두 축이 앞으로의 모델 품질을 결정할 거예요.

📚 출처 (Sources)

1. [1]@rasbt on 𝕏 · 2026-06-18 — “Just caught up with the recent GLM-5.2 release. The best open-weight model today.

   Archite…”

2. [2]@rasbt on 𝕏 · 2026-06-09 — “Always back to the basics:
   LatentMoE was probably inspired by MLA, which was inspired by …”
3. [3]@rasbt on 𝕏 · 2026-06-17 — “Crazy model! It actually uses the old Qwen2.5-Coder-3B stack and got really great performa…”
4. [4]@rasbt on 𝕏 · 2026-06-13 — “Cool new open-weight model by Cohere: a new lightweight 30B open-weight model for agentic …”

본 글은 Sebastian Raschka(@rasbt)이(가) 지난 14일간 X(트위터)에 올린 게시물 중 4건을 인용해
Claude(Anthropic)가 한국어로 큐레이션·해설한 것입니다. 원문 저작권은 작성자에게 있으며,
출처 목록의 [n] 번호 또는 본문 내 [n] 표시를 누르면 원문 트윗으로 이동합니다.