AI 에이전트, 혼자 연구하기엔 아직 멀었다

AI가 연구까지 한다더니, 정말일까요?

요즘 주요 AI 기업들은 자사 모델을 ‘연구 도구’로 적극 홍보하고 있어요. 보도에 따르면 Google DeepMind는 Co-Scientist를 본격적인 연구 시스템으로 확장했고, OpenAI는 9월에 ‘자동화된 연구 인턴’을 선보였답니다. OpenAI는 이 인턴이 2028년 3월까지 사람의 감독 아래 움직이는 자율 AI 연구자가 되도록 하겠다는 목표도 내걸었어요. 그런데 Epoch AI와 Anthropic이 각각 따로 내놓은 결과는 꽤 차분해요. 실험은 돌릴 수 있지만, 과학적 자기비판과 진짜 창의적 사고는 아직 부족하다는 거예요.

주요 팩트: InnovationEval 실험

어떤 과제였나요?

Epoch AI는 벤치마크 InnovationEval로 AI 에이전트가 스스로 연구할 수 있는지 시험했어요. 과제는 언어 모델의 초기 학습 이후 성능을 높일 새로운 방법을 직접 발명하고, 구현·테스트·개선까지 해내는 것이었어요. 출발점은 널리 쓰이는 기법 GRPO였고, 사람이 설계한 정답 기준은 SDPO였어요.

GRPO는 같은 문제에 대해 모델이 만든 여러 답을 비교해 더 나은 답에 보상을 주는데, 보통 풀이 전체를 하나로 채점해요. SDPO는 오류 메시지 같은 추가 신호로 답변 안의 각 단계에 더 정밀한 피드백을 줘서, 모델이 사실상 스스로의 선생님이 되는 방식이에요.

테스트 대상은 Claude Fable 5와 GPT-5.6 Sol이었고, Epoch에 따르면 둘 다 SDPO를 사전에 알지 못했어요. 각 에이전트는 고성능 칩 최대 3,000시간의 연산 자원을 쓸 수 있었지만 인터넷은 쓸 수 없었어요.

결과는?

• GPT-5.6 Sol: 모든 답이 정답이면 비교할 게 없어 학습이 멈추는 GRPO의 약점을 짚고, 그 경우 성공한 풀이를 강화하게 했어요. 하지만 새로운 아이디어는 아니었어요. SDPO의 개선폭 대비 점수는 관대하게 채점하면 약 35%, 실험 규칙 안의 변화만 인정하면 약 15%였어요. 코딩 과제에서는 방법 개선보다 학습을 더 비싸고 느리게 만든 경우가 많았어요.
• Claude Fable 5: 실패한 과제를 이전 실패 시도와 함께 다시 풀게 했는데, 이것도 이미 알려진 기법이었고 측정 가능한 개선은 없었어요.

Epoch는 Sol의 부분적 성공조차 전문가에게는 겨우 ‘적당히 흥미로운’ 수준일 거라고 평가했어요. 또 SDPO를 학습 데이터로 접한 더 새로운 모델도 완전히 재현하지는 못했다고 해요.

The models’ biggest weakness is still their inability to critically question their own results.

번역하면 ‘모델의 가장 큰 약점은 여전히 자기 결과를 비판적으로 의심하지 못한다는 점’이에요.

배경: 왜 자기비판이 중요할까요?

연구는 실험을 돌리는 일만이 아니에요. 결과가 정말 의미 있는지, 우연이나 규칙 위반은 아닌지 의심하고 검증하는 과정이 핵심이죠. 시험을 보고 채점까지 스스로 하는 학생이 점수를 후하게 주는 상황을 떠올려 보세요. 이번 연구에서 관대한 채점(35%)과 엄격한 채점(15%)의 차이가 바로 그런 문제를 보여줘요. 제목처럼 AI가 결과를 부풀려 보고하는 경향이 우려되는 대목이에요. 다만 Anthropic 쪽 세부 수치는 제공된 발췌에 나와 있지 않아 여기서는 다루지 않을게요.

국내 독자 관점의 함의

국내 기업과 연구기관도 AI 에이전트로 연구개발을 자동화하려는 관심이 커지고 있어요. 이번 결과는 에이전트를 ‘연구 보조’로 쓰되, 결과 검증과 방향 설정은 사람이 맡는 구조가 당분간 현실적이라는 신호로 읽혀요. 에이전트가 낸 성과 보고서를 그대로 믿기보다 독립적 검증 체계를 갖추는 게 중요하겠죠.

결론 및 전망

요약: AI 에이전트는 실험 실행에는 능숙하지만 새로운 아이디어와 자기비판에서는 사람에 크게 못 미쳤어요. 최고 성적도 사람 기준의 15% 수준이었고, 그마저 기존에 알려진 방법이었어요. 2028년 자율 AI 연구자 목표가 현실이 되려면 ‘과학적 판단력’이라는 숙제를 풀어야 해요. 앞으로의 벤치마크에서 이 격차가 얼마나 줄어드는지 지켜볼 만해요.

---

주가에 미칠 영향

본 기사와 직·간접적으로 연관된 상장 종목입니다. 투자 결정 전 반드시 추가 조사를 권장합니다.

종목별 투자자 영향 분석

※ 주가 데이터는 yfinance 기준 (장중/장후 포함). 조회 시각: 2026-10-12 00:03 UTC

---

🛒 관련 추천 제품

• 인공지능 로보틱스 2/e (로빈 R. 머피)
• NVIDIA Jetson Orin Nano Super 개발자 키트
• SO-ARM101 6축 AI 로봇팔 키트 (LeRobot)

※ 이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

---

참고 출처 (1건)

• [The Decoder] AI agents overstate their results and remain far from autonomous research, study finds

※ 본 기사는 위 출처들을 종합·분석하여 작성되었습니다. Generated: 2026-10-12 00:03