LLM은 왜 거짓말을 할까? — 한계와 극복 기술 한눈에

Fastcampus "MCP와 A2A로 끝내는 상상도 못할 Multi-Agent 구축" 강의를 들으며,
복습한 내용을 정리한 글입니다.

ChatGPT, Claude 같은 LLM은 똑똑하지만 완벽하진 않아요.
어떤 한계가 있고, 그걸 어떻게 극복하고 있는지 한 번에 정리했습니다.

---

🤔 왜 이 주제가 중요한가요?

우리가 매일 쓰는 ChatGPT, Claude, Gemini 같은 대규모 언어 모델(LLM)은 자연어 처리 분야의 혁신을 이끌었습니다. 하지만 사용해보신 분들은 이미 느끼셨을 거예요.

"분명 그럴듯하게 답하는데, 가끔 거짓말을 너무 자신 있게 하네?"

이건 우연이 아니라 LLM의 구조적인 한계예요. 그리고 전 세계 연구자들이 이 한계를 극복하기 위해 다양한 기술을 만들고 있죠. 이번 글에서는 LLM의 한계와 극복 기술을 한 번에 정리해보려고 합니다.

💡 이 글의 핵심 질문
LLM은 어떤 한계를 가지고 있고, 그걸 어떻게 극복하고 있을까?

---

😓 LLM의 7가지 본질적 한계

LLM은 모두 Transformer라는 아키텍처 기반으로 만들어집니다. 그래서 비슷한 한계를 공유해요.

한계	설명
환각 (Hallucination)	사실이 아닌 정보를 자신만만하게 생성
편향 (Bias)	훈련 데이터의 사회적·언어적 편향을 학습하고 증폭
지식 단절 (Knowledge Cutoff)	훈련 시점 이후 사건은 알지 못함
추론 실패	복잡한 수학·논리·다단계 추론에 약함 (기본 산술 오류 등)
컨텍스트 창 제한	긴 텍스트의 일관성 유지가 어려움
유용성 우선	"모르겠다"고 하기보다 답을 만들어내려는 경향
진정한 이해 부족	패턴은 인식하지만 인과관계·개념의 본질은 이해 못 함

한 마디로, LLM은 "그럴듯한 말을 만들어내는 데에는 천재인데, 진짜 사실인지·합리적인지는 보장 못 하는 시스템"이에요.

---

🛠️ 한계를 극복하는 8가지 기술

이 한계들을 극복하려고 정말 다양한 기술이 나왔어요. 가장 핵심적인 8가지를 정리해볼게요.

1. RAG (검색 증강 생성)

LLM에게 외부 지식 검색 시스템(벡터 DB 등)을 붙여서, 답변 전에 관련 정보를 검색해 활용하게 만드는 기술입니다.

비유: 시험 보기 전에 교과서를 펼쳐놓고 답하는 것. 외워둔 지식만으로 답하지 말고, 일단 책 보고 답해.

• 해결하는 한계: 환각, 지식 단절
• 장점: 사실 기반 응답, 최신 정보 반영, 출처 검증 가능

2. Fine-Tuning (미세 조정)

사전 훈련된 LLM을 특정 데이터셋으로 추가 훈련해서 특정 작업·도메인·스타일에 맞춥니다.

비유: 일반 회사에서 일하던 사람을 의료 회사로 이직시켜 6개월간 의학 교육시키는 것. 특정 분야 전문가로 거듭남.

• 주요 유형: 지도 미세 조정(SFT), 지시 미세 조정, 도메인 특화(MedGemma 등)
• PEFT (LoRA, QLoRA): 모델 전체가 아닌 일부 매개변수만 업데이트해 비용 절감

3. MoE (전문가 혼합)

여러 "전문가" 하위 모델을 두고, 입력에 따라 가장 적합한 전문가에게만 일을 맡기는 구조입니다.

비유: 종합병원에서 환자가 오면 안내데스크가 증상을 보고 적절한 전문의에게 연결하는 것. 모든 의사가 다 볼 필요 없음.

• 장점: 작업당 일부만 활성화 → 효율적, 큰 모델도 합리적 비용으로 운영 가능

4. Prompt Engineering (프롬프트 엔지니어링)

LLM에게 질문을 잘 던지는 기술이에요. 같은 모델이라도 어떻게 묻느냐에 따라 답변 품질이 천차만별이거든요.

• CoT (Chain-of-Thought): "단계별로 생각해줘"를 유도해 추론력 향상
• Few-shot: 예시 몇 개를 보여주고 비슷하게 답하라고 유도
• 명확성·구체성: 모호한 질문 → 정확한 질문으로 다듬기

5. Groundness Check (사실 확인)

LLM의 답변이 실제 사실에 근거했는지를 검증하는 메커니즘입니다. 답변(Response), 질의(Query), 컨텍스트(Context) 세 가지를 비교해요.

• Answer Relevance: 답변이 질문과 관련 있는가?
• Context Relevance: 컨텍스트가 질문과 관련 있는가?
• Groundedness: 답변이 컨텍스트에 근거하는가?

6. HITL (인간 참여형 시스템)

Human-in-the-Loop. LLM 워크플로우에 인간의 검토·검증·수정을 끼워 넣는 구조예요.

비유: 신입사원이 작성한 보고서를 사수가 검토하고 사인하는 것. AI 혼자 결정하지 않고 사람이 마지막을 책임짐.

• 적용: 데이터 레이블링, 성능 평가, RLHF 피드백, 중요 출력 검토
• 이점: 정확성·신뢰성·안전성 향상, 편향 완화, 사용자 신뢰 구축

7. XAI (설명 가능한 AI)

LLM의 의사결정 과정을 인간이 이해할 수 있게 만드는 기술입니다. "왜 이렇게 답했는지"를 설명할 수 있어야 신뢰가 생기니까요.

• 이점: 모델 디버깅, 신뢰 구축, 공정성 보장, 모델 한계 이해

8. 편향 완화 전략

데이터에 내재된 사회적 편향이 모델에 그대로 학습되지 않도록 막는 전략입니다.

• 데이터 수준: 다양하고 편향 없는 훈련 데이터 큐레이션
• 모델 수준: 훈련 과정·아키텍처에 편향 완화 기법 적용
• 후처리: 모델 출력 단계에서 편향 조정

---

📊 한눈에 정리 — 한계 ↔ 극복 기술 매핑

기술	주로 해결하는 한계
RAG	환각, 지식 단절, 사실 부정확성
Fine-Tuning	특정 작업 성능 저하, 도메인 지식 부족
MoE	계산 비효율성, 대규모 모델의 확장성
Prompt Engineering	응답 품질 저하, 관련성·일관성 부족
Groundness Check	환각, 지식 단절
HITL	정확성 부족, 신뢰성 문제, 편향
XAI	모델 불투명성, 디버깅 어려움, 신뢰 부족
편향 완화	훈련 데이터·모델 내재 편향, 차별적 결과

---

🚀 미래는 어디로 가고 있을까?

강의 자료에서는 LLM 연구의 미래 방향을 다음과 같이 정리합니다.

1. 작고 효율적인 모델 (sLLM / SLM)

• 거대 모델 대신, 계산 비용이 낮은 소형 모델로 적절한 성능 유지
• 특정 작업에 특화된 모델 개발 활발

2. 향상된 추론 능력 (Reasoning)

• 강화학습(RL) 기반 추론력 향상
• 추론 증류(Distillation): 큰 모델의 추론 능력을 작은 모델에 옮기기

3. 멀티모달 (Multi-modal)

• 텍스트를 넘어 이미지, 오디오, 비디오까지 처리·생성
• VLM(Vision Language Model) 등이 대표적

4. Agentic AI (능동형 에이전트)

• 스스로 의사결정하고, 도구와 상호작용하며, 작업을 수행하는 자율 시스템
• 이전 글에서 다룬 MCP·A2A가 여기에 해당

5. 안전성 및 보안 강화

• 강력한 감독, 투명성, RLHF, 공정성 훈련, 샌드박스 등
• 능력이 강해질수록 안전장치도 함께 발전해야 함

6. 합성 훈련 데이터

• LLM이 자체적으로 학습 데이터를 생성해 틈새 도메인 성능 향상

---

🇰🇷 국내 연구 동향

국내에서도 활발한 연구가 진행되고 있어요. 강의에서는 세 가지를 짚어줍니다.

방향	내용
추론 증류	큰 LLM의 추론 능력을 작은 모델(SLM)로 옮기기. 로컬 운용으로 데이터 보안성도 확보
멀티 에이전트	여러 에이전트 간 협력으로 Agentic AI 시스템 성능 향상
컨텍스트 길이	RAG, 에이전트 프레임워크 등을 결합해 컨텍스트 한계 극복

---

💡 정리

이번 글의 핵심 메시지를 한 줄로 요약하면 이렇습니다.

LLM의 한계 극복은 단일 방법론이 아니라 다각적 접근으로 진행되고 있어요.
RAG, Fine-Tuning, MoE, HITL 등이 함께 어우러지는 방향이죠.

정리하면,

• LLM은 환각, 편향, 지식 단절, 추론 실패 등 7가지 본질적 한계가 있어요
• 이를 극복하기 위해 RAG, Fine-Tuning, MoE, Prompt Engineering, HITL, XAI 등 다양한 기술이 발전 중입니다
• 미래는 "범용 LLM → 도메인 특화 + 사실 기반 + 인간 감독을 받는 자율형 Agentic AI" 방향으로 갈 거예요
• 국내외 모두 효율적·안전·신뢰 가능한 Agentic AI 구축에 집중하고 있습니다

완벽한 LLM은 아직 없지만, 한계를 알고 적절한 기술과 결합하면 충분히 실용적인 시스템을 만들 수 있어요.

---

🔗 이전 글과의 연결

이전 글들을 떠올려보면 흐름이 자연스럽게 이어집니다.

• LangChain vs LangGraph: LLM 애플리케이션을 엮는 도구
• MAS가 필요한 이유: 왜 여러 에이전트가 협력해야 하는가
• MCP vs A2A: 그 협력을 가능하게 하는 표준 프로토콜
• LLM의 한계와 극복 (이번 글): 그 모든 시스템의 기반이 되는 LLM, 어디까지 발전했고 어디로 가고 있는가

이번 글까지 읽으시면 "왜 RAG와 에이전트가 필요한가"에 대한 답이 좀 더 선명해지실 거예요. 결국 LLM 자체의 한계를 보완하기 위한 도구들이거든요.

---

참고 출처: Fast Campus AI 리터러시 강의 자료