[AI] 2026년 AI 필수 용어 15가지 - LLM, RAG, 하네스 엔지니어링

AI 관련 글을 읽다 보면 LLM, RAG, MCP, 에이전트 같은 용어들이 쏟아지는데, 현시점에서 AI를 접한다면 꼭 알아야 할 핵심 키워드 15가지를 정리해 보았다. 이 글을 통해 AI 관련 글을 읽을 때 이해도가 확 올라가길 바라며,,ㅎㅎ

 

+ 개발자가 아니더라도 AI 도구를 쓰는 사람이라면 알아두면 분명 도움이 될 내용이다!

 

---

각각의 카테고리마다 핵심 키워드는 다음과 같다.

• 기본 구조:  LLM, 토큰, 임베딩
• 확장: RAG, 파인튜닝, 파이프라인
• 개발 : 바이브 코딩
• 활용법: 프롬프트 엔지니어링, 컨텍스트 엔지니어링, 하네스 엔지니어링
• 자율성: AI 에이전트, MCP, A2A
• 보안: 온디바이스 AI, 온프레미스 AI
• 한계: 할루시네이션

 

AI 기본 구조

LLM Large Language Model - 대규모 언어 모델

가장 기본이 되는 용어로 ChatGPT, Claude, Gemini 같은 AI 챗봇의 핵심 엔진이 바로 LLM이다.

쉽게 말하면, 방대한 양의 텍스트 데이터를 학습해서 인간의 언어를 이해하고 생성할 수 있는 AI 모델이다.

 

"다음에 올 단어가 뭘까?"를 예측하는 방식(Next Token Prediction)으로 학습하는데, 이 과정을 수조 번 반복하면 언어의 패턴, 문맥, 나아가 세상에 대한 지식까지 습득하게 된다.

 

대표적인 LLM으로는 OpenAI의 GPT 시리즈, Anthropic의 Claude, Google의 Gemini, Meta의 Llama 등이 있다.

 

토큰 Token

LLM이 텍스트를 처리하는 기본 단위다.

 

우리가 보는 "단어"와는 조금 다르다. 예를 들어 "안녕하세요"라는 문장은 사람에게는 한 단어지만, AI 입장에서는 여러 개의 토큰으로 쪼개질 수 있다. 영어 기준으로는 대략 1 단어 ≈ 1~1.5 토큰, 한국어는 1글자가 1~2 토큰 정도로 처리된다.

왜 중요하냐면, AI 모델의 가격이 토큰 단위로 책정되기 때문이다. API를 쓸 때 "백만 토큰당 얼마"로 비용이 매겨지고, 모델이 한 번에 처리할 수 있는 토큰 수(컨텍스트 윈도우)도 정해져 있다. 컨텍스트 윈도우가 클수록 더 긴 문서를 한 번에 다룰 수 있다.

 

임베딩 Embedding

임베딩은 텍스트를 숫자(벡터)로 변환하는 과정이다.

 

왜 필요하냐면, 컴퓨터는 "사과"와 "과일"이 의미적으로 비슷하다는 걸 글자만 봐서는 알 수 없기 때문이다.

임베딩을 거치면 의미가 비슷한 단어들은 수학적으로 가까운 위치에 놓이게 된다. "사과"와 "배"는 가깝고, "사과"와 "자동차"는 멀어지는 식이다. 이렇게 변환된 벡터들을 벡터 데이터베이스(Vector DB)에 저장해 두고, 사용자의 질문이 들어오면 의미적으로 가장 관련 있는 문서를 검색하는 데 활용한다.

 

RAG를 이해하려면 임베딩도 알아야 한다.

 

AI 확장

RAG Retrieval-Augmented Generation - 검색 증강 생성

LLM의 가장 큰 한계 중 하나는 학습 데이터 이후의 정보를 모른다는 것이다. RAG는 이 문제를 해결하기 위한 기술이다.

 

동작 방식

1. 사용자가 질문을 한다
2. 관련 문서를 데이터베이스에서 검색(Retrieval)한다
3. 검색된 문서를 AI에게 함께 전달한다
4. AI가 이를 바탕으로 답변을 생성(Generation)한다

즉, AI가 "모르는 것"을 외부 문서에서 찾아와서 답변하게 만드는 구조다. 기업에서 내부 문서 기반 챗봇을 만들 때 가장 많이 쓰이는 방식이기도 하다.

 

2026년에는 단순 RAG를 넘어 AI 에이전트가 스스로 검색 전략을 세우고 실행하는 Agentic RAG가 주류로 자리 잡고 있다.

 

파인튜닝 Fine-tuning

이미 학습된 범용 AI 모델을 특정 목적에 맞게 추가 학습시키는 과정이다.

 

기성복이 대충 맞는 것과 맞춤 정장이 내 몸에 딱 맞는 것의 차이라고 생각하면 된다. 범용 LLM은 뭐든 조금씩 알지만, 의료 AI, 법률 AI, 고객 상담 AI처럼 특정 도메인에 맞게 파인튜닝하면 해당 분야에서 훨씬 정확한 결과를 낼 수 있다.

 

파인튜닝에는 양질의 도메인 데이터가 필요하고 RAG보다 비용과 시간이 더 든다.

그래서 실무에서는 "파인튜닝 vs RAG" 중 어떤 접근이 더 적합한지 판단하는 것이 중요한 의사결정 포인트가 된다.

 

파이프라인 Pipeline

AI 시스템에서 데이터가 입력되어 최종 결과가 나오기까지의 전체 처리 흐름을 말한다.

 

예) RAG 파이프라인: 문서 수집 → 텍스트 추출 → 청킹(Chunking) → 임베딩 → 벡터 DB 저장 → 질문 입력 → 유사 문서 검색 → LLM에 전달 → 답변 생성 이 전체 과정을 뜻한다.

 

파이프라인의 각 단계가 잘 설계되어야 최종 결과물의 품질이 좋아지기 때문에, "어느 모델을 쓰느냐"만큼이나 "파이프라인을 어떻게 구성하느냐"가 중요하다.

 

AI 개발

바이브 코딩 Vibe Coding

AI에게 자연어로 원하는 것을 설명하면 코드를 생성해 주는 코딩 방식을 말한다.

 

전통적인 코딩이 "한 줄 한 줄 직접 작성"하는 것이라면, 바이브 코딩은 "이런 느낌(vibe)의 앱을 만들어줘"라고 AI에게 설명하고, AI가 코드를 작성하면 결과를 확인하면서 방향을 잡아가는 방식이다.

 

Claude Code, Cursor 같은 AI 코딩 도구들이 이 흐름을 주도하고 있다. 물론 복잡한 프로덕션 코드를 100% AI에게 맡기기는 아직 어렵지만, 프로토타입이나 사이드 프로젝트에서는 생산성이 몇 배로 뛰어오르는 것을 체감할 수 있다.

 

 

AI 활용법

프롬프트 엔지니어링 Prompt Engineering

AI에게 질문이나 지시를 잘 작성하는 기술이다.

 

카페에서 "커피 하나"라고 하면 아메리카노가 나오지만, "바닐라라떼 톨사이즈, 얼음 적게, 오트밀크로"라고 하면 내가 원하는 게 정확히 나오는 것처럼, AI도 어떻게 물어보느냐에 따라 결과물의 퀄리티가 완전히 달라진다.

 

대표적인 프롬프트 기법들

• 역할 부여: "너는 10년 차 백엔드 개발자야" 같이 역할을 지정
• 단계별 사고 유도: "단계별로 생각해 봐(Let's think step by step)"
• 예시 제공: 원하는 출력 형태의 예시를 함께 제공
• 제약 조건 명시: "3 문장 이내로", "표 형식으로" 같은 조건 추가

 

컨텍스트 엔지니어링 Context Engineering

2025년 중반부터 본격적으로 주목받기 시작한 개념으로, 프롬프트 엔지니어링의 다음 단계라고 볼 수 있다.

 

프롬프트 엔지니어링이 "AI에게 질문을 잘 하는 것"이라면, 컨텍스트 엔지니어링은 "AI가 일을 잘 할 수 있도록 필요한 정보를 체계적으로 설계해서 제공하는 것"이다.

비유하자면, 프롬프트 엔지니어링은 신입 직원에게 업무 지시를 잘 하는 법이고, 컨텍스트 엔지니어링은 신입 직원이 일을 잘 할 수 있도록 필요한 자료와 환경을 미리 준비해주는 것이다.

 

실전에서는 CLAUDE.md 같은 프로젝트 설정 파일, MCP를 통한 외부 데이터 연동, RAG를 통한 문서 검색 등이 모두 컨텍스트 엔지니어링의 도구들이다.

 

하네스 엔지니어링 Harness Engineering

2026년 2월에 등장한 가장 최신 개념이다. HashiCorp 공동 창업자 미첼 하시모토가 처음 이 용어를 사용했고, 이후 OpenAI도 관련 보고서를 발표하면서 빠르게 퍼졌다.

 

OpenAI가 정의하는 하네스란, AI 에이전트가 안정적인 작업을 수행할 수 있도록 감싸는 스캐폴딩(scaffolding)과 피드백 루프(feedback loop)가 구축된 전체 환경이다. 저장소 구조, CI 설정, 린터, 포맷 규칙, 프로젝트 지시 파일, 외부 도구 연결 등 에이전트 바깥에서 동작하는 시스템 전체가 하네스다.

 

AI 에이전트가 복잡한 작업을 자율적으로 수행하게 되면서, 에이전트가 실수할 때마다 같은 실수를 방지하는 장치를 쌓아가는 작업이 중요해졌다. 이것이 하네스 엔지니어링의 핵심이다.

 

총 정리

- 프롬프트 엔지니어링 → 질문 한 번을 잘 쓰기
- 컨텍스트 엔지니어링 → AI에게 보여줄 맥락 전체를 설계
- 하네스 엔지니어링 → 에이전트가 돌아가는 전체 환경을 설계

 

AI 자율성

AI 에이전트 AI Agent

2026년 가장 핫한 키워드!!

 

AI 에이전트란 자율적으로 판단하고 행동할 수 있는 AI 시스템이다. 기존 AI가 "질문하면 답하는" 수동적인 구조였다면, 에이전트는 스스로 목표를 세우고, 계획을 짜고, 도구를 활용하고, 결과를 검증하는 능동적인 구조다.

 

예) "3분기 실적을 요약하고 경쟁사와 비교해 줘"라고 하면, 에이전트는 내부 DB에서 재무 데이터를 조회하고, 웹에서 경쟁사 정보를 검색하고, 수치를 분석한 뒤, 종합 보고서를 작성하는 것까지 자율적으로 수행한다.

 

여러 에이전트가 협력해서 하나의 목표를 달성하는 멀티 에이전트 시스템도 활발히 개발되고 있다.

 

MCP Model Context Protocol - 모델 컨텍스트 프로토콜

2024년 11월 Anthropic이 발표한 개방형 프로토콜로, 지금은 사실상 업계 표준으로 자리 잡았다.

한마디로 AI가 외부 도구나 데이터에 접근하기 위한 USB-C 같은 표준 규격이다.

 

기존에는 AI를 Slack에 연결하려면 Slack 전용 코드를 짜고, GitHub에 연결하려면 또 GitHub 전용 코드를 짜야했다. MCP를 쓰면 하나의 표준 방식으로 다양한 도구와 연결할 수 있다. MCP 서버를 한 번 만들어두면, MCP를 지원하는 모든 AI 클라이언트에서 그대로 사용 가능하다.

 

OpenAI, Google, Microsoft 등 주요 기업들이 모두 MCP를 지원하기로 했고, Google은 에이전트 간 통신을 위한 A2A(Agent-to-Agent) 프로토콜도 함께 발표했다.

 

관련 포스팅

• [Claude] Claude Code(클로드 코드) 고급 사용법 - Skills, MCP, Hooks, Subagents
• [Claude] Claude Code(클로드 코드)와 Notion(노션) MCP 간단 연동 가이드

 

A2A Agent-to-Agent Protocol

Google이 2025년 발표한 프로토콜로, AI 에이전트끼리 서로 소통하기 위한 표준이다.

MCP가 AI ↔ 도구/데이터 사이의 연결 표준이라면, A2A는 AI 에이전트 ↔ AI 에이전트 사이의 통신 표준이다.

 

서로 다른 회사가 만든 AI 에이전트들이 하나의 작업을 위해 협력해야 할 때, 공통된 대화 규약이 필요하게 되는데, A2A가 바로 그 역할을 한다. MCP와 A2A가 함께 자리 잡으면, AI 에이전트 생태계의 상호운용성이 크게 개선될 것으로 기대된다.

 

AI 보안

온디바이스 AI On-Device AI

클라우드가 아닌 내 기기(스마트폰, 노트북 등)에서 직접 AI를 실행하는 것이다. 데이터가 외부 서버로 나가지 않아 개인정보 보호에 유리하다.

 

온프레미스 AI On-Premise AI

외부 클라우드가 아닌 회사 자체 서버에서 AI를 운영하는 것이다. 내부 문서나 고객 데이터를 외부 AI 서비스에 보내는 것이 보안상 불가능한 기업 환경에서 수요가 계속 증가하고 있다.

 

두 가지 모두 데이터가 외부로 나가지 않는다는 보안적 이점이 핵심이다. 특히 기업 환경에서는 내부 문서나 고객 데이터를 외부 AI 서비스에 보내는 것이 보안상 불가능한 경우가 많기 때문에, 온프레미스 AI 수요가 계속 증가하고 있다.

 

AI 한계

할루시네이션 Hallucination

AI가 사실이 아닌 내용을 마치 사실인 것처럼 자신 있게 말하는 현상이다.

 

예를 들어 존재하지 않는 논문을 인용하거나, 없는 법률 조항을 만들어내거나, 실제와 다른 수치를 제시하는 것들이 모두 할루시네이션이다. AI는 "정답"을 계산하는 게 아니라 "그럴듯한 다음 단어"를 예측하는 방식으로 작동하기 때문에 구조적으로 이런 문제가 발생할 수밖에 없다.

이걸 줄이기 위해 RAG, 검색 결과 교차 검증, 출처 인용 강제 등의 방법이 사용되지만, 완전히 없앨 수는 없다. AI가 준 답변은 항상 팩트체크하는 습관이 중요한 이유다.

---

 

각각의 키워드들은 따로따로 존재하는 게 아니라 서로 연결되어 있다. LLM이 기반이 되고, RAG와 파인튜닝으로 성능을 높이고, MCP로 외부 도구를 연결하고, 이 모든 것을 에이전트가 자율적으로 활용하는 구조다.

AI는 빠르게 발전하고 있고, 새로운 용어도 계속 등장할 것이다. 하지만 이 글에서 다룬 기본 키워드들을 이해하고 있으면, 앞으로 어떤 새로운 개념이 나와도 흐름을 잡는 데 큰 도움이 될 거라고 생각한다!!