[생성AI] 핵심기술 이해

 


LLM (Large, Language Model, 거대 언어 모델)

대규모의 데이터셋에서 학습된 거대한 인공지능 언어모델

특징

설명

대규모 데이터 학습

인터넷상의 수십억 단어로부터 다양한 주제와 언어 패턴 파악

다채로운 언어 능력

단순한 텍스트 생성 뿐만 아니라 문맥 요약, 번역, 감성 분석 가능

사전학습과 미세조정

대부분의 LLM은 사전학습과 미세조정 두단계로 진행

 

 

사전 학습 (Pre-trained)

특정 작업 전 대규모 데이터를 사용해 기본 구조와 지식, 패턴 등을 미리 학습시키는 과정

*예시 : GPT "The capital of France is ___" "Paris"라고 답할 수 있도록 수많은 문장을 통해 학습됨.

 

 

미세 조정 (Fine-tuning)


사전 학습한 모델에 특정 목적, 분야, 문체에 맞게 추가 학습을 시키는 단계

*예시 : AI 상담봇이 고객센터 대화 데이터를 기반으로 미세조정

 

 

랭체인 (LangChain)

- 거대 언어모델을 활용하여 AI 기반 애플리케이션을 개발할 수 있도록 돕는 프레임워크

- RAG를 활용한 검색 증강과 에이전트를 통한 자동화 기능이 강한 특징

*예시 : ‘시간+고객+채팅 기능이 있는 AI 비서를 만들 때, 각 요소를 연결해주는 역할

 

요약

예시

사전학습-미세조정-랭체인 개념은

서로 연결되며, 이는 곧 생성 AI

훈련응용사용흐름을 구성

- 생성AI 모델은 사전학습됨

- 기업이 AI를 미세조정해 고객센터 챗봇용으로 만듦

- 랭체인으로 데이터베이스와 연결

- 사용자가 "배송 지연 문의"라는 프롬프트로 질문