LLM

연구원님이 설명해주신 노트

Summary

1. 용어 정리

• 인공지능
• 자연어 처리(NLP)
• LLM
• Multi Modal

1. LLM의 학습 방법

• Fine Tuning
• In Context Learning

2. LLM의 서비스 과정

이 노트는 원래 데이터 분석과정중 Embedding에 관련하여 노트할려고 했지만 LLM의 정리를 하며 찬찬히 나아가도록 하겠다.

1. 용어 정리

1) 인공지능

• 학습 데이터의 양이 많아짐에 따라 연산량이 기하급수적으로 커지기 때문에 이를 감당할 수 있는 딥러닝 기반 모델들이 많이 쓰이고 있다.
• 언어 분야는 구글이 만든 Transformer 기반 모델들을 활용한다.

Info

Transformer란?

• Attention Is All You Need 논문에서 발표된 딥러닝 모델의 일종이다.
• 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망이다.
• Attention Mechanism은 입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 것을 보정해주기 위한 기법이다.

• Transformer 모델의 특징
  1. Attention Mechanism으로 모든 단어간의 상호작용을 동시에 고려하여 문맥을 잘 파악함
  2. 병렬 처리 연산으로 연산 속도가 빠름
  3. 입출력 길이를 자유롭게 설정할 수 있어 다양한 과제(번역, 요약, Q&A등)에 활용이 용이함
  4. 사전 훈련된 모델에 새로운 학습 데이터로 재학습하는 Transfer Learning(전이 학습) 이 가능함

2) 자연어 처리(Natural Langauge Model, NLP)

• 자연어란 한국어, 영어등의 사람들이 일상적으로 쓰는 언어를 의미한다.
• 사람들이 대화하거나 기록하는 데 쓰이는 텍스트들을 컴퓨터가 이해하게 만들기 위해 각 언어의 특징에 따라 수치 데이터로 변환하는 과정을 연구하는 분야이다.
• 한국어의 경우 영어보다 특별한 규칙(조사, 어미, 말투 등)이 많고, ‘한국어만 읽을 수 있는 리뷰’처럼 이상하게 써도 이해가 가능하다는 특징이 있어 매우 까다로운 언어이다.

K-언어의 위대함

3) LLM(Large Language Model)

• 억 단위 이상의 데이터를 통해 학습된 거대 언어 모델로, 텍스트를 입력하면 그에 맞는 대답을 하는 텍스트 생성 AI 분야이다.
• 다양하게 활용할 수 있고 직관적으로 편리함을 느낄 수 있다는 장점이 있다.
• 하지만, 대용량의 학습 데이터인 모델의 크기가 매우 커서 많은 자원과 시간이 필요한 분야이다.

4) Multi Modal(멀티 모달)

• 모달리티(Modality)는 ‘양식’, ‘양상’이라는 뜻인데, 보통 어떤 형태로 나타나는 현상이나 그것을 받아들이는 방식 또는 정보로 표현되거나 인식되는 특정한 형태 또는 방식을 말한다. 데이터의 형태로 말하면 텍스트, 오디오, 이미지 등이 있다.
• Multi Modal은 시각, 청각을 비롯한 여러 인터페이스를 통해서 정보를 주고받는 것을 말하는 개념 또는 다양한 형태의 데이터를 입력을 받으면 종합적으로 처리해서 다양한 형태로 출력이 가능한 기술을 의미한다.
• Multi Modal AI는 다양한 채널의 모달리티를 동시에 받아들여서 학습하고 사고하는 AI 또는 인간이 사물을 받아들이는 다양한 방식과 동일하게 학습하는 AI
• Multi Modal 예시
  • 텍스트, 음성, 얼굴 표정을 통해 종합적으로 사람의 감정을 인식
  • 심박수, 행동 및 음성을 통해 현재의 건강상태를 파악
  • 수업 내용을 영상으로 만들거나 음성으로 Q&A를 하고, 퀴즈를 생성하는 학습 플랫폼폼

2. LLM의 학습 방법

LLM을 학습시키는 방법에는 2가지 있다.

• Fine Tuning
• In Context Learning(ICL)

	Fine Tuning	In Context Learning(ICL)
학습 방식	파운데이션 모델에 추가 데이터를 학습 → 모델 파라미터가 바뀐다.	프롬프트 내에 정보 또는 예시를 제공하여 학습 → 모델 파라미터가 바뀌지 않는다.
장점	특정 도메인에 대한 답변 선능 향상	시간과 비용이 덜 하다.
단점	시간과 비용이 많이 필요하다.	잘 설계된 Prompt Engineering이 필요하다.

1) Fine Tuning

• Fine Tuning은 새로운 학습 데이터를 통해 사전에 학습된 LLM을 활용하여 재학습하는 것을 말한다.
• 모델이 매우 크기 때문에 많은 GPU가 필요하며, 이는 큰 비용을 초래한다.
• 특정 도메인에 대한 LLM 서비스를 개발할 때 도메인 최적화를 위해 많이 쓰인다.(ex. 금융 등)
• 제공하려는 서비스에 따라 만드는 학습 데이터 구조가 다르며, 데이터의 Bias(편향성), 윤리성, 관리 체계 등이 잘 고려되어야 한다.

2) In Context Learning

• In Context Learning은 LLM에 입력하는 값을 Prompt라고 하는데, LLM이 프롬프트 문맥을 파악하고, 그 문맥에 맞게 출력하게 하는 것을 말한다.
• Chat GPT랑 얘기할 때 마음에 들지 않는 답변이 나오면 조건을 더 붙이거나 구체적으로 설명해서 다시 물어보는데 이 과정에 대한 방법론이라고 생각하면 된다.
• 예시
  • 삼행시를 하는 로봇을 만드는 예시

# Prompt 
삼행시는 세글자인 단어가 주어졌을 때 단어의 각 문자로 시작되는 짧은 글을 짓는 게임을 말해. '사이다'로 삼행시 해줘
# Answer 
사랑하는 사이다야 
이름만 들어도 상큼해 
다 마신 후엔 행복이 가득해

• 한 번 물어볼 때 작성자가 원하는 답을 정확하게 얻는 기술을 Zero-Shot Learning이라고 한다.
• 그러나 똑같은 프롬프트를 여러 번 실행시켜보면, 그 성능이 좋지 않다는 것을 알 수 있다.

사랑스러운 
사이다 한잔 
산뜻한 하루 시작

• 일관성이 떨어지는 Zero-Shot-Learning을 보완하기 위해 예시를 제공하는 것을 N-Shot Learning이라고 한다.
• N은 제공하는 예시의 수

# Prompt
삼행시는 세글자인 단어가 주어졌을 때 단어의 각 문자로 시작되는 짧은 글을 짓는 게임을 말해.
Q: '자전거'로 삼행시 해줘
자: 자유로운 마음으로 세상을 누비는
전: 전진하는 발걸음에 힘을 실어주는
거: 거친 세상도 헤쳐나가는 용기를 주는 자전거
Q: '사이다'로 삼행시 해줘
# Answer
사: 사랑스러운 맛으로 입가를 즐겁게 하는 
이: 이슬처럼 시원한 얼음과 함께 마시는
다: 다양한 종류로 즐길 수 있는 상쾌한 사이다

• 두 번 만에 삼행시에서 벗어난 답변이 나왔다면, 이번에는 작성자가 원하는 대로 형태가 유지되서 나온 것을 볼 수 있다.

• 하지만, 더 다양한 표현들이 나왔으면 좋겠지만 예시 내용과 비슷한 감성적인 표현들이 나오고 제시된 예시처럼 ‘~한 사이다’와 같은 같은 구조를 쓴다.

• 이처럼 제공되는 정보가 한 쪽에 치우쳐져 있는 것을 Bias(편향) 라고 한다.

• Bias(편향) 은 LLM을 학습시킬 때 중요하게 고려해야 하는 요소이다.

3. LLM의 서비스 과정

① 내가 가진 정보를 데이터로 저장

• Text Split
  • 정보의 길이가 매우 길면 이를 쪼개서 관리하게 된다.
  • 어떤 기준으로 쪼갤 것인가에 대한 방법론이 다양하게 존재한다.
• Embedding
  • 문자를 분석하기 위해서는 숫자 벡터로 바꿔주는데 이를 Embedding(임베딩)이라고 한다.
  • 특히 한국어는 타 언어와 달리 조사, 어미, 시제 등 복잡해서 Embedding model이 중요하다.
  • 모델이 복잡할수록 임베딩하는 시간이 길어지기 때문에 미리 바꿔 DB에 저장한다.
  • Embedding된 데이터를 저장하게 되면 나중에 유사도를 빠르게 계산할 수 있다.

②, ③ 유사도 검색

• DB에서 사용자의 Question과 관련 있는 내용들을 추출하는 과정이다.
• Vector DB
  • 임베딩된 데이터들을 저장하는 저장소다.
  • 빠르게 조회하고, 유사도를 계산할 수 있는 라이브러리들이 계속해서 등장하고 있다.
  • Ex) FAISS, ChromaDB, ElasticSearch 등
• RAG(Retriever Augmented Generator)
  • 기존에 가지고 있는 DB에서 사용자가 질문한 내용과 관련된 내용들을 추출한 다음 그 정보를 기반으로 Prompt에 맞춰 대답하게 하는 기술
  • Hallucination은 LLM이 내용에 대해 모르는데도 거짓으로 답변하는 현상이다.
  • RAG를 사용하면 정보를 기반으로 대답하기 때문에 LLM이 자신이 알고 싶지 않다는 것을 인식하고 ‘그 부분은 학습하지 않았습니다. 대답할 수 없습니다.‘의 답변을 하게 할 수 있다.

④, ⑤ 추출된 문서와 사용자의 질문을 LLM에 입력

• 여러 정보들을 혼합하여 Question을 새롭게 만든 다음 LLM에 입력하는 과정이다.
• Prompt
  • Prompt는 내가 LLM에게 정보를 주면서 이렇게 출력해달라고 말하는 지시문이다.
  • ‘질문 + 질문과 유사한 문서들 + 별도의 지시’를 포함하여 템플릿을 만든 후 LLM에 입력한다.

---

Reference

PPS 연구원님의 LLM_전체적인 내용 정리 NVIDIA 트랜스포머 모델이란 무엇인가? (1) WikiDocs_Attention Mechanism 삼성 SDS Multi Modal