LLM / LangChain / Fine-Tuning

💡 LLM 

• Large Language Model
• 딥러닝 알고리즘과 통계 모델링을 통해 자연어 처리 작업을 수행하는데에 사용
• 대규모 언어 데이터를 학습하여 문장 구조나 문법, 의미 등을 이해하고 생성할 수 있다

 

💡 sLM 과의 차이

• sLm (small Language Model)
• sLLM (small Large Language Model) : LLM 중에서도 상대적으로 작은 크기를 가진 모델
• ⇒ 자연어 처리 (NLP) 분야에서 사용되는 인공지능 언어 모델의 크기나 능력을 구분

 

💡 파라미터

• LLM은 엄청난 수의 파라미터로 정의됨 (⇒ Large의 의미는 모델이 가진 Parameter가 많다는 것을 의미)ex) BERT : 수억개의 파라미터
• ex) BERT : 수억개의 파라미터
• ex) gpt-3 : 1750억개의 파라미터

 

 

💡 RAG (Retrieval-Augmented Generation) 

• 검색 증강 생성
• 기존의 언어 모델에 외부 지식을 결합하여 더욱 정확하고 최신의 정보를 제공하는 접근 방식
• LLM의 한계를 극복하기 위해 개발됐음

💡LLM의 한계

• 기존의 LLMs는 학습 시점의 데이터에 기반하여 지식을 습득
  • 2023년까지의 데이터로 학습된 모델은 2024년 이후의 사건들에 대해 답변 불가
• 환각문제 (Hallucination)
  • 실제로 존재하지 않는 정보를 생성하는 ‘환각’ 현상을 보임
  • 그럴듯한 답변을 하지만, 실상은 다를 수 있음
• 출처 추적의 어려움
  • 기존 모델들은 생성한 정보의 출처를 명확히 제시하기 어려움
• 도메인 특화 지식의 한계
  • 범용 LLMs는 광범위한 주제를 더 많이 알고, 특정 도메인의 심도 있는 전문 지식을 모두 포함하긴 어려움

∴ RAG가 없다면, LLM은 사용자 입력을 받아 훈련한 정보 또는 이미 알고 있는 정보를 기반으로 응답을 생성하게 됨

 

💡RAG 의미

• 검색 (Retrieval)
  • 사용자의 질문을 분석하여 관련 키워드를 추출하고, 이를 바탕으로 외부 db나 지식 기반에서 관련 정보를 검색
  • 벡터 유사도 등의 기술을 활용해서 문서나 정보 선발
• 증강 (Augmentation)
  • 검색된 정보를 LLM의 입력에 추가
  • 이 과정에서 검색 결과를 요약하거나, 재구성하여 LLM이 효과적으로 활용할 수 있는 형태로 가공
• 생성 (Generation)
  • 증강된 입력을 바탕으로 LLM이 최종 응답을 생성
  • 이 과정에서 LLM은 검색된 정보와 자체 학습된 지식을 결합하여 보다 정확하고 맥락에 맞는 응답을 생성
  • 필요에 따라 생성된 응답의 품질을 평가하고 개선하는 과정을 거침

 

💡 PEET (Parameter-Efficient Fine-Tuning)

• 적은 양의 매개변수를 학습하는 것 만으로도 빠른 시일 안에 새로운 문제를 비슷한 성능으로 풀 수 있게 하기 위한 미세조정(Fine-Tuning) 방법론
• 모델 전체를 미세조정 하는 것보다, 훨씬 적은 계산 자원과 데이터가 필요함
• 다양한 태스크나 문제에 대해 모델을 빠르게 적용하거나, 실험하려는 연구자나 개발자에게 매우 유용함
  
  
  • LLM의 weight는 최소 1.5GB ~ 3GB
  • Model을 GPU에 로드하는 것만 해도, 엄청난 GPU 크기 소모
  • Fine-Tuning은 주로 Forward, Backward, 이를 통한 Update로 이뤄지는데 이때 발견된 gradient와 optimizer를 모두 GPU에 저장해야 함.
  • 결국, Fully Fine-Tuning 시, weight 수 * 2 ~ 3배의 GPU 용량이 필요함
    
    
• 💡Fully Fine-Tuning이 힘든 이유
  사전 학습된 LLM 모델 위에 얇은 레이어를 추가하여 파인튜닝하는 방식 덕분에 새로운 태스크에 대한 모델의 적용 및 평가를 수행 가능

💡 LoRA (Low-Rank Adaptation) 

• Huggingface에서 개발한 Parameter-Efficient Fine-Tuning 방식 (PEET) 중 하나
• 언어 모델을 구성하는 대부분의 매개변수 (parameter)의 가중치 (weight)를 그대로 유지한 채, 일부 매개변수에만 파인튜닝을 적용하여 가중치를 변경하는 파인 튜닝 방식 ⇒ 특정 부분만 집중적으로 수정하여 작업에 대한 성능을 개선
• 파이썬의 peft 라이브러리를 사용하여 쉽게 LoRA를 사용할 수 있음

 

💡 SaaS

• SaaS는 기업용 소프트웨어로, 고객들의 요구사항에 맞춰 소프트웨어 서비스를 제공해주는 것을 의미합니다.

• 사용자의 요청에 따라 기능을 추가하거나 용량을 관리하며, 언제 어디서든지 인터넷만 있으면 사용가능하다는 점에 발전가능성이 높은 시장이라 생각합니다.

 

💡 LLM & SaaS

• LLM이란 대규모 언어 모델로 데이터를 대규모로 학습하여 요구사항을 처리하는 모델을 의미합니다.

• LLM은 Text와 Code를 변환하거나, 또는 프로그래밍 언어를 변환하여 자연어 기반의 코드를 생성합니다.

• 이러한 LLM을 사용한다면, SaaS 플랫폼 개발에 도움이 될 것 이다.

• 특히, 고객의 요구사항을 조금 더 빠르고, 효율적으로 처리하여, SaaS 솔루션의 품질을 높일 수 있을 것입니다.

 

💡 최신 LLM (2024)

• Llama 3.1 (라마) https://yongeekd01.tistory.com/205
  • 메타에서 발표
  • 컨텍스트 길이가 128K로 확장
  • 8개 언어 지원이 추가됨
  • 최초의 프론티어급 오픈소스 AI 모델인 Llama 3.1 405B가 포함됨
  • 16,000개 이상의 H100 GPU로 밀어붙여 405B를 이 규모로 훈련된 최초의 라마 모델

• Mistral Large 2 https://yongeekd01.tistory.com/207
  • 유럽 인공지능 스타트업 미스트랄 AI가 플래그쉽 LLM 의 신규 버전
  • 1230억개 (123B)의 매개변수, 12만 8000토큰의 컨텍스트 창을 제공 (⇒ 라마 3.1 중 가장 큰 모델 (405B)에 비해 매개변수가 1/3 크기)
  • 추론, 코드 생성 및 수학 전반에 걸쳐 성능 개선
  • 언어 지원 : 한국어, 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 아랍어, 힌디어, 러시아어, 중국어, 일본어 (12개) + 프로그래밍 언어 (80개)
  • 합성 텍스트 생성, 코드 생성, 검색 증강 생성(RAG)와 같이 높은 추론 능력이 필요하거나 매우 특수화된 작업에 효과적

 

💡 Lang Chain 

• 언어 모델을 기반으로 한 애플리케이션을 개발하기 위한 프레임워크

• 언어 모델을 API를 통해 호출 (라이브러리 호출)

• 외부 데이터를 인식 및 타 시스템과의 상호작용하는 애플리케이션 개발

 

💡 GPT-4o

• 지피티 포오라고 읽음

• 여기서 ‘o’는 “모든”, “전체의”라는 뜻을 전달하는 접두사인 ‘Omni’의 약자

• 텍스트뿐만 아니라 이미지, 음성 등 ‘모든’ 형태의 입력을 이해하고 처리할 수 있는 능력이 있다는 걸 강조하려는 의도가 담긴 이름

• GPT-4o는 가장 빠르고 저렴한 모델, GPT-4는 이전의 고지능 모델
  • GPT-4o가 보고, 듣고, 말할 수 있다는 것입니다. 핸드폰 카메라를 통해서 사람의 표정을 읽을 수 있고, 사람과 대화하는 것과 유사한 속도로 대화를 할 수 있습니다.
  • GPT-4o는 232밀리 초안에 응답할 수 있는데, 이건 인간끼리 대화가 오가는 속도랑 비슷한 수치
  • GPT-4o는 영어 외 언어 능력도 개선

💡 Claude 3.5 Sonnet

• Anthropic사의 발표에 따르면, Claude 3.5 Sonnet은 거의 모든 벤치마크 테스트에서 OpenAI의 GPT-4와 Google의 Gemini 1.5 Pro와 같은 다른 유명 AI 모델들을 능가

 

💡 차이

• 파일 호환성: GPT-4o가 다양한 파일 형식을 지원하며 우수한 호환성을 보였다.

• 언어 능력과 추론능력: 클로드 3.5 Sonnet이 이 부분에서 약간 더 뛰어난 모습을 보여주었다.

• 데이터 분석: GPT-4o가 이 영역에서 더 강점을 보였다.