Ollama / Embedding

💡 Ollama

• 로컬에서 대형 언어 모델 (LLM)을 쉽게 사용할 수 있도록 지원하는 플랫폼
• macOs, Windows, Linux에서 간편하게 설치할 수 있음
• Docker를 지원하여 더욱 다양한 환경에서 활용 가능

ollama run llama3 //출시된 AI 모델을 RUN 가능

example

• Ollama는 웹 UI 기능을 제공

가이드라인

1. Ollama 서버 실행
   OLLAMA_ORIGINS=* ollama serve
2. chatbot-ollama 코드 다운로드 및 패키지 설치
   git clone git@github.com:ivanfioravanti/chatbot-ollama.git cd chatbot-ollama npm install
3. chatbot-ollama 웹 서버 실행
   npm run dev
4. Ollama 웹 UI 접속 (http://localhost:3000 접속)

💡 Embedding

• 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 및 과정
• 단어의 빈도를 그대로 벡터로 사용하는 것
• 변환시킨 벡터 값에 의미와 정보를 손실없이 잘 담아낼수록 좋은 임베딩
  
  

💡 Embedding의 역할

• 단어/문장 간 관련도 계산
  • 구글에서 발표한 “Word2Vec” : 글자를 벡터 값으로 변환

  

  
  
  • 단어 벡터들 사이의 유사도 계산 가능
    
    코사인 유사도 
    • 두 벡터간의 코사인 값을 이용하여 구할 수 있는 두 벡터의 유사도
    • 1에 가까울 수록 유사도가 높다.
      

      

• 의미적/문법적 정보 함축
  
  • 벡터인 만큼 사칙연산이 가능
    ⇒ 단어들 간의 덧셈/뺄셈을 통해 단어들 사이의 관계를 도출 가능
  • ex) 단어 벡터 1 - 단어 벡터 2 + 단어 벡터 3
    “소년” - “소녀” + “소년” = “소년” (’성별’로 치환 시)
    “아들” - “딸” + “소년” = “소년” 시, 성공적
• 전이학습
  • 다른 딥러닝 모델의 입력값으로 자주 쓰이고, 품질 좋은 임베딩을 쓸수록 모델의 성능이 좋아짐
  • 전이 학습 모델도 마찬가지로 0부터 시작하지 않음
  • 대규모 말뭉치를 활용해서 미리 임베딩을 만들어 놓고, 이 임베딩을 입력값으로 쓰는 전이 학습 모델은 문서 분류같은 태스크를 빠르게 잘할 수 있게 됨
  • 임베딩 품질이 좋을수록 수행하려는 태스크의 성능이 올라가고, 학습손실도 적고 빠르게 감소하여 모델의 수렴이 빨라짐