for IF

0. LoRA💡 Fine-Tuning사전에 훈련된 모델을 특정 작업에 맞게 추가로 훈련시키는 방법적은 비용으로도 큰 모델을 효율적으로 훈련시킬 수 있는 장점 제공 💡 PEET (Parameter-Efficient Fine-Tuning)적은 양의 매개변수를 학습하는 것 만으로도 빠른 시일 안에 새로운 문제를 비슷한 성능으로 풀 수 있게 하기 위한 미세조정(Fine-Tuning) 방법론모델 전체를 미세조정 하는 것보다, 훨씬 적은 계산 자원과 데이터가 필요함다양한 태스크나 문제에 대해 모델을 빠르게 적용하거나, 실험하려는 연구자나 개발자에게 매우 유용함💡 Fully Fine-Tuning이 힘든 이유  LLM의 weight는 최소 1.5GB ~ 3GBModel을 GPU에 로드하는 것만 해도, 엄청난 GP..

💡 LLM과의 상관관계LLM은 기존의 머신러닝 모델과는 달리, 인간의 언어를 이해하고, 사용자로부터 제공 받은 지시사항에 따라 인간과 유사하게 작업을 수행하는 능력을 갖춤LLM은 기계학습 알고리즘을 통해 구현됨LLM은 텍스트 형태의 입력을 통해 사용자의 의도를 파악하고, 적절한 반응을 생성함💡 Prompt란언어 모델에 텍스트를 제공하는 것사용자의 지시사항, 질문, 요청 등이 담길 수 있음모델이 이를 해석하고, 처리해 원하는 출력을 얻을 수 있음ex) ChatGPT와 소통하기 위한 텍스트창💡 Prompt EngineeringContext Window일반적으로 몇 천 단어의 정보를 처리하고, 저장할 수 있는 것모델이 사용자의 입력을 이해하고, 과거의 정보를 현재의 상황에 적용하게 해줌Prompt문장 (..

💡 Ollama로컬에서 대형 언어 모델 (LLM)을 쉽게 사용할 수 있도록 지원하는 플랫폼macOs, Windows, Linux에서 간편하게 설치할 수 있음Docker를 지원하여 더욱 다양한 환경에서 활용 가능ollama run llama3 //출시된 AI 모델을 RUN 가능exampleOllama는 웹 UI 기능을 제공가이드라인Ollama 서버 실행OLLAMA_ORIGINS=* ollama servechatbot-ollama 코드 다운로드 및 패키지 설치git clone git@github.com:ivanfioravanti/chatbot-ollama.git cd chatbot-ollama npm installchatbot-ollama 웹 서버 실행npm run devOllama 웹 UI 접속 (htt..