for IF

1. 한국어 임베딩 모델이란텍스트, 이미지, 오디오와 같은 데이터를 고차원 공간에서 저차원 벡터로 변환하는 기계 학습 모델컴퓨터는 텍스트를 이해할 수 없으므로, 텍스트 데이터를 벡터 형태로 변환해야 기계 학습에서 사용할 수 있음유사한 의미를 가진 텍스트는 임베딩 공간에서 서로 가까운 위치에 배치임베딩 모델의 작동 방식학습 데이터 : 대규모 텍스트 데이터로 모델을 학습시켜 언어의 통계적 특성을 파악학습 방법 : 단어 간의 연관성을 기반으로 벡터를 학습최근에는 딥러닝 기반의 Transformer 모델(BERT, GPT 등)을 사용해서 더 정교한 문맥 정보를 포함출력 결과 : 각 텍스트는 다차원 벡터로 표현되며, 벡터의 크기와 방향의 텍스트의 의미를 반영하며, 벡터 간 연산을 통해 유사성을 계산2. SOTA란..

1. Vector DataBase란벡터 데이터베이스는 고차원 데이터의 효율적인 저장, 검색, 및 관리에 특화된 데이터베이스입니다.전통적인 데이터베이스가 정형화된 데이터처리에 초점을 맞춘 반면, 벡터 데이터베이스는 비정형 데이터(이미지, 텍스트, 음성 등)를 수치화한 벡터 데이터를 다룹니다.2. Vector DataBase 특징비정형 데이터를 벡터로 변환시, 데이터는 다차원 공간에서 좌표로 표현됩니다. 이러한 벡터는 데이터 간의 유사도를 측정하거나, 패턴을 분석하는 데 사용됩니다.최적화된 벡터 스토리지 : 벡터 데이터베이스는 고차원 벡터의 저장 및 검색을 위해 최적화 과정 진행, 이를 위해 특수한 데이터 구조와 알고리즘 구현능숙한 유사 검색 : 유사도 검색에 매우 탁월하며, ‘코사인 유사도’ 및 ‘유클리드..

0. LoRA💡 Fine-Tuning사전에 훈련된 모델을 특정 작업에 맞게 추가로 훈련시키는 방법적은 비용으로도 큰 모델을 효율적으로 훈련시킬 수 있는 장점 제공 💡 PEET (Parameter-Efficient Fine-Tuning)적은 양의 매개변수를 학습하는 것 만으로도 빠른 시일 안에 새로운 문제를 비슷한 성능으로 풀 수 있게 하기 위한 미세조정(Fine-Tuning) 방법론모델 전체를 미세조정 하는 것보다, 훨씬 적은 계산 자원과 데이터가 필요함다양한 태스크나 문제에 대해 모델을 빠르게 적용하거나, 실험하려는 연구자나 개발자에게 매우 유용함💡 Fully Fine-Tuning이 힘든 이유  LLM의 weight는 최소 1.5GB ~ 3GBModel을 GPU에 로드하는 것만 해도, 엄청난 GP..

목표vscode 및 eclipse에서 제공하는 continue extension에 대한 조사 및 구축VSCode Continuehttps://github.com/continuedev/continue오픈 AI-code assistant로, LLM을연결해 커스텀 code completion과 chatting을 사용할 수 있는 툴VSCode와 JetBrain의 플러그인 방식으로 설치 가능SaaS 스타일의 LLM API뿐만 아니라, 로컬이나 원격에 구축한 LLM 모델을 API 호출하여 응답을 받아올 수 있음Continue Assistant Model 주요기술Code Suggestion : 작성 중인 맥락과 패턴을 바탕으로 다음에 들어올 수 있는 코드 추천Code Completion : 작성 중인 맥락과 패턴을 ..

💡 LLM과의 상관관계LLM은 기존의 머신러닝 모델과는 달리, 인간의 언어를 이해하고, 사용자로부터 제공 받은 지시사항에 따라 인간과 유사하게 작업을 수행하는 능력을 갖춤LLM은 기계학습 알고리즘을 통해 구현됨LLM은 텍스트 형태의 입력을 통해 사용자의 의도를 파악하고, 적절한 반응을 생성함💡 Prompt란언어 모델에 텍스트를 제공하는 것사용자의 지시사항, 질문, 요청 등이 담길 수 있음모델이 이를 해석하고, 처리해 원하는 출력을 얻을 수 있음ex) ChatGPT와 소통하기 위한 텍스트창💡 Prompt EngineeringContext Window일반적으로 몇 천 단어의 정보를 처리하고, 저장할 수 있는 것모델이 사용자의 입력을 이해하고, 과거의 정보를 현재의 상황에 적용하게 해줌Prompt문장 (..

💡 Ollama로컬에서 대형 언어 모델 (LLM)을 쉽게 사용할 수 있도록 지원하는 플랫폼macOs, Windows, Linux에서 간편하게 설치할 수 있음Docker를 지원하여 더욱 다양한 환경에서 활용 가능ollama run llama3 //출시된 AI 모델을 RUN 가능exampleOllama는 웹 UI 기능을 제공가이드라인Ollama 서버 실행OLLAMA_ORIGINS=* ollama servechatbot-ollama 코드 다운로드 및 패키지 설치git clone git@github.com:ivanfioravanti/chatbot-ollama.git cd chatbot-ollama npm installchatbot-ollama 웹 서버 실행npm run devOllama 웹 UI 접속 (htt..

💡 LLM Large Language Model딥러닝 알고리즘과 통계 모델링을 통해 자연어 처리 작업을 수행하는데에 사용대규모 언어 데이터를 학습하여 문장 구조나 문법, 의미 등을 이해하고 생성할 수 있다 💡 sLM 과의 차이sLm (small Language Model)sLLM (small Large Language Model) : LLM 중에서도 상대적으로 작은 크기를 가진 모델⇒ 자연어 처리 (NLP) 분야에서 사용되는 인공지능 언어 모델의 크기나 능력을 구분 💡 파라미터LLM은 엄청난 수의 파라미터로 정의됨 (⇒ Large의 의미는 모델이 가진 Parameter가 많다는 것을 의미)ex) BERT : 수억개의 파라미터ex) BERT : 수억개의 파라미터ex) gpt-3 : 1750억개의 파라..

AI HUB 한국어 글자체 이미지 중 TEXT IN THE WILD 다운로드 import json with open('./textinthewild_data_info.json', 'rt', encoding='UTF8') as file: file = json.load(file) file.keys() #dict_keys(['info', 'images', 'annotations', 'licenses']) file['info'] #{'name': 'Text in the wild Dataset', 'date_created': '2019-10-14 04:31:48'} type(file['images']) #list file['images'][0]['type'] == 'books' # True goods = [f fo..