1. Embedding

• 문서분할 단계에서 생성된 문서 단위들을 기계가 이해할 수 있는 수치적 형태로 변환하는 과정
• 문서의 의미를 벡터(숫자의 배열) 형태로 표현
• 사용자가 입력한 질문(Query) 에 대하여 DB 에 저장한 문서 조각/단락(Chunk) 을 검색하여 가져올 때 유사도 계산시 활용

2. 벡터 저장소

• 생성된 임베딩 벡터들을 효율적으로 저장하고 관리하는 과정
• 검색 과정에서 벡터들을 빠르게 조회하고, 관련 문서를 신속하게 찾아내는 데 필수적
• 필요성
  • indexing을 통한 대량의 데이터 검색 속도 향상
  • 데이터 증가에 따른 확장성
  • 키워드 기반이 아닌 의미 검색 (semantic search)
• 중요성
  • RAG의 검색기능과 직접적으로 연결
  • 시스템의 전체 응답 시간과 정확성에 큰 영향

2.1. 벡터 데이터베이스 비교

2.2. Chroma

vector 저장소 생성

• from_document

  • 문서 리스트로부터 벡터 저장소를 생성
  • 저장 경로를 지정하여 문서를 디스크에 저장

  persist_db = Chroma.from_documents(
      split_doc1, OpenAIEmbeddings(), persist_directory=DB_PATH, collection_name="my_db"
  )
  

• from_text : 텍스트 리스트로부터 생성