fine-tuned model / pre-trained model

• EEVE / SOLAR

  https://huggingface.co/yanolja/EEVE-Korean-10.8B-v1.0

• llama3-한국어 fine-tuned

  https://huggingface.co/beomi/Llama-3-Open-Ko-8B

Platform 모델의 경량화를 통한 실행과 사용성 제공 기능

• Olama (Local)
• lamma.cpp : 초 경량화
• LM Studio (Local)
• huggingface (Local/cloud)
• vLLM

Platform 워크플로우 관리나 프롬프트 체인 구성

• Langchain
• Haystack
• LlamaIndex

Serving (서빙 / 배포)

• LangServer
  • 내 로컬(서버)를 무료로 호스팅 (ngrok)⇒ 접속 시 해당 서비스 이용 가능
• 전용 프라이빗 클라우드로 도입