환경 설정

# 모델 검색
# Ollama: https://ollama.com/search
# Hugging Face: https://huggingface.co/

# 모델 설치 (pull)
ollama pull llama3.2

# 모델 설치 및 실행 (run)
ollama run llama3.2

# 설치된 모델 목록 확인
ollama list

FROM hyperclova.gguf

# 시스템 역할 정의
SYSTEM """
너는 친절하고 똑똑한 한국어 인공지능 비서야.
사용자의 질문에 대해 오직 **한국어**로, **간결하고 핵심적인 답변**만 해.
영어로 절대 대답하지 마.
"""

# 프롬프트 템플릿
TEMPLATE """
### 질문:
{{ .Prompt }}

### 답변:
"""

# LLM 생성 파라미터
PARAMETER temperature 0.4
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.2
PARAMETER stop "###"
PARAMETER num_predict 512

# GGUF 및 Modelfile이 있는 경로에서
ollama create hyperclova -f Modelfile

# 모델 실행
ollama run hyperclova

# 모델 목록 확인
ollama list

# 가상 환경 생성 및 활성화
python -m venv venv
.\venv\Scripts\activate  # Windows
source ./venv/bin/activate  # Linux/macOS

# 필요 패키지 설치
pip install -U huggingface-hub transformers optimum[onnx] onnxruntime sentence-transformers

# ONNX로 Export
optimum-cli export onnx -m sentence-transformers/all-MiniLM-L6-v2 ./output

services:
  redis:
    image: redis/redis-stack:latest
    container_name: redis-stack
    ports:
      - "6379:6379"
      - "8001:8001"
    volumes:
      - ./redis_data:/data

docker-compose up -d  # Redis Stack 시작
docker ps             # 컨테이너 확인

spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        model: qwen2.5:7b
        options:
          temperature: 0.4
    model:
      embedding: transformers
    embedding:
      transformer:
        onnx:
          modelUri: classpath:model/model.onnx
        tokenizer:
          uri: classpath:model/tokenizer.json
    vectorstore:
      redis:
        initialize-schema: true
        index-name: document-index
    document:
      path: file:C:/workspace-test/upload/data/**/*
      chunk-size: 4000
  data:
    redis:
      host: localhost
      port: 6379

rag:
  enable-query-compression: true
  similarity:
    threshold: 0.20
  top-k: 3

chat:
  memory:
    max-messages: 20

mvn spring-boot:run