Support on-premise deployment and connect to self-hosted AI model

我想部署在离线内网服务器上，所以能支持其他离线ai模型吗？GPT需要联网，支持自定义AI模型吗

可以自己本地部署 Ollama 通过 ollama cp 模型名称 gpt-4 复制一个模型

可以自己本地部署Ollama 通过 ollama cp 模型名称 gpt-4 复制一个模型

有具体文档可以参考吗

直接 docker compose 起一个 ollama

version: "3.3"
services:
  ollama:
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities:
                - gpu
    image: ollama/ollama
    volumes:
      - ./ollama:/root/.ollama
    environment:
      - OLLAMA_ORIGINS=*
      - OLLAMA_MAX_QUEUE=256
      - OLLAMA_KEEP_ALIVE=-1
      - OLLAMA_NUM_PARALLEL=16
      - OLLAMA_MAX_LOADED_MODELS=4
    restart: always
    container_name: ollama
    ports:
      - 11434:11434
networks: {}

然后 docker exec -it ollama bash 终端 拉取 glm4 或者 qwen2 模型

ollama pull glm4

然后复制模型到 gpt4

ollama cp glm4 gpt4

之后就可以用了