撰于 阅读 79

部署一个属于你的 Hugging Face 镜像站

DeepSeek:本文介绍了一种轻便部署Hugging Face镜像站的解决方案。通过安装Python 中的 Olah 包即可快速启动服务,并启用磁盘缓存等加速功能。可灵活控制缓存策略及访问权限。

由于 hf-mirror 在国内少部分的使用环境中可靠性仍然不足 于是寻找到了另外一种轻便的解决方案

项目部署

安装Python

这里采用比较轻便的一键安装脚本 也可以选择自行编译安装
wget --no-check-certificate https://cdn.jsdmirror.com/gh/lx969788249/lxspacepy@master/pyinstall.sh && chmod +x pyinstall.sh && ./pyinstall.sh

安装 Olah

pip install olah

运行Olah

默认启用磁盘缓存

olah-cli

默认将会在您的 8090 端口上运行服务

是的 就是如此简单 如果您的磁盘空间够大 您现在就可以开始享受属于您的 Hugging Face 高速下载了 若空间有限,下文中会提供禁用掉磁盘缓存的方法。

禁用磁盘缓存

olah-cli -c configs.toml

将下列配置文件保存为configs.toml并退出

禁用缓存的 olah-cli 的配置如下

[basic]
host = "localhost" #监听的IP 地址
port = 8090 #监听的端口地址
ssl-key = ""
ssl-cert = ""
repos-path = "./repos"
cache-size-limit = ""
cache-clean-strategy = "LRU"
hf-scheme = "https"
hf-netloc = "huggingface.co"
hf-lfs-netloc = "cdn-lfs.huggingface.co"
mirror-scheme = "http"
mirror-netloc = "localhost:8090"
mirror-lfs-netloc = "localhost:8090"
mirrors-path = ["./mirrors_dir"]

[accessibility]
offline = false

# allow other or will be in whitelist mode.
[[accessibility.proxy]]
repo = "*"
allow = true

[[accessibility.proxy]]
repo = "*/*"
allow = true

[[accessibility.proxy]]
repo = "cais/mmlu"
allow = true

[[accessibility.proxy]]
repo = "adept/fuyu-8b"
allow = false

[[accessibility.proxy]]
repo = "mistralai/*"
allow = true

[[accessibility.proxy]]
repo = "mistralai/Mistral.*"
allow = false
use_re = true

# allow other or will be in whitelist mode.
[[accessibility.cache]]
repo = "*"
allow = false  # 禁止所有仓库的缓存

[[accessibility.cache]]
repo = "*/*"
allow = false # 可选: 为了更清晰,也显式禁止 namespaced repos 的缓存

[[accessibility.cache]]
repo = "cais/mmlu"
allow = false # 可选: 为了更清晰,也显式禁止 cais/mmlu 的缓存

[[accessibility.cache]]
repo = "adept/fuyu-8b"
allow = false # 已经是 false,保持不变

已有 3 条评论

  1. 技术前瞻性分析体现行业敏感度。

    回复
  2. 建议增加个人经历分享,增强情感穿透力。

    回复
  3. 文章结构紧凑,层次分明,逻辑严密,让人一读即懂。

    回复