Skip to content

armgit / peach

Public Imported from GitHub
0

Peach: Local-first video metadata scraper and media manager.

fix(packaging): Docker 容器里能按锁重建 amane 桥

longmeidao3031fb53958a
diff --git a/Dockerfile b/Dockerfile
index 21e3be127..0d9d74765 100644
--- a/Dockerfile
+++ b/Dockerfile
@@ -18,13 +18,16 @@ FROM python:3.14.8-slim-trixie
LABEL org.opencontainers.image.title="Peach" \
org.opencontainers.image.source="https://github.com/peach-mitao/peach" \
org.opencontainers.image.licenses="AGPL-3.0-or-later"
-RUN apt-get update && apt-get install -y --no-install-recommends ffmpeg openssl ca-certificates mesa-va-drivers vainfo \
+# uv 与 git 留给运行时按锁重建 amane 桥(ADR-0043):venv 落在卷上的 /data/tools,
+# 解释器用镜像自带的 3.14,禁止 uv 另下一份托管 Python 到不在卷上的家目录。
+RUN apt-get update && apt-get install -y --no-install-recommends ffmpeg openssl ca-certificates mesa-va-drivers vainfo git \
&& rm -rf /var/lib/apt/lists/* \
&& groupadd --gid 1000 peach && useradd --uid 1000 --gid 1000 --create-home peach \
&& mkdir /data && chown peach:peach /data
+COPY --from=uv /uv /usr/local/bin/uv
COPY --from=build /app/.venv /app/.venv
ENV PATH="/app/.venv/bin:$PATH" PEACH_DATA_ROOT=/data PYTHONUNBUFFERED=1 \
- PYTHONIOENCODING=utf-8 PYTHONUTF8=1
+ PYTHONIOENCODING=utf-8 PYTHONUTF8=1 UV_PYTHON_DOWNLOADS=never UV_LINK_MODE=copy
WORKDIR /data
USER peach
EXPOSE 8900
diff --git a/docs/DOCKER.md b/docs/DOCKER.md
index 94f0006f4..7e4a7bca5 100644
--- a/docs/DOCKER.md
+++ b/docs/DOCKER.md
@@ -93,6 +93,12 @@ VAAPI 尝试顺序为硬件解码加 `scale_vaapi` / `h264_vaapi`、软件解码
`ffmpeg -hwaccels` 列出构建支持的硬件加速方式,`ffmpeg -h decoder=h264` 等列出对应解码器支持的硬件设备。VAAPI 解码通过普通解码器的硬件加速接口启用,`ffmpeg -decoders` 中没有名为 `vaapi` 的解码器不代表缺少 VAAPI 解码支持。参数含义见 [FFmpeg 官方文档](https://ffmpeg.org/ffmpeg.html#Advanced-Video-options)。目标 GPU 的实际解码、GPU 占用与播放效果需要在部署机器上验证。
+## amane 刮削站点
+
+镜像带 uv 与 Git,不带 amane 本体([ADR-0043](adr/0043-amane-sites-via-thin-bridge-subprocess.md))。在「来源和凭证」的 amane 卡片点重建,或在任务中心「需要处理」点「立即重试」,Peach 按 `tools/amane-bridge/uv.lock` 下载 amane 及其依赖,首次约 98 MB。运行环境建在 `/data/tools/amane-bridge/.venv`,随 `/data` 卷保留,重启容器后无需重建。
+
+重建时容器要能访问 `github.com` 与 PyPI。解释器使用镜像自带的 Python 3.14;镜像设置了 `UV_PYTHON_DOWNLOADS=never`,uv 不会把另一份 Python 下载到不在卷上的家目录。uv 的下载缓存在家目录,重建容器后清空,不影响已建好的环境。镜像的 Python 次版本变化后,需要重新点一次重建。
+
## 更新与范围
更新镜像并重建容器时保留 `/data`。数据库有待执行迁移时,先备份并按 [运行与配置](OPERATIONS.md) 的迁移流程处理;Docker 启动入口不会自动迁移已有数据库。健康检查使用 `/healthz?ready=1`。
@@ -101,6 +107,6 @@ Linux 容器不读取用户电脑上的浏览历史,也不包含交互式浏
## 镜像发布
-构建使用官方 Python `3.14.8-slim-trixie` 与 uv `0.13.1`,依赖由 `uv.lock` 锁定,应用以非 editable 包安装,包含 Web 与迁移资源。镜像以 UID/GID 1000 运行,内置 FFmpeg、FFprobe 和 OpenSSL。构建上下文只允许代码与资源,不包含工作树、媒体、真实 Peach 数据库或凭据。
+构建使用官方 Python `3.14.8-slim-trixie` 与 uv `0.13.1`,依赖由 `uv.lock` 锁定,应用以非 editable 包安装,包含 Web 与迁移资源。镜像以 UID/GID 1000 运行,内置 FFmpeg、FFprobe、OpenSSL,以及重建 amane 桥用的 uv 与 Git。构建上下文只允许代码与资源,不包含工作树、媒体、真实 Peach 数据库或凭据。
GitHub Actions 的 `Docker` 工作流先构建并运行临时卷验收,通过后发布。仓库变量 `DOCKERHUB_USERNAME` 和机密 `DOCKERHUB_TOKEN` 用于 Docker Hub 发布;机密只保存在 GitHub,不进入项目文件。未配置发布身份时仍执行构建验收。ARM 镜像需通过同等运行验收后再加入发布。
diff --git a/docs/SOURCING.md b/docs/SOURCING.md
index d255d9611..8e5b3e229 100644
--- a/docs/SOURCING.md
+++ b/docs/SOURCING.md
@@ -211,7 +211,8 @@ Wiki 与视频作品资料无关。
### 经 amane 桥的站
有些站不是 Peach 自己的解析器,由 amane 经 `tools/amane-bridge/` 的子进程回答(ADR-0043)。桥的 venv 在
-「来源和凭证」页那张卡上重建,钉住的版本只由人改。
+「来源和凭证」页那张卡上重建,钉住的版本只由人改。venv 里读到 amane 的包元数据才算已安装,重建中途失败留下的
+半截环境照旧显示未安装。Docker 部署见 [Docker 部署](DOCKER.md#amane-刮削站点)。
- **社区档 `amane`**:avsox,以及只能由覆盖点名的 fc2club、freejavbt、airav。链上合成一档,一次子进程并发
问完。上游报的 `rate_limited` 按 429 那一档、`cloudflare_*` 与 `ip_banned` 按 403 那一档写进同一份冷却记录;
diff --git a/scripts/smoke_docker.py b/scripts/smoke_docker.py
index 93e0a3591..7b993f1f0 100644
--- a/scripts/smoke_docker.py
+++ b/scripts/smoke_docker.py
@@ -83,6 +83,16 @@ def transcode_checks(name: str) -> None:
assert report["streams"][0] == {"codec_name": "h264", "pix_fmt": "yuv420p"}, report
+def amane_checks(name: str) -> None:
+ """断网容器核对 amane 桥的重建前提:uv 与 Git 在 PATH,uv 不下载就找得到 3.14,venv 落在卷上。"""
+ assert docker("exec", name, "uv", "--version").startswith("uv ")
+ assert docker("exec", name, "git", "--version").startswith("git version ")
+ docker("exec", name, "uv", "python", "find", "--no-python-downloads", "3.14")
+ bridge = json.loads(request(name, "/api/scraping/amane-bridge"))
+ assert bridge["python"] == "/data/tools/amane-bridge/.venv/bin/python", bridge
+ assert bridge["installed"] is False and bridge["revision"], bridge
+
+
def main() -> None:
parser = argparse.ArgumentParser()
parser.add_argument("image")
@@ -122,6 +132,7 @@ def main() -> None:
media = json.loads(request(name, f"/stream?id={asset}", headers={"Range": "bytes=0-63"}))
assert media == {"status": 206, "size": 64}, media
transcode_checks(name)
+ amane_checks(name)
config_path = "/data/config.toml"
original = docker("exec", name, "cat", config_path)
docker("exec", name, "python", "-c",
@@ -140,7 +151,7 @@ def main() -> None:
assert docker("exec", name, "cat", config_path) == original
print(json.dumps({"image": args.image, "checks": ["non-root", "ready", "auth", "configuration",
"scan", "range", "vaapi-stack", "transcode-fallback",
- "reload", "restart", "persistence"]}))
+ "amane-prerequisites", "reload", "restart", "persistence"]}))
finally:
docker("rm", "--force", name, check=False)
docker("volume", "rm", volume, check=False)
diff --git a/src/peach/metadata_amane.py b/src/peach/metadata_amane.py
index a69ba278a..f76c5aff3 100644
--- a/src/peach/metadata_amane.py
+++ b/src/peach/metadata_amane.py
@@ -198,13 +198,22 @@ def describe(tools_root: Path, *, root: Path = BRIDGE_ROOT) -> dict:
"license": AMANE_LICENSE,
"revision": pinned_revision(root),
"version": locked_version(root),
- "installed": python.is_file(),
+ "installed": installed(tools_root),
"installed_version": installed_version(tools_root),
"python": str(python),
"sites": [{"source": name, "label": label} for name, label in SITES.items()],
}
+def installed(tools_root: Path) -> bool:
+ """解释器和 amane 的包元数据都在才算装好。
+
+ `uv sync` 先建 venv 再下载依赖,拉不到 GitHub 时会留下一个只有解释器的空壳;
+ 只看解释器在不在,这种半截环境会被当成已安装。
+ """
+ return bridge_python(tools_root).is_file() and bool(installed_version(tools_root))
+
+
def installed_version(tools_root: Path) -> str:
"""从独立运行环境的包元数据读取版本,不导入上游或启动子进程。"""
from importlib.metadata import distributions
diff --git a/tests/test_metadata_amane.py b/tests/test_metadata_amane.py
index 570cabe54..73f2f2665 100644
--- a/tests/test_metadata_amane.py
+++ b/tests/test_metadata_amane.py
@@ -28,6 +28,12 @@ def completed(stdout, returncode=0, stderr=""):
return subprocess.CompletedProcess(args=[], returncode=returncode, stdout=stdout, stderr=stderr)
+def write_amane_metadata(tools, version):
+ package = metadata_amane.bridge_home(tools) / ".venv" / "Lib" / "site-packages" / f"amane-{version}.dist-info"
+ package.mkdir(parents=True)
+ (package / "METADATA").write_text(f"Metadata-Version: 2.1\nName: amane\nVersion: {version}\n", encoding="utf-8")
+
+
def report(**sites):
return json.dumps({"number": "FC2-PPV-1234567", "language": "jp", "sites": sites,
"amane": {"version": "0.16.1"}}, ensure_ascii=False)
@@ -141,6 +147,7 @@ class RebuildTests(unittest.TestCase):
def build(*args, **kwargs):
python.parent.mkdir(parents=True, exist_ok=True)
python.write_text("", encoding="utf-8")
+ write_amane_metadata(tools, "0.20.0")
return completed("")
done = metadata_amane.rebuild(tools, runner=build)
@@ -161,10 +168,19 @@ class RebuildTests(unittest.TestCase):
def test_installed_version_reads_the_isolated_package_metadata(self):
with tempfile.TemporaryDirectory() as tmp:
tools = Path(tmp)
- package = metadata_amane.bridge_home(tools) / ".venv" / "Lib" / "site-packages" / "amane-0.17.0.dist-info"
- package.mkdir(parents=True)
- (package / "METADATA").write_text("Metadata-Version: 2.1\nName: amane\nVersion: 0.17.0\n", encoding="utf-8")
+ write_amane_metadata(tools, "0.17.0")
self.assertEqual(metadata_amane.describe(tools)["installed_version"], "0.17.0")
+
+ def test_a_venv_left_by_a_failed_sync_is_not_installed(self):
+ with tempfile.TemporaryDirectory() as tmp:
+ tools = Path(tmp)
+ python = metadata_amane.bridge_python(tools)
+ python.parent.mkdir(parents=True)
+ python.write_text("", encoding="utf-8")
+ self.assertFalse(metadata_amane.describe(tools)["installed"])
+ write_amane_metadata(tools, "0.20.0")
+ self.assertTrue(metadata_amane.describe(tools)["installed"])
+
def test_the_upstream_tag_is_never_guessed(self):
class Client:
def __init__(self, status, body):