Skip to content

armgit / peach

Public Imported from GitHub
0

Peach: Local-first video metadata scraper and media manager.

ci(release): 演练每个平台只跑一次全量,清扫不挡发版,CI 等整机锁按作业时限

longmeidao819899858039
diff --git a/.gitlab-ci.yml b/.gitlab-ci.yml
index 86d72aa4b..a69b6a2f1 100644
--- a/.gitlab-ci.yml
+++ b/.gitlab-ci.yml
@@ -64,20 +64,16 @@ variables:
- build/agent-verification/browser/setup-serve.log
- build/test-history/
+# 三平台验收在版本提交上由演练规则改成全量(规则变量 PEACH_CI_COVERAGE=full 覆盖作业变量),
+# 每个平台只跑一次全量;标签流水线由 validate-release 核对同一提交的演练已通过,不再重跑。
verify-linux:
extends: .verify-linux
rules:
+ - !reference [.release-rehearsal, rules]
- if: '$CI_COMMIT_BRANCH || $CI_PIPELINE_SOURCE == "merge_request_event"'
variables:
PEACH_CI_COVERAGE: changed
-# 三平台全量只在版本提交的演练里跑;标签流水线由 validate-release 核对同一提交的演练已通过。
-release-verify-linux:
- extends: .verify-linux
- rules: !reference [.release-rehearsal, rules]
- variables:
- PEACH_CI_COVERAGE: full
-
.verify-windows:
stage: verify
tags: [peach-windows]
@@ -94,16 +90,11 @@ release-verify-linux:
verify-windows:
extends: .verify-windows
rules:
+ - !reference [.release-rehearsal, rules]
- if: '$CI_COMMIT_BRANCH == "master"'
variables:
PEACH_CI_COVERAGE: changed
-release-verify-windows:
- extends: .verify-windows
- rules: !reference [.release-rehearsal, rules]
- variables:
- PEACH_CI_COVERAGE: full
-
.verify-macos:
stage: verify
tags: [peach-macos]
@@ -119,16 +110,11 @@ release-verify-windows:
verify-macos:
extends: .verify-macos
rules:
+ - !reference [.release-rehearsal, rules]
- if: '$CI_COMMIT_BRANCH == "master"'
variables:
PEACH_CI_COVERAGE: changed
-release-verify-macos:
- extends: .verify-macos
- rules: !reference [.release-rehearsal, rules]
- variables:
- PEACH_CI_COVERAGE: full
-
wheel-smoke:
stage: package
image: ghcr.io/astral-sh/uv:0.13.3-python3.14-trixie-slim
@@ -152,14 +138,15 @@ wheel-smoke:
expire_in: 14 days
paths: [build/wheelhouse/]
-# 发版分两步(ADR-0121):版本提交 `chore(release): 版本 X` 推上 master 时演练整条发布链,三平台全量、
-# 媒体、构建、冒烟与镜像都跑,只是不发布;`release_tag.py --ship` 等这条流水线转绿才打标签。
+# 发版分两步(ADR-0121):版本提交 `chore(release): 版本 X` 推上 master 时演练整条发布链,三平台验收
+# 改跑全量,媒体、构建、冒烟与镜像都跑,只是不发布;`release_tag.py --ship` 等这条流水线转绿才打标签。
# 标签流水线核对同一提交的演练已通过,重新构建后发布,不再重跑全量;任何一步没过都不发布任何东西。
.release-rehearsal:
rules:
- if: '$CI_COMMIT_BRANCH == "master" && $CI_COMMIT_REF_PROTECTED == "true" && $CI_COMMIT_MESSAGE =~ /^chore\(release\): 版本 /'
variables:
PEACH_RELEASE_REHEARSAL: "1"
+ PEACH_CI_COVERAGE: full
.release-publish:
rules:
@@ -213,7 +200,7 @@ build-windows:
stage: build
tags: [peach-windows]
rules: !reference [.release-linux, rules]
- needs: [windows-media, {job: release-verify-windows, artifacts: false, optional: true}]
+ needs: [windows-media, {job: verify-windows, artifacts: false, optional: true}]
environment:
name: release
action: prepare
@@ -240,7 +227,7 @@ build-macos:
# 两个架构各自从源码编译 x264、ffmpeg 与 untrunc,不走缓存;windows-media 单架构交叉编译 ffmpeg 与 untrunc 约 17 分钟。
timeout: 2h
rules: !reference [.release-linux, rules]
- needs: [{job: validate-release, optional: true}, {job: release-verify-macos, artifacts: false, optional: true}]
+ needs: [{job: validate-release, optional: true}, {job: verify-macos, artifacts: false, optional: true}]
environment:
name: release
action: prepare
@@ -277,7 +264,7 @@ docker-build:
stage: smoke
tags: [peach-windows]
rules: !reference [.release-linux, rules]
- needs: [{job: validate-release, optional: true}, {job: release-verify-linux, artifacts: false, optional: true}]
+ needs: [{job: validate-release, optional: true}, {job: verify-linux, artifacts: false, optional: true}]
environment:
name: release
action: prepare
@@ -298,12 +285,21 @@ publish-docker:
- pwsh -NoProfile -File ./scripts/ci_windows.ps1 docker-push
- if ($LASTEXITCODE -ne 0) { throw 'Docker 镜像发布失败' }
-# 演练不发布:暂存在 R2 的本流水线产物删掉,不占容量预算。
+# 演练不发布:暂存在 R2 的本流水线产物删掉,不占容量预算。演练失败也照样回收(when: always),
+# 回收本身失败不挡发版(allow_failure,不在 REHEARSAL_JOBS 里)。
release-rehearsal-cleanup:
extends: .release-linux
stage: publish
- rules: !reference [.release-rehearsal, rules]
- needs: [smoke-windows, build-macos, docker-build]
+ rules:
+ - if: '$CI_COMMIT_BRANCH == "master" && $CI_COMMIT_REF_PROTECTED == "true" && $CI_COMMIT_MESSAGE =~ /^chore\(release\): 版本 /'
+ when: always
+ allow_failure: true
+ variables:
+ PEACH_RELEASE_REHEARSAL: "1"
+ needs:
+ - {job: smoke-windows, artifacts: false}
+ - {job: build-macos, artifacts: false}
+ - {job: docker-build, artifacts: false}
environment:
name: release
action: prepare
diff --git a/docs/TESTING.md b/docs/TESTING.md
index 405450b9f..4395df0ca 100644
--- a/docs/TESTING.md
+++ b/docs/TESTING.md
@@ -90,7 +90,7 @@ PR 计划按改动选择前端、vendor、wheel 与浏览器任务,文档 PR
Python 分片上传完整测试输出;浏览器分片上传 TAP、服务日志及已脱敏网络日志,保留 14 天。npm 审计遇到 high 或 critical 漏洞直接失败;只有临时网络错误最多请求三次,在前两次失败后分别等待 15 与 30 秒,未知响应不当成通过。
-GitGud 流水线(`.gitlab-ci.yml`)的 `verify-linux`、`verify-windows`、`verify-macos` 在分支与合并请求上跑改动域加本平台的平台敏感用例:基线是最近一条成功的主线流水线里、作为本提交祖先的那个提交,由 `scripts/ci_scope.py` 判定;先用正式入口跑 `auto --base <基线>`,选域与退回全量的规则同本机 `auto`,再用 `-Focus` 跑 `PLATFORM_TESTS` 里本平台的用例。取不到基线(首次推送、强推、接口不可达)、改了 `.gitlab-ci.yml` 本身,或改动落到必须全量的面时只跑一次全量。版本提交(`chore(release): 版本 X`)的主线流水线是发布演练:`release-verify-*` 三平台各跑一次全量,媒体、构建、冒烟与镜像也都跑,只是不发布;`--ship` 等它全部通过才打标签,标签流水线只构建和发布([ADR-0121](adr/0121-release-rehearsal-and-atomic-publication.md))。口径与平台集合的理由见 [ADR-0119](adr/0119-mainline-changed-scope-release-full-suite.md)。
+GitGud 流水线(`.gitlab-ci.yml`)的 `verify-linux`、`verify-windows`、`verify-macos` 在分支与合并请求上跑改动域加本平台的平台敏感用例:基线是最近一条成功的主线流水线里、作为本提交祖先的那个提交,由 `scripts/ci_scope.py` 判定;先用正式入口跑 `auto --base <基线>`,选域与退回全量的规则同本机 `auto`,再用 `-Focus` 跑 `PLATFORM_TESTS` 里本平台的用例。取不到基线(首次推送、强推、接口不可达)、改了 `.gitlab-ci.yml` 本身,或改动落到必须全量的面时只跑一次全量。版本提交(`chore(release): 版本 X`)的主线流水线是发布演练:演练规则把三个平台的验收改成全量,媒体、构建、冒烟与镜像也都跑,只是不发布;`--ship` 等它全部通过才打标签,标签流水线只构建和发布([ADR-0121](adr/0121-release-rehearsal-and-atomic-publication.md))。口径与平台集合的理由见 [ADR-0119](adr/0119-mainline-changed-scope-release-full-suite.md)。
Release 在媒体工具编译前核对同 SHA 主线 CI,缓存键绑定媒体工具源码清单与构建脚本,缓存内容同时含二进制和对应源码包;制品与独立开箱验收仍是发布前置。Docker 只在镜像相关主线改动、匹配 PR、版本标签或手动请求时运行,验收后推送同一个本地镜像。版本发布与覆盖升级验收不取消进行中的同目标运行;覆盖升级需明确选择目标版本及完整构建提交。
@@ -145,7 +145,7 @@ macOS 按影响域验证:
主检出只按 ADR-0091 只读检查依赖;缺包或检查失败时以 `3` 退出,依赖变更由重启流程执行。找不到 uv、锁文件过期或同步失败也会停止测试。前端依赖与构建仍按上文安装。完成安装和编辑后再启动最终验证;运行中发生改动时,完整批次按下述规则保留未受影响的文件结果。
-会起浏览器或整套 vitest 的运行(全量、选中 `test_web_e2e` 或 `test_frontend_build` 的域、含 `frontend/` 选择器的定向调试)先排整机的重负载锁 `%LOCALAPPDATA%\peach-test-locks\test-machine.lock`(macOS/Linux 在 `~/.local/state/peach-test-locks/`),再拿仓库的全量锁。所有工作树、所有会话与本机 GitGud runner 的作业都排这一把:Windows runner 就是开发机,本机测试与 CI 作业叠在一起跑时,固定时限的用例会因负载偶发超时。runner 的构建、冒烟与镜像作业用 `scripts/machine_lock.py` 包一层拿同一把锁;验证作业经测试入口,入口自己拿。
+会起浏览器或整套 vitest 的运行(全量、选中 `test_web_e2e` 或 `test_frontend_build` 的域、含 `frontend/` 选择器的定向调试)先排整机的重负载锁 `%LOCALAPPDATA%\peach-test-locks\test-machine.lock`(macOS/Linux 在 `~/.local/state/peach-test-locks/`),再拿仓库的全量锁。所有工作树、所有会话与本机 GitGud runner 的作业都排这一把:Windows runner 就是开发机,本机测试与 CI 作业叠在一起跑时,固定时限的用例会因负载偶发超时。runner 的构建、冒烟与镜像作业用 `scripts/machine_lock.py` 包一层拿同一把锁;验证作业经测试入口,入口自己拿。本机最多等 `--lock-timeout`(30 分钟),CI 作业(`CI=true`)最多等 60 分钟,排在本机两轮全量后面也等得到。只有已合入这套入口的工作树会排这把锁;还在旧 master 上的工作树要 rebase 之后才参与排队。
全量先单独跑一片秒级检查(`test_runner.GATE_TESTS`:仓库策略、编码、文案终态、上下文预算、源码断言棘轮、复杂度、Python lint、外发代理、仓库整洁与依赖清单,合计约 1 分钟),有一项不过就不起其余分片。
diff --git a/docs/adr/0121-release-rehearsal-and-atomic-publication.md b/docs/adr/0121-release-rehearsal-and-atomic-publication.md
index bf84a0595..7ad47bffc 100644
--- a/docs/adr/0121-release-rehearsal-and-atomic-publication.md
+++ b/docs/adr/0121-release-rehearsal-and-atomic-publication.md
@@ -16,7 +16,7 @@
## 决策
-**一、版本提交的主线流水线就是发布演练。** `release_tag.py --ship` 推上 master 的提交主题是 `chore(release): 版本 X`。`.gitlab-ci.yml` 的 `.release-rehearsal` 规则匹配这类提交,给作业设置 `PEACH_RELEASE_REHEARSAL=1`,然后跑完标签上除发布以外的全部作业:三平台全量(`release-verify-*`)、`windows-media`、`build-windows`、`build-macos`、`smoke-windows` 和 `docker-build`。最后由 `release-rehearsal-cleanup` 回收 R2 上的暂存产物。
+**一、版本提交的主线流水线就是发布演练。** `release_tag.py --ship` 推上 master 的提交主题是 `chore(release): 版本 X`。`.gitlab-ci.yml` 的 `.release-rehearsal` 规则匹配这类提交,给作业设置 `PEACH_RELEASE_REHEARSAL=1`,并用规则变量 `PEACH_CI_COVERAGE=full` 把主线的 `verify-linux`、`verify-windows`、`verify-macos` 改成全量。之后跑完标签上除发布以外的全部作业:`windows-media`、`build-windows`、`build-macos`、`smoke-windows` 和 `docker-build`。最后由 `release-rehearsal-cleanup` 回收 R2 上的暂存产物。
需要「标签」的脚本,在演练里改用提交里的版本号:
@@ -51,7 +51,7 @@
## 后果
-- 发版多一轮演练。演练与原来的标签全量同口径;标签流水线去掉了全量,两轮合计比「标签全量失败后改版本号重来」快,而且不再作废版本号。
+- 每次发版每个平台只跑一次全量。原来版本提交改了 `src/peach/__init__.py`,主线选测已经退成全量,标签上又跑一遍;现在只在演练里跑一次。媒体、构建与冒烟在演练和标签上各跑一次,多出来的是构建时间(Windows 构建加冒烟约 30 分钟,macOS 两个架构的构建作业时限 2 小时)。代价换来的是失败挡在打标签之前,不再作废版本号:上一轮四个作废的标签,每个都要重新定版、改变更日志,再走一遍整条流水线。
- 演练要用 `release` 环境的变量。master 是受保护分支,与版本标签同样能取得这些变量;如果项目把环境限制成只允许标签,演练的构建作业会在取凭据时失败,`--ship` 不会打标签,改环境设置后重跑即可。
- 演练与标签各构建一次,产物不共用。两次构建来自同一个提交,标签流水线的构建失败只可能来自基础设施,重试作业即可。
diff --git a/scripts/release_forge.py b/scripts/release_forge.py
index 4611c76fb..40af632cc 100644
--- a/scripts/release_forge.py
+++ b/scripts/release_forge.py
@@ -18,9 +18,8 @@ from peach.peach_proxy import read_url
REQUIRED_TEST_JOBS = frozenset({"verify-linux", "verify-windows", "verify-macos", "wheel-smoke"})
#: 版本提交的主线流水线里演练的标签作业(ADR-0121):全部成功才打标签。规则没匹配上、演练没跑,
-#: 也不能当作通过。
-REHEARSAL_JOBS = frozenset({"release-verify-linux", "release-verify-windows", "release-verify-macos",
- "windows-media", "build-windows", "build-macos", "smoke-windows", "docker-build"})
+#: 也不能当作通过。三平台验收是必需任务,演练规则在版本提交上把它们改成全量。
+REHEARSAL_JOBS = frozenset({"windows-media", "build-windows", "build-macos", "smoke-windows", "docker-build"})
TERMINAL_STATUSES = frozenset({"success", "failed", "canceled", "skipped"})
#: 必需任务落在这些状态时,整条流水线等多久都不会转绿;重试会生成同名的新任务。
RED_JOB_STATUSES = frozenset({"failed", "canceled"})
diff --git a/scripts/test_runner.py b/scripts/test_runner.py
index 5caed4368..09da48cd3 100644
--- a/scripts/test_runner.py
+++ b/scripts/test_runner.py
@@ -1175,8 +1175,13 @@ def machine_guard(args, heavy: bool, **note):
"""
if not heavy or args.machine_lock_held or test_history.nested():
return nullcontext()
- return test_evidence.held(test_evidence.machine_lock_path(), wait_seconds=args.lock_timeout,
- root=str(ROOT), **note)
+ # CI 作业(GitLab 与 GitHub 都设 CI=true)有自己的时限(Windows 验收 90 分钟),排在本机两轮全量
+ # 后面也要等得到;本机交互仍按 --lock-timeout,最长 30 分钟。
+ wait = CI_MACHINE_LOCK_SECONDS if os.environ.get("CI") == "true" else args.lock_timeout
+ return test_evidence.held(test_evidence.machine_lock_path(), wait_seconds=wait, root=str(ROOT), **note)
+
+
+CI_MACHINE_LOCK_SECONDS = 3600
def busy(error) -> int:
diff --git a/tests/test_test_planning.py b/tests/test_test_planning.py
index 09717292a..2b9409486 100644
--- a/tests/test_test_planning.py
+++ b/tests/test_test_planning.py
@@ -664,10 +664,13 @@ class GateAndFlakyRerunTests(unittest.TestCase):
def test_heavy_runs_queue_on_the_machine_lock_except_nested_or_already_held(self):
args = runner.argparse.Namespace(machine_lock_held=False, lock_timeout=5)
- with patch.object(runner.test_evidence, 'held') as held, \
- patch.object(runner.test_history, 'nested', return_value=False):
- runner.machine_guard(args, True, scope='full')
- self.assertEqual(held.call_args.args[0], runner.test_evidence.machine_lock_path())
+ for ci, wait in (('', 5), ('true', runner.CI_MACHINE_LOCK_SECONDS)):
+ with self.subTest(ci=ci), patch.object(runner.test_evidence, 'held') as held, \
+ patch.object(runner.test_history, 'nested', return_value=False), \
+ patch.dict(os.environ, {'CI': ci}):
+ runner.machine_guard(args, True, scope='full')
+ self.assertEqual(held.call_args.args[0], runner.test_evidence.machine_lock_path())
+ self.assertEqual(held.call_args.kwargs['wait_seconds'], wait, 'CI 作业按自己的时限等,本机按 --lock-timeout')
for light, nested, already in ((True, False, False), (False, True, False), (False, False, True)):
with self.subTest(light=light, nested=nested, already=already), \
patch.object(runner.test_evidence, 'held') as held, \