Skip to content

armgit / peach

Public Imported from GitHub
0

Peach: Local-first video metadata scraper and media manager.

fix(ci): 支持测试续跑并固定独立制品验证路径

longmeidao2d6539589548
diff --git a/.gitlab-ci.yml b/.gitlab-ci.yml
index a69b6a2f1..58c83633b 100644
--- a/.gitlab-ci.yml
+++ b/.gitlab-ci.yml
@@ -25,8 +25,9 @@ variables:
PEACH_R2_BUCKET: peach-releases
PEACH_R2_PUBLIC_BASE: https://downloads.peach.video
-# 回归口径(ADR-0119):分支与合并请求跑相对上一次已验证主线的改动域,加上本平台的平台敏感用例,
-# 取不到基线或改动落到必须全量的面时退回全量;版本标签上三个平台都跑全量,构建与发布依赖它们。
+# 回归口径(ADR-0119):分支与合并请求验证改动域及平台敏感用例,必要时使用全量范围。
+# 版本提交的演练使用三平台全量范围;标签流水线复核同提交的演练结果后构建与发布。
+# 正式验证使用有效证明续跑;缓存缺失或证明失效时执行必要测试。
# 改动域随时可能退成全量,所以两种作业的时限都按全量定。
.verify-linux:
stage: verify
@@ -34,10 +35,13 @@ variables:
# 全量回归连同装依赖 13–20 分钟。
timeout: 45m
cache:
- when: always
- key:
- files: [uv.lock, frontend/package-lock.json]
- paths: [.uv-cache/, .npm/]
+ - when: always
+ key:
+ files: [uv.lock, frontend/package-lock.json]
+ paths: [.uv-cache/, .npm/]
+ - when: always
+ key: "test-evidence-v1-$CI_JOB_NAME-$CI_COMMIT_REF_SLUG-$CI_COMMIT_REF_PROTECTED"
+ paths: [build/agent-verification/*.json]
before_script:
- apt-get update
- apt-get install -y --no-install-recommends python3-pip chromium ffmpeg xvfb xauth
@@ -79,6 +83,10 @@ verify-linux:
tags: [peach-windows]
# 全量回归连同依赖安装约 20–25 分钟;runner 与本机开发会话共用 CPU,并发全量时会翻倍。
timeout: 1h 30m
+ cache:
+ when: always
+ key: "test-evidence-v1-$CI_JOB_NAME-$CI_COMMIT_REF_SLUG-$CI_COMMIT_REF_PROTECTED"
+ paths: [build/agent-verification/*.json]
script:
- '& ./scripts/ci_windows.ps1 verify -Coverage $env:PEACH_CI_COVERAGE'
- if ($LASTEXITCODE -ne 0) { throw 'Windows 回归未通过' }
@@ -100,6 +108,10 @@ verify-windows:
tags: [peach-macos]
# 作业脚本约 3 分钟,新 runner 首次检出完整历史约 16 分钟;下载卡住时提前结束。
timeout: 45m
+ cache:
+ when: always
+ key: "test-evidence-v1-$CI_JOB_NAME-$CI_COMMIT_REF_SLUG-$CI_COMMIT_REF_PROTECTED"
+ paths: [build/agent-verification/*.json]
script:
- bash scripts/ci_macos.sh verify arm64 "$PEACH_CI_COVERAGE"
artifacts:
diff --git a/docs/REUSE.md b/docs/REUSE.md
index c0d0216d7..76b7f2611 100644
--- a/docs/REUSE.md
+++ b/docs/REUSE.md
@@ -4,6 +4,8 @@
测试结果继续复用 Python ≥3.14 标准库 `unittest`、`hashlib`、`json` 和项目的内容快照、影响域映射与外部测试结果。互斥复用既有 `filelock 4.2.0`,分片退出后回收其进程树复用开发依赖 `psutil 7.2.2`;版本与许可沿用锁定依赖及第三方许可清单,不新增运行时依赖。Peach 保留输入身份、逐文件覆盖、完成报告、批次来源和 `ready`/`integrate` 验收规则;串行、并行、浏览器与 Vitest 使用同一个恢复模型。
+CI 跨作业恢复使用 GitLab Runner 19.5 的原生 [缓存](https://docs.gitlab.com/ci/caching/) 与 [`cache:when`](https://docs.gitlab.com/ci/yaml/#cachewhen),保存正式证明 JSON,按作业、分支及保护状态隔离。缓存可缺失,Peach 仍负责内容、环境、时效与全量批次校验;不引入缓存 SDK 或独立证明存储。GitLab 克隆地址使用标准库 `urllib.parse` 保留仓库身份并规范化认证值,作业令牌及其密码别名按存在性参与环境身份。
+
候选比较包括官方 [pytest 缓存文档](https://doc.pytest.org/en/stable/how-to/cache.html) 与 [Turborepo 缓存文档](https://turborepo.dev/docs/crafting-your-repository/caching)。pytest 的失败项选择不能替代当前内容绑定的成功覆盖,不迁移测试框架;Turborepo 的任务缓存不能直接接管 Python 用例结果及集成门槛,不引入其运行时或源码。外部源码版本与许可证未作为采用依据,本次未复制这些项目的实现。
临时输入实证覆盖跨工作树运行时、安装锁 JSON、CI 运行信息、多域混合失败及多份记录搜索;行为回归覆盖失败与中断恢复、旧失败阻止成功恢复、原时间继承、外部文件完成证明、Python 容器后置检查及全量来源约束。运行时、实际依赖、共享夹具、未知输入、执行模式、过期或未来时间变化仍使相关证明失效。测试设施不读写真实 ledger。
diff --git a/docs/TESTING.md b/docs/TESTING.md
index e3bb727d7..3b3a6b282 100644
--- a/docs/TESTING.md
+++ b/docs/TESTING.md
@@ -208,9 +208,25 @@ macOS/Linux 的相同入口:
Windows Release 工作流使用 `uv sync --locked --all-extras` 准备完整依赖。安装目录回归与 PyInstaller 构建共用这份 venv,测试入口按完整锁文件核验依赖。
+Windows 独立制品验收的宿主从同一检出的 `scripts/` 加载辅助验证模块,并按发行锁核对随包采集工具。临时应用与采集工具自检清除 `PYTHONPATH`,使用移除开发工具的 PATH;源码路径只供验收宿主使用。
+
macOS Release 使用 `macos-15`(Apple Silicon)和 `macos-15-intel`(Intel)分别构建,解释器、依赖与目标架构必须一致。独立验收任务只下载候选制品与冒烟脚本,挂载只读 DMG,核对 Applications 链接、许可证、签名与原生架构,再执行 `scripts/smoke_macos.py`。该脚本将应用移到源码树外,在移除开发工具的 PATH 下验证首次设置、迁移、单机账本、登录、前端资源与配置保存,数据全部使用临时目录。所有平台验收成功才发布;普通 push 不构建安装包,手动运行 Release 不上传公开资产。
-`auto` 扫描同环境的有效记录,按测试文件合并 24 小时内、未受输入差异影响的成功结果;记录数量没有固定搜索上限。每项保留原通过时间,最新的失败或未完成状态阻止旧成功结果恢复。缺少、损坏、过期或未来时间的证明不计入覆盖;单份损坏记录不影响其他候选。`-Fresh` 与显式 `full` 始终实际执行请求范围。
+`auto` 扫描同环境的有效记录,按测试文件合并 24 小时内、未受输入差异影响的成功结果;记录数量没有固定搜索上限。每项保留原通过时间,最新的失败或未完成状态阻止旧成功结果恢复。缺少、损坏、过期或未来时间的证明不计入覆盖;单份损坏记录不影响其他候选。`-Fresh` 始终实际执行请求范围,显式 `full` 默认也实际执行;`-Resume` / `--resume` 允许全量验证按完整批次来源续跑,与 `Fresh` 互斥。
+
+在当前隔离工作树根目录续跑全量验证:
+
+```powershell
+& .\scripts\test.ps1 -Scope full -Resume
+```
+
+macOS/Linux 使用相同的恢复规则:
+
+```sh
+./scripts/test.sh full --resume
+```
+
+GitGud 的三平台验证使用正式恢复入口,通过 GitLab 原生缓存保存证明 JSON。缓存按作业、分支和保护状态隔离,成功或失败后均保存;锁文件不进入缓存。重试作业恢复缓存后,仍逐项核对当前代码、依赖、环境、通过时间和完整批次。缓存缺失或证明无效时执行必要测试,不能仅凭缓存存在取得通过结论。
正式父运行在开始时原子保存待验证状态,每个分片完成后立即保存检查点。失败批次仍保留成功文件、成功补充用例及其时间;整文件状态不覆盖已取得的单项结果。共享输入变化和 `Fresh` 同时作用于文件及其补充用例。快速门槛失败时,其余文件保持未完成。进程中断后,下一次 `auto` 在所需范围内补齐缺少的文件,串行与并行使用相同结果模型。分片报告必须完整且格式有效,结束码须与报告一致;异常退出不能产生该片的成功证明。分片写出完成报告后仍未退出的进程,等待 15 秒后回收该片的进程树,不给尚在执行的测试设置额外时限。
@@ -236,6 +252,8 @@ PR 的浏览器 CI 根据界面、Web API、认证与浏览器用例选择;普
的 `environment()` 算成一个摘要:Python 版本、实现与运行时文件内容、规范化的已安装包名称和版本、平台、影响行为的环境变量、前端安装锁的规范化 JSON、实际 Chrome 文件内容,以及 node/npm/git/ffmpeg/ffprobe/openssl 六个外部工具。相同运行时和依赖位于不同工作树、安装锁只有排序或缩进差异、CI 运行编号或工作目录变化,不改变环境身份。CI 工作流和 job 职责、浏览器安装状态与内容变化仍参与判断。
测试入口强制设置的 `PEACH_REPORTING_TEST_MODE` 防外发标记不参与环境选择;入口源码仍参与代码快照。
+GitLab 的作业令牌、容器仓库密码和依赖代理密码按是否存在记录;`CI_REPOSITORY_URL` 保留协议、主机、路径、用户名及认证存在性,密码值不参与身份。作业职责、覆盖模式和应用行为变量仍参与判断。变量含义见 [GitLab 预定义变量](https://docs.gitlab.com/ci/variables/predefined_variables/)。
+
uv 只探针、不进指纹:它负责建环境,装出来的解释器与包已经逐个记在摘要里,而它自己由
winget 自动升级。把它的版本也算进去的话,升级当天全部记录一起失效,被验证的那套环境
却一个字节都没变。
diff --git a/scripts/ci_verify.sh b/scripts/ci_verify.sh
index 03b13505c..7630d7084 100644
--- a/scripts/ci_verify.sh
+++ b/scripts/ci_verify.sh
@@ -1,5 +1,5 @@
#!/usr/bin/env bash
-# GitGud 的 Linux 与 macOS 回归:标签流水线跑全量;主线推送跑改动域,再跑本平台的平台敏感用例。
+# GitGud 的 Linux 与 macOS 正式回归按 full/changed 计划覆盖,并从有效证明续跑。
# 选测由 scripts/ci_scope.py 判,取不到已验证基线时它给出 full(ADR-0119)。
set -euo pipefail
@@ -23,10 +23,10 @@ if [[ "$coverage" == changed ]]; then
fi
base="$(printf '%s\n' "$plan" | head -n 1)"
if [[ "$base" == full ]]; then
- ./scripts/test.sh full --fresh
+ ./scripts/test.sh full --resume
exit 0
fi
-./scripts/test.sh auto --fresh --base "$base"
+./scripts/test.sh auto --base "$base"
# bash 3.2 没有 mapfile,逐行读选择器。
focus=()
while IFS= read -r selector; do
diff --git a/scripts/ci_windows.ps1 b/scripts/ci_windows.ps1
index 936009065..184a3c2c4 100644
--- a/scripts/ci_windows.ps1
+++ b/scripts/ci_windows.ps1
@@ -32,11 +32,11 @@ if ($Mode -eq 'verify') {
Assert-Exit '无法判定主线选测范围'
}
if ($Plan[0] -eq 'full') {
- & ./scripts/test.ps1 -Scope full -Fresh
+ & ./scripts/test.ps1 -Scope full -Resume
Assert-Exit 'Windows 全量回归未通过'
exit 0
}
- & ./scripts/test.ps1 -Scope auto -Base $Plan[0] -Fresh
+ & ./scripts/test.ps1 -Scope auto -Base $Plan[0]
Assert-Exit 'Windows 改动域回归未通过'
& ./scripts/test.ps1 -Focus @($Plan | Select-Object -Skip 1)
Assert-Exit 'Windows 平台敏感用例未通过'
@@ -134,6 +134,11 @@ if ($Mode -eq 'docker-push') {
$Version = (Get-Content -LiteralPath release/version.txt -Raw -Encoding utf8).Trim()
$Packages = (Resolve-Path release).Path
+$ValidationScripts = (Resolve-Path (Join-Path (Split-Path -Parent $PSScriptRoot) 'scripts')).Path
+if (-not (Test-Path -LiteralPath (Join-Path $ValidationScripts 'build_amane_runtime.py'))) {
+ throw '独立制品验收缺少同一检出下的辅助模块'
+}
+$PreviousValidationPythonPath = $env:PYTHONPATH
$Evidence = Join-Path ([IO.Path]::GetTempPath()) ('peach-release-smoke-' + [guid]::NewGuid().ToString('N'))
New-Item -ItemType Directory -Path $Evidence | Out-Null
$Python = (Get-Command python.exe).Source
@@ -142,6 +147,8 @@ $Menu = Join-Path $env:APPDATA 'Microsoft/Windows/Start Menu/Programs/Peach.lnk'
if ((Test-Path -LiteralPath $Key) -or (Test-Path -LiteralPath $Menu)) { throw '现有 Peach 安装登记需要保留,不能覆盖安装验收' }
Push-Location $Evidence
try {
+ # 验收宿主使用同一检出的辅助模块;被测应用清除 PYTHONPATH。
+ $env:PYTHONPATH = $ValidationScripts
Expand-Archive -LiteralPath "$Packages/Peach-$Version-windows-x64.zip" -DestinationPath candidate
& $Python "$Packages/smoke_desktop.py" candidate/Peach/Peach.exe
Assert-Exit '完整包运行验收失败'
@@ -164,6 +171,7 @@ try {
& $Python "$Packages/smoke_update_tasks.py" candidate/Peach/Peach.exe --installer "$Packages/Peach-$Version-windows-x64-setup.exe" --apply
Assert-Exit '任务保护与安装恢复验收失败'
} finally {
+ $env:PYTHONPATH = $PreviousValidationPythonPath
Pop-Location
Write-Host "独立制品验收目录:$Evidence"
}
diff --git a/scripts/test.ps1 b/scripts/test.ps1
index 21a5c6ca9..b92c026b9 100644
--- a/scripts/test.ps1
+++ b/scripts/test.ps1
@@ -3,6 +3,7 @@ param(
[ValidateSet('full', 'auto', 'follow', 'catalog', 'media', 'sync', 'metadata', 'tooling', 'web', 'checks', 'core', 'packaging')]
[string]$Scope = 'auto',
[switch]$Fresh,
+ [switch]$Resume,
[string[]]$Focus = @(),
[string]$Base = 'master',
[int]$ShardIndex = 0,
@@ -66,6 +67,7 @@ try {
Write-Host "Peach source: $LoadedPath"
$PeachTestExtra = @()
if ($Fresh) { $PeachTestExtra += '--fresh' }
+ if ($Resume) { $PeachTestExtra += '--resume' }
foreach ($PeachFocusSelector in $Focus) { $PeachTestExtra += @('--focus', $PeachFocusSelector) }
& $Python scripts\test_runner.py --scope $Scope --base $Base --shard-index $ShardIndex --shard-count $ShardCount --jobs $Jobs @PeachTestExtra
exit $LASTEXITCODE
diff --git a/scripts/test.sh b/scripts/test.sh
index a0c6426a8..0b3d5f579 100755
--- a/scripts/test.sh
+++ b/scripts/test.sh
@@ -19,10 +19,8 @@ case " ${1+$*} " in
*" --jobs "*) JOBS=() ;;
esac
EXTRA=("${@:2}")
-# 展开必须写成 `${EXTRA[@]+...}`。macOS 自带的是 bash 3.2,`set -u` 下它把空数组的
-# `"${EXTRA[@]}"` 当未绑定变量报错(bash 4.4 起才不报),于是不带额外参数直接跑
-# `./scripts/test.sh` 会在最后一行崩掉。CI 每次都附带 `--fresh --base ...`,数组从不为空,
-# 这条路径只有本机会走到。不要改成 `set +u`:其余变量的拼写错误就没人拦了。
+# macOS 自带 bash 3.2;`set -u` 下用 `${EXTRA[@]+...}` 安全展开空数组。
+# CI 传入 `--resume` 或 `--base` 等参数,本机入口也支持不带额外参数。
WORKTREE_ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
diff --git a/scripts/test_environment_identity.py b/scripts/test_environment_identity.py
index 94982029a..4693ed86c 100644
--- a/scripts/test_environment_identity.py
+++ b/scripts/test_environment_identity.py
@@ -9,6 +9,7 @@ from pathlib import Path
import re
import shutil
import sys
+from urllib.parse import urlsplit, urlunsplit
RUN_METADATA = frozenset({
@@ -21,7 +22,8 @@ RUN_METADATA = frozenset({
'CI_JOB_STARTED_AT', 'CI_COMMIT_BEFORE_SHA', 'CI_COMMIT_MESSAGE', 'CI_COMMIT_TITLE',
'CI_COMMIT_DESCRIPTION', 'CI_COMMIT_AUTHOR', 'CI_CONCURRENT_ID', 'CI_CONCURRENT_PROJECT_ID',
})
-CREDENTIAL_FLAGS = frozenset({'GITHUB_TOKEN', 'CI_JOB_TOKEN'})
+CREDENTIAL_FLAGS = frozenset({'GITHUB_TOKEN', 'CI_JOB_TOKEN', 'CI_REGISTRY_PASSWORD',
+ 'CI_DEPENDENCY_PROXY_PASSWORD'})
ENTRY_FLAGS = frozenset({'PYTHONPATH', 'PEACH_REPORTING_TEST_MODE', 'PEACH_TEST_RUN_TEMP',
'PEACH_E2E_CHROME'})
@@ -67,9 +69,22 @@ def install_identity(path: Path) -> dict:
return {'invalid': file_identity(path)}
+def flag_identity(key: str, value: str):
+ if key in CREDENTIAL_FLAGS:
+ return bool(value)
+ if key != 'CI_REPOSITORY_URL':
+ return value
+ try:
+ parsed = urlsplit(value)
+ except ValueError:
+ return {'invalid': hashlib.sha256(value.encode('utf8')).hexdigest()}
+ public = parsed._replace(netloc=parsed.netloc.rsplit('@', 1)[-1])
+ return {'url': urlunsplit(public), 'username': parsed.username, 'credential': bool(parsed.password)}
+
+
def environment_flags(environ=None) -> dict:
values = os.environ if environ is None else environ
- return {key: bool(value) if key in CREDENTIAL_FLAGS else value for key, value in values.items()
+ return {key: flag_identity(key, value) for key, value in values.items()
if key.startswith(('PEACH_', 'CI', 'GITHUB_', 'PYTHON'))
and key not in RUN_METADATA | ENTRY_FLAGS and (key not in CREDENTIAL_FLAGS or value)}
diff --git a/scripts/test_runner.py b/scripts/test_runner.py
index 284e5ab33..25d1b3c24 100644
--- a/scripts/test_runner.py
+++ b/scripts/test_runner.py
@@ -1165,7 +1165,9 @@ def main(argv: list[str] | None = None) -> int:
# `--scope` 可重复:本机并行的父进程把 `auto` 算出来的几个域原样交给每个分片子进程。
parser.add_argument("--scope", action="append", dest="scopes",
choices=("full", "auto", *SCOPES))
- parser.add_argument("--fresh", action="store_true", help="实际重跑,不复用本机记录")
+ reuse = parser.add_mutually_exclusive_group()
+ reuse.add_argument("--fresh", action="store_true", help="实际重跑,不复用本机记录")
+ reuse.add_argument("--resume", action="store_true", help="正式验证续跑,full 也复用有效的完成证明")
parser.add_argument("--focus", action="append", default=[], help="定向调试指定 Python/浏览器用例,不签发记录")
parser.add_argument("--lock-timeout", type=float, default=1800,
help="全量锁等待秒数;0 表示锁忙时立即返回")
@@ -1273,10 +1275,11 @@ def busy(error) -> int:
def verified_run(args, requested, scopes, files) -> int:
"""在调用方持有的全量锁内取得快照、验证并签发记录。"""
+ force = args.fresh or ('full' in requested and not args.resume)
context = test_evidence.inputs(ROOT)
state = context["state"]
with test_evidence.run_lock(ROOT, state, scope=" ".join(scopes), root=str(ROOT)):
- if not args.fresh and "full" not in requested and test_evidence.covers(
+ if not force and test_evidence.covers(
test_evidence.read(ROOT, state), scopes):
print("复用本机测试记录:代码、依赖环境和范围匹配(24 小时内)。", flush=True)
return 0
@@ -1284,13 +1287,13 @@ def verified_run(args, requested, scopes, files) -> int:
records = list(test_evidence.candidates(ROOT, context))
progress = test_run_progress.RunProgress(ROOT, context, scopes, selected_files, scopes_for_changes, SCOPES,
supplements=SCOPE_TEST_IDS, records=records, previous=previous,
- force=args.fresh or 'full' in requested)
- if requested == ('auto',) and not args.fresh:
+ force=force)
+ if requested == ('auto',) and not force:
choices = ('full', *SCOPES) if 'full' in scopes else scopes
scopes = test_resume.choose_scopes(progress.pending, progress.requirements, choices)
actual = len(progress.modules)
print(f"实际运行:{' '.join(scopes) or '无需补测'}({actual} 个测试文件)", flush=True)
- if records and not args.fresh:
+ if records and not force:
print(f'单项覆盖:复用 {len(progress.required) - len(progress.pending)} 项,待验证 {len(progress.pending)} 项。', flush=True)
progress.start()
FLAKY.clear()
diff --git a/tests/test_scripts.py b/tests/test_scripts.py
index 02a27d428..8df7e15d6 100644
--- a/tests/test_scripts.py
+++ b/tests/test_scripts.py
@@ -1847,14 +1847,8 @@ class OperationalScriptTests(unittest.TestCase):
def test_posix_entrypoint_passes_extra_args_through_on_bash_3_2(self):
"""不带额外参数直接跑 `./scripts/test.sh` 必须能跑起来,参数要原样透传。
- macOS 自带 bash 3.2.57,`set -u` 下空数组的 `"${EXTRA[@]}"` 被判成未绑定变量
- (bash 4.4 起才不报),入口于是在最后一行崩掉。CI 每次都附带
- `--fresh --base <sha> --shard-*`,数组从不为空,这条路径只有本机会走到——而
- AGENTS.md 规定 macOS 的唯一测试入口就是这个脚本,崩了等于没有测试门槛。
-
- 文本判据钉住 `set -euo pipefail` 还在:把 `set +u` 当解法会让其余变量的拼写错误
- 没人拦,而行为上看不出来。展开写法由下面的行为判据验:从真实脚本里截出参数处理
- 那一段来跑,CI 的 macOS 行用的就是 bash 3.2,改回裸展开时这一段会崩。
+ macOS 的 bash 3.2 使用严格模式,参数数组支持为空;CI 的恢复、基线与分片参数
+ 均按原值交给运行器。行为判据执行真实入口的参数处理与 exec 展开,桩记录 argv。
"""
source = (ROOT / "scripts" / "test.sh").read_text(encoding="utf-8")
self.assertIn("set -euo pipefail", source)
@@ -1901,6 +1895,7 @@ class OperationalScriptTests(unittest.TestCase):
for argv, expected in (
([], ["--scope", "auto", "--jobs", "auto"]),
(["auto"], ["--scope", "auto", "--jobs", "auto"]),
+ (["full", "--resume"], ["--scope", "full", "--jobs", "auto", "--resume"]),
(["web", "--fresh", "--base", "a b"],
["--scope", "web", "--jobs", "auto", "--fresh", "--base", "a b"]),
(["web", "--jobs", "1"], ["--scope", "web", "--jobs", "1"]),
diff --git a/tests/test_test_evidence.py b/tests/test_test_evidence.py
index 305356495..50197f015 100644
--- a/tests/test_test_evidence.py
+++ b/tests/test_test_evidence.py
@@ -84,6 +84,31 @@ class ParallelShardTests(unittest.TestCase):
class EnvironmentIdentityTests(unittest.TestCase):
+ def test_gitlab_transport_credentials_rotate_without_changing_environment(self):
+ from scripts.test_environment_identity import environment_flags
+ base = {'CI_JOB_NAME': 'verify-windows', 'PEACH_CI_COVERAGE': 'full',
+ 'CI_JOB_TOKEN': 'fixture-password-one', 'CI_REGISTRY_PASSWORD': 'fixture-password-one',
+ 'CI_DEPENDENCY_PROXY_PASSWORD': 'fixture-password-one',
+ 'CI_REPOSITORY_URL': 'https://gitlab-ci-token:[email protected]/group/app.git'}
+ rotated = {**base, 'CI_JOB_ID': 'another', 'CI_JOB_STARTED_AT': 'another',
+ 'CI_JOB_TOKEN': 'fixture-password-two', 'CI_REGISTRY_PASSWORD': 'fixture-password-two',
+ 'CI_DEPENDENCY_PROXY_PASSWORD': 'fixture-password-two',
+ 'CI_REPOSITORY_URL': base['CI_REPOSITORY_URL'].replace('password-one', 'password-two')}
+ flags = environment_flags(base)
+ self.assertEqual(flags, environment_flags(rotated))
+ self.assertNotIn('fixture-password-', json.dumps(flags))
+ for changes in ({'CI_JOB_NAME': 'verify-macos'}, {'PEACH_CI_COVERAGE': 'changed'},
+ {'CI_REPOSITORY_URL': base['CI_REPOSITORY_URL'].replace('/app.git', '/other.git')},
+ {'CI_REPOSITORY_URL': base['CI_REPOSITORY_URL'].replace('forge.invalid', 'other.invalid')},
+ {'CI_REPOSITORY_URL': base['CI_REPOSITORY_URL'].replace('gitlab-ci-token:', 'other-user:')}):
+ with self.subTest(changes=changes):
+ self.assertNotEqual(flags, environment_flags({**base, **changes}))
+
+ def test_invalid_gitlab_clone_urls_keep_distinct_environment_identity(self):
+ from scripts.test_environment_identity import environment_flags
+ self.assertNotEqual(environment_flags({'CI_REPOSITORY_URL': 'https://[invalid-one'}),
+ environment_flags({'CI_REPOSITORY_URL': 'https://[invalid-two'}))
+
def test_ci_commit_metadata_and_credential_rotation_preserve_environment(self):
from scripts.test_environment_identity import environment_flags
base = {'GITHUB_ACTIONS': 'true', 'GITHUB_JOB': 'python', 'GITHUB_TOKEN': 'fixture-one'}
@@ -632,14 +657,20 @@ class ShardReportTests(unittest.TestCase):
class SubprocessResumeTests(unittest.TestCase):
- def invoke(self, repo, scope):
+ def invoke(self, repo, scope, *options):
env = {**os.environ, 'GITHUB_ACTIONS': 'false', 'CI': ''}
for key in ('PEACH_TEST_FOCUS', 'PEACH_E2E_FILES', 'PEACH_VITEST_FILES'):
env.pop(key, None)
return fixture_process([sys.executable, '-X', 'utf8', str(repo / 'entry.py'),
- '--scope', scope, '--jobs', 'auto'], repo, env)
+ '--scope', scope, '--jobs', 'auto', *options], repo, env)
def test_real_parent_and_children_resume_only_the_failed_file(self):
+ self.check_resume_after_failure('auto')
+
+ def test_real_full_resume_preserves_coverage_and_requires_current_environment(self):
+ self.check_resume_after_failure('full', '--resume', check_full_modes=True)
+
+ def check_resume_after_failure(self, scope, *options, check_full_modes=False):
source = Path(__file__).resolve().parents[1]
modules = ('test_runner', 'test_evidence', 'test_history', 'test_resume', 'test_run_progress',
'test_shard_results', 'test_environment_identity', 'test_focus', 'change_impact')
@@ -679,7 +710,7 @@ class SubprocessResumeTests(unittest.TestCase):
successful_calls = (runtime / 'test_ad_judgement.calls').read_text(encoding='utf8')
failed_calls = (runtime / 'test_web_library_shortcuts.calls').read_text(encoding='utf8').splitlines()
marker.unlink()
- code, output = self.invoke(repo, 'auto')
+ code, output = self.invoke(repo, scope, *options)
self.assertEqual(code, 0, output)
after = json.loads(record_file.read_text(encoding='utf8'))
self.assertEqual(after['units']['test_ad_judgement.py']['at'], stamp)
@@ -687,6 +718,25 @@ class SubprocessResumeTests(unittest.TestCase):
self.assertEqual((runtime / 'test_ad_judgement.calls').read_text(encoding='utf8'), successful_calls)
self.assertEqual(len((runtime / 'test_web_library_shortcuts.calls').read_text(encoding='utf8').splitlines()),
len(failed_calls) + 1)
+ if check_full_modes:
+ paths = [runtime / (name + '.calls') for name in ('test_ad_judgement', 'test_web_library_shortcuts')]
+ completed = [path.read_text(encoding='utf8') for path in paths]
+ code, output = self.invoke(repo, 'full', '--resume')
+ self.assertEqual(code, 0, output)
+ self.assertEqual([path.read_text(encoding='utf8') for path in paths], completed)
+ cached = json.loads(record_file.read_text(encoding='utf8'))
+ self.assertEqual(cached['validated']['full'], stamp)
+ with mock.patch.dict(os.environ, {'PEACH_TEST_RESUME_FIXTURE': 'another-environment'}):
+ code, output = self.invoke(repo, 'full', '--resume')
+ self.assertEqual(code, 0, output)
+ self.assertEqual([len(path.read_text(encoding='utf8').splitlines()) for path in paths],
+ [len(body.splitlines()) + 1 for body in completed])
+ for flags in ((), ('--fresh',)):
+ counts = [len(path.read_text(encoding='utf8').splitlines()) for path in paths]
+ code, output = self.invoke(repo, 'full', *flags)
+ self.assertEqual(code, 0, output)
+ self.assertEqual([len(path.read_text(encoding='utf8').splitlines()) for path in paths],
+ [count + 1 for count in counts])
class SelectionEnvironmentTests(unittest.TestCase):
@@ -1280,6 +1330,11 @@ class VerificationTests(unittest.TestCase):
self.assertEqual(runner.main(["--scope", "checks", "--fresh"]), 1)
self.assertFalse(evidence.covers(evidence.read(self.repo, evidence.key(self.repo)), ("checks",)))
+ def test_fresh_and_resume_are_mutually_exclusive(self):
+ with redirect_stderr(io.StringIO()), self.assertRaises(SystemExit) as error:
+ runner.main(['--scope', 'full', '--fresh', '--resume'])
+ self.assertEqual(error.exception.code, 2)
+
def test_a_parallel_run_signs_one_record_from_the_merged_shards(self):
"""并行时父进程不自己跑用例,只按分片汇总签一份记录;一片红就没有记录。"""
with redirect_stderr(io.StringIO()), redirect_stdout(io.StringIO()), \