Peach: Local-first video metadata scraper and media manager.
fix(ci): 排除重试元信息并均分零耗时分片
longmeidao6c2ce5930e25
diff --git a/docs/TESTING.md b/docs/TESTING.mdindex 3b3a6b282..6a8e2bbea 100644--- a/docs/TESTING.md+++ b/docs/TESTING.md@@ -226,7 +226,7 @@ macOS/Linux 使用相同的恢复规则:./scripts/test.sh full --resume```-GitGud 的三平台验证使用正式恢复入口,通过 GitLab 原生缓存保存证明 JSON。缓存按作业、分支和保护状态隔离,成功或失败后均保存;锁文件不进入缓存。重试作业恢复缓存后,仍逐项核对当前代码、依赖、环境、通过时间和完整批次。缓存缺失或证明无效时执行必要测试,不能仅凭缓存存在取得通过结论。+GitGud 的三平台验证使用正式恢复入口,通过 GitLab 原生缓存保存证明 JSON。缓存按作业、分支和保护状态隔离,成功或失败后均保存;锁文件不进入缓存。重试作业恢复缓存后,仍逐项核对当前代码、依赖、环境、通过时间和完整批次。缓存缺失或证明无效时执行必要测试,不能仅凭缓存存在取得通过结论。并行分片在预计总耗时相同时按文件数分配,实测耗时为零的文件也会分散到非空分片。正式父运行在开始时原子保存待验证状态,每个分片完成后立即保存检查点。失败批次仍保留成功文件、成功补充用例及其时间;整文件状态不覆盖已取得的单项结果。共享输入变化和 `Fresh` 同时作用于文件及其补充用例。快速门槛失败时,其余文件保持未完成。进程中断后,下一次 `auto` 在所需范围内补齐缺少的文件,串行与并行使用相同结果模型。分片报告必须完整且格式有效,结束码须与报告一致;异常退出不能产生该片的成功证明。分片写出完成报告后仍未退出的进程,等待 15 秒后回收该片的进程树,不给尚在执行的测试设置额外时限。@@ -252,7 +252,7 @@ PR 的浏览器 CI 根据界面、Web API、认证与浏览器用例选择;普的 `environment()` 算成一个摘要:Python 版本、实现与运行时文件内容、规范化的已安装包名称和版本、平台、影响行为的环境变量、前端安装锁的规范化 JSON、实际 Chrome 文件内容,以及 node/npm/git/ffmpeg/ffprobe/openssl 六个外部工具。相同运行时和依赖位于不同工作树、安装锁只有排序或缩进差异、CI 运行编号或工作目录变化,不改变环境身份。CI 工作流和 job 职责、浏览器安装状态与内容变化仍参与判断。测试入口强制设置的 `PEACH_REPORTING_TEST_MODE` 防外发标记不参与环境选择;入口源码仍参与代码快照。-GitLab 的作业令牌、容器仓库密码和依赖代理密码按是否存在记录;`CI_REPOSITORY_URL` 保留协议、主机、路径、用户名及认证存在性,密码值不参与身份。作业职责、覆盖模式和应用行为变量仍参与判断。变量含义见 [GitLab 预定义变量](https://docs.gitlab.com/ci/variables/predefined_variables/)。+GitLab 的作业令牌、容器仓库密码和依赖代理密码按是否存在记录;`CI_REPOSITORY_URL` 保留协议、主机、路径、用户名及认证存在性,密码值不参与身份。`CI_JOB_RETRY_COUNT`、`CI_JOB_STARTED_AT_SLUG` 和 `CI_BUILD_NETWORK_NAME` 表示本次运行的计数、时间与网络名称,不参与身份。作业职责、覆盖模式和应用行为变量仍参与判断。变量含义见 [GitLab 预定义变量](https://docs.gitlab.com/ci/variables/predefined_variables/)。uv 只探针、不进指纹:它负责建环境,装出来的解释器与包已经逐个记在摘要里,而它自己由winget 自动升级。把它的版本也算进去的话,升级当天全部记录一起失效,被验证的那套环境diff --git a/scripts/test_environment_identity.py b/scripts/test_environment_identity.pyindex 4693ed86c..016f95b7d 100644--- a/scripts/test_environment_identity.py+++ b/scripts/test_environment_identity.py@@ -19,7 +19,8 @@ RUN_METADATA = frozenset({'CI_JOB_ID', 'CI_JOB_URL', 'CI_PIPELINE_ID', 'CI_PIPELINE_IID', 'CI_PIPELINE_URL','CI_PROJECT_DIR', 'CI_COMMIT_SHA', 'CI_COMMIT_SHORT_SHA', 'CI_COMMIT_REF_NAME','CI_COMMIT_TIMESTAMP', 'CI_PIPELINE_CREATED_AT',- 'CI_JOB_STARTED_AT', 'CI_COMMIT_BEFORE_SHA', 'CI_COMMIT_MESSAGE', 'CI_COMMIT_TITLE',+ 'CI_JOB_STARTED_AT', 'CI_JOB_STARTED_AT_SLUG', 'CI_JOB_RETRY_COUNT', 'CI_BUILD_NETWORK_NAME',+ 'CI_COMMIT_BEFORE_SHA', 'CI_COMMIT_MESSAGE', 'CI_COMMIT_TITLE','CI_COMMIT_DESCRIPTION', 'CI_COMMIT_AUTHOR', 'CI_CONCURRENT_ID', 'CI_CONCURRENT_PROJECT_ID',})CREDENTIAL_FLAGS = frozenset({'GITHUB_TOKEN', 'CI_JOB_TOKEN', 'CI_REGISTRY_PASSWORD',diff --git a/scripts/test_runner.py b/scripts/test_runner.pyindex b3cbf620b..08acca61e 100644--- a/scripts/test_runner.py+++ b/scripts/test_runner.py@@ -840,7 +840,8 @@ def shard_plan(names: Iterable[str], shard_count: int,seconds: dict[str, float]) -> list[list[str]]:"""按预计秒数把测试文件装进分片:先长后短,每个文件放进当前最空的一片。- 返回的分片按预计总时长降序排列,派发按这个顺序,最长的先开跑。实测表按模块名记,+ 返回的分片按预计总时长降序排列,派发按这个顺序,最长的先开跑。等负载时按文件数择空。+ 实测表按模块名记,没测过的文件取已测文件的中位数;表是空的时所有文件等重,相当于按个数均分。"""names = sorted(names)@@ -851,7 +852,7 @@ def shard_plan(names: Iterable[str], shard_count: int,groups: list[list[str]] = [[] for _ in range(max(1, min(shard_count, len(names))))]totals = [0.0] * len(groups)for name in sorted(names, key=lambda item: (-weight[item], item)):- slot = min(range(len(groups)), key=lambda index: (totals[index], index))+ slot = min(range(len(groups)), key=lambda index: (totals[index], len(groups[index]), index))groups[slot].append(name)totals[slot] += weight[name]order = sorted(range(len(groups)), key=lambda index: (-totals[index], index))diff --git a/tests/test_test_evidence.py b/tests/test_test_evidence.pyindex 50197f015..7ddb6e70d 100644--- a/tests/test_test_evidence.py+++ b/tests/test_test_evidence.py@@ -160,6 +160,16 @@ class EnvironmentIdentityTests(unittest.TestCase):os.environ['GITHUB_JOB'] = 'web-e2e'self.assertNotEqual(evidence.environment(self.root), first)+ def test_gitlab_retry_metadata_preserves_runtime_identity_and_job_selection(self):+ os.environ.update(CI_JOB_NAME='verify-macos', CI_JOB_RETRY_COUNT='0',+ CI_JOB_STARTED_AT_SLUG='first-start', CI_BUILD_NETWORK_NAME='network-one')+ first = evidence.environment(self.root)+ os.environ.update(CI_JOB_RETRY_COUNT='1', CI_JOB_STARTED_AT_SLUG='next-start',+ CI_BUILD_NETWORK_NAME='network-two')+ self.assertEqual(evidence.environment(self.root), first)+ os.environ['CI_JOB_NAME'] = 'verify-linux'+ self.assertNotEqual(evidence.environment(self.root), first)+def test_distribution_names_have_canonical_identity(self):from types import SimpleNamespaceself.packages.return_value = [SimpleNamespace(metadata={'Name': 'Some_Pkg'}, version='1')]@@ -726,6 +736,8 @@ class SubprocessResumeTests(unittest.TestCase):self.assertEqual([path.read_text(encoding='utf8') for path in paths], completed)cached = json.loads(record_file.read_text(encoding='utf8'))self.assertEqual(cached['validated']['full'], stamp)+ (record_file.parent / 'test-timings.json').write_text(json.dumps({+ 'seconds': {path.stem: 0.0 for path in paths}}), encoding='utf8')with mock.patch.dict(os.environ, {'PEACH_TEST_RESUME_FIXTURE': 'another-environment'}):code, output = self.invoke(repo, 'full', '--resume')self.assertEqual(code, 0, output)diff --git a/tests/test_test_planning.py b/tests/test_test_planning.pyindex c89939341..de124e9be 100644--- a/tests/test_test_planning.py+++ b/tests/test_test_planning.py@@ -399,6 +399,22 @@ class TestPlanningTests(unittest.TestCase):self.assertEqual(empty[0], ['test_web_e2e.py'])self.assertEqual(sorted(len(shard) for shard in empty[1:]), [2, 2, 3])+ def test_zero_duration_files_fill_each_shard_and_run_once(self):+ for size in (2, 5, 9):+ names = [f'test_{index}.py' for index in range(size)]+ seconds = {name.removesuffix('.py'): 0.0 for name in names}+ for count in (1, 2, 4, 12):+ with self.subTest(size=size, count=count):+ plan = runner.shard_plan(names, count, seconds)+ self.assertEqual(len(plan), min(size, count))+ self.assertTrue(all(plan))+ self.assertCountEqual([name for group in plan for name in group], names)+ self.assertLessEqual(max(map(len, plan)) - min(map(len, plan)), 1)+ seconds['test_0'] = 10.0+ plan = runner.shard_plan(names, size, seconds)+ self.assertTrue(all(plan))+ self.assertCountEqual([name for group in plan for name in group], names)+def test_planned_shards_cover_every_case_once_and_reject_foreign_files(self):def ids(suite):for case in suite: