Peach: Local-first video metadata scraper and media manager.
fix(catalog): MCDV 短号与补零号分作两部片
longmeidao2f48c46aeb11
diff --git a/CHANGELOG.md b/CHANGELOG.mdindex f2a1b0bbf..a08bcb814 100644--- a/CHANGELOG.md+++ b/CHANGELOG.md@@ -32,6 +32,7 @@ Removed / Fixed / Security。### 修复+- **馆藏**:`MCDV-24`(无码)与 `MCDV-024`(有码)不再被当成同一部,资料和封面各取各的;升级后,扫描时按旧规则补零写成 `MCDV-024` 的无码片自动改回 `MCDV-24` 并重新取资料。- **采集**:`YUJ` 开头的番号不再被当成韩国 MIB 片跳过,Attackers 的 YUJ 系列可以正常取资料和封面。- **桌面**:Windows 上有客户端在连接建立前断开时,服务会立即重新监听端口,不再出现进程还在、网页却一直打不开的情况。- **配置**:macOS 中文系统里取消选择文件夹不再报错;系统不允许弹出对话框时提示不支持。Windows 上找不到 PowerShell 时同样提示不支持,不再显示服务器错误。diff --git a/docs/SOURCING.md b/docs/SOURCING.mdindex a59c4348a..4505f9c2e 100644--- a/docs/SOURCING.md+++ b/docs/SOURCING.md@@ -664,7 +664,8 @@ Instagram 的独立用户登录会话未取得,自动适配器不进正式依近似的别人(`SA-104 → AVSA-104`、`AR-301 → STAR-3016`)。不比对时大部分匹配番号根本不对,整个 MIB 目录(韩国内容)曾因此被写上日本厂牌、系列和标题,还靠这些假证据升级成 JAV。- 判据是 `catalog_rules.same_release_code()`。它只归一已核验的前缀别名、DMM 的 `h_` 标记、补零和重制尾字母- 这些良性差异;来源没给 id 的不拦(缺证据不是反证)。复核队列按同一条判据剔候选(ADR-0035):候选全被剔掉+ 这些良性差异;来源没给 id 的不拦(缺证据不是反证)。补零有例外:`SHORT_SERIAL_PREFIXES` 登记的字母段+ 短号与补零号是两部片(`MCDV-24` 无码、`MCDV-024` 有码),不足三位按原写保留(ADR-0133)。复核队列按同一条判据剔候选(ADR-0035):候选全被剔掉的行整行不进队列,点了也写不进去的东西摆在那儿只是要人再认一遍。- javbus 是备选来源(`metadata_policy.FALLBACK_SOURCES`):同一个字段上还有别家可用时,它的取值不当证据;只有它一家时才轮到它。这一步排在番号日期判据之后。剔完之后来源全是官方的字段,自动写入可以替换账本已有的值,diff --git a/docs/adr/0133-short-serial-and-korean-mib-prefix-provenance.md b/docs/adr/0133-short-serial-and-korean-mib-prefix-provenance.mdnew file mode 100644index 000000000..18da29bae--- /dev/null+++ b/docs/adr/0133-short-serial-and-korean-mib-prefix-provenance.md@@ -0,0 +1,43 @@+# ADR-0133:登记短号与补零号并存的字母段,按来源核对 MIB 前缀++- 状态:已采纳+- 日期:2026-11-03+- 关系:修订 `catalog_rules.normalise_code_key` 与 `same_release_code` 的补零规则;补充 [ADR-0027](0027-content-region-dimension.md) 依赖的 `KOREAN_MIB_PREFIXES`++## 背景++番号撞号有两种,都会让一部片的资料、封面被另一部顶掉。++**短号补零撞号。** [#296](https://github.com/peach-mitao/peach/issues/296) 报告 `MCDV-24` 和 `MCDV-024` 是两部片。2026-11-03 在 JavDB 核实:前者是メルシーボークー的无码片(2015-06-25,110 分钟),后者是クリスタル映像的有码片(2004-12-10,130 分钟)。`normalise_code_key` 把数字段一律补零到三位,`release_identity` 又按整数比较数字段,所以两部片在缓存键、身份核对、DMM 封面校验里都是同一部。JavDB 搜索会同时返回两部,来源因此报「同番号对应多个作品」。++**前缀表混入日本系列。** `KOREAN_MIB_PREFIXES` 前两批取自本机 MIB 目录的文件名。与官网全站快照(2026-09-10,368 部)对照,`AR`、`JA`、`MH`、`SIA`、`SY`、`WX`、`YUJ` 七个前缀在官网上一部都没有。逐个核对账本后,其中只有 `YUJ` 是错的:++- `YUJ-101`、`YUJ-102` 的片名与片长和官网 `AIN-101`「HOT Big Tits」(41:01)、`AIN-102`「SM PLAY Tattoo Slave」(27:44)逐一对上,是错名文件;`YUJ-103` 在官网未取得。+- `YUJ` 是 Attackers 的系列:r18.dev 上有 `YUJ-001`~`YUJ-080`,账本里的 `YUJ-072`(164 分钟,不在 MIB 目录)被这张表判成 MIB,一家来源都不问。+- 另外六个前缀下共 21 部片,全在 MIB 目录、片长 20~62 分钟、片名带 MIB 演员名,是官网换了写法(`SY-101` 的 Soyeong 在官网是 `SOY-101`)或没有收录的真 MIB 片。++## 决策++1. **短号按字母段登记。** `SHORT_SERIAL_PREFIXES` 收录短号与补零号已核实是两部片的字母段,目前只有 `MCDV`。登记过的字母段写成不足三位时,`code_serial` 按原写保留,`code_serial_pattern` 只认原写;归一化、身份比对、文件名匹配、`metadata.identifies_code` 与 DMM 封面校验都用这两个函数。三位以上的前导零仍然收掉,DMM 的 `mcdv00024` 是 `MCDV-024`。未登记的字母段保持原行为:短号是补零号的省略写法。+2. **`YUJ` 移出 `KOREAN_MIB_PREFIXES`。** 另外六个前缀保留,注释按来源分批写明哪些取自本机目录、哪些取自官网。+3. **升级补修。** `upgrade_rules.CATALOG` 升到 `catalog-v3`,重跑已有的番号补修:由扫描写入(`scan:filename`)的番号按新规则从文件名重新推导,身份不同时改正,并排进重新处理;人工填写的番号不动。++## 理由++- 先试过通用规则「短号一律按原写保留」,被三条已有的真实证据推翻:文件名把 `LAF-041` 写成 `LAF-41`,来源把 `MESU-088` 返回成 `MESU-88`,封面编号写成 `278gyan17`。短号绝大多数是省略写法,两部并存是例外,只能逐个登记。+- 这个判断要在扫描时做,那时还没问过任何来源,所以没法按来源返回的片长或搜索结果当场判别。登记表与 `MAKER_NUMBER_PREFIX`、`_RELEASE_PREFIX_ALIASES` 同类,每条都附核实来源。+- 登记字母段的代价不对称:随手写成 `MCDV-24` 的有码片会被认成无码那部。有码那部在 JavDB 上写三位,按原写保留比一律补零少错一部。+- 六个官网查不到的前缀不能仅凭「官网没有」移出。移出后这 21 部片的产地推断会从「韩国」变成「未判定」,刮削、封面与目录整理都会按 JAV 处理(`asset.region` 为空时按番号实时推断)。++## 被否决的方案++- **前缀表改由官网快照生成。** 会删掉上述六个前缀,21 部真 MIB 片随之误判。官网快照用于核对,不作为唯一来源。+- **按片长阈值区分韩国片与日本片。** 官网作品片长 8.7~95.6 分钟,与日本片有重叠,阈值无论定在哪里都会误判,而且每出一部长片就要改。+- **撞号时按来源片长挑选。** 扫描时还没有来源数据,缓存键已经定下;来源阶段再挑,撞掉的封面与资料已经写进同一个键。+- **为 `SY` 这类前缀加片长核对,让同号的日本片也能刮削。** 本机没有 Plum 的 `SY` 片,代价是改动刮削路由并为每次查询多取一次时长。等真实出现再做。++## 后果++- `YUJ-072` 按有码链刮削。`YUJ-101`~`YUJ-103` 的产地推断变为未判定,番号改正(`AIN-101`、`AIN-102`)属于真实账本写入,单独授权。+- 已用旧规则补零的 `MCDV` 扫描番号在升级后改回原写并重新处理;同一次补修会重跑 `_catalog_plan` 的全部收集项与时长重探,并先写一份账本备份。+- 以后核实到新的撞号字母段,往 `SHORT_SERIAL_PREFIXES` 加一条附证据的登记,并再升一次 `CATALOG`。diff --git a/src/peach/catalog_rules.py b/src/peach/catalog_rules.pyindex 8db13c646..11d43c59d 100644--- a/src/peach/catalog_rules.py+++ b/src/peach/catalog_rules.py@@ -288,7 +288,7 @@ MAKER_NUMBER_PREFIX = {_DATED_COMPACT = re.compile(rf"^{_MMDDYY}\d{{2,4}}$")_CODE_MAKER_PREFIXED = re.compile(r"^(\d{3})([A-Z]{2,8})-(\d{2,5})$")#: 数字前缀单独保留;`h_` 是 DMM content_id 的 label 标记。-_RELEASE_ID = re.compile(r"^(\d{1,4})?([A-Z]{2,8})0*(\d{1,5})([A-Z]{0,2})$")+_RELEASE_ID = re.compile(r"^(\d{1,4})?([A-Z]{2,8})(0*\d{1,5})([A-Z]{0,2})$")#: MGStage 给 SOD 作品加的店铺前缀:商品页 `107STARS-325` 与 DMM、javdb 的 `STARS-325` 是同一部,#: 账本与资源站都只用裸番号。2026-11-01 逐组核过 MGStage 商品页与 javdb 的标题、出演、日期,#: 账本里这三个字母段只挂 SOD Create。@@ -612,7 +612,42 @@ def normalise_code_key(code: str | None) -> str:shape = re.fullmatch(r"(\d{3})?([A-Z]+)-?(\d+)([A-Z]{0,2})", value)if not shape:return value- return f"{shape.group(1) or ''}{shape.group(2)}-{int(shape.group(3)):03d}{shape.group(4)}"+ letters = shape.group(2)+ return f"{shape.group(1) or ''}{letters}-{code_serial(letters, shape.group(3))}{shape.group(4)}"+++#: 短号与补零号是两部片的字母段(ADR-0133)。其余字母段的短号都是补零号的省略写法:+#: 文件名写 `LAF-41`、来源返回 `MESU-88`、封面编号写 `278gyan17`,指的都是三位那部。+#:+#: `MCDV`:#296 报告,2026-11-03 在 JavDB 核实两部都在——`MCDV-24` 是メルシーボークー+#: 的无码片(2015-06-25,110 分钟),`MCDV-024` 是クリスタル映像的有码片(2004-12-10,+#: 130 分钟)。代价是随手写成 `MCDV-24` 的有码片会被认成无码那部。+SHORT_SERIAL_PREFIXES = frozenset({"MCDV"})+++def _keeps_width(letters: str, digits: str) -> bool:+ return len(digits) < 3 and letters.upper() in SHORT_SERIAL_PREFIXES+++def code_serial(letters: str, digits: str) -> str:+ """番号数字段的规范写法:补零到三位,`SHORT_SERIAL_PREFIXES` 的短号按原写保留。++ 三位以上的前导零一律收掉:DMM 的 `mcdv00024` 与 `MCDV-024` 是同一部。+ """+ return digits if _keeps_width(letters, digits) else f"{int(digits):03d}"+++def code_serial_pattern(letters: str, digits: str) -> str:+ """文件名和来源编号里认同一个数字段的写法,补零规则照 `code_serial`。++ `MCDV-024` 认 `mcdv024`、`mcdv00024`,不认 `mcdv24`;`MCDV-24` 只认原写。+ 其余字母段补零多少都认:`LAF-041` 认 `laf41`。+ """+ if _keeps_width(letters, digits):+ return digits+ number = str(int(digits))+ least = 3 - len(number) if letters.upper() in SHORT_SERIAL_PREFIXES else 0+ return rf"0{{{max(0, least)},}}{number}"def is_jav_code(code: str | None) -> bool:@@ -730,7 +765,7 @@ def release_identity(code: str | None) -> str:suffix = ""if (prefix, letters) in _RELEASE_PREFIX_ALIASES or str(code or "").upper().strip().startswith("H_"):prefix = ""- return f"{prefix}{letters}-{int(number)}{suffix}"+ return f"{prefix}{letters}-{code_serial(letters, number)}{suffix}"return value@@ -1030,7 +1065,7 @@ def _jav_code_pattern(code: str | None) -> str:prefix, letters, digits, suffix = amateur.groups()return (rf"{re.escape(prefix or '')}{re.escape(letters)}"- rf"[-_ ]*0*{re.escape(str(int(digits)))}{re.escape(suffix)}"+ rf"[-_ ]*{code_serial_pattern(letters, digits)}{re.escape(suffix)}")tokyo = _TOKYO_HOT_BODY.fullmatch(canonical)if tokyo:diff --git a/src/peach/jav_cover_fetch.py b/src/peach/jav_cover_fetch.pyindex fa4463bfe..7e0eb1061 100644--- a/src/peach/jav_cover_fetch.py+++ b/src/peach/jav_cover_fetch.py@@ -64,6 +64,7 @@ from peach.task_runs import TaskRunHandle, cli_run, inert_handlefrom peach.platform import system_volumefrom peach.catalog_rules import (code_letter_stem,+ code_serial,is_amateur_code,is_jav_code,is_korean_mib_code,@@ -566,9 +567,10 @@ def is_cross_product_cover(code: str, url: str) -> bool:if stem not in cid:return True# 字母段对上还不够:`YUJ-101` 取回的是 `yuj00011`,`CHU-201` 是 `chu00021`,- # `435MFC-135` 是 `h_1711mfcc00027`。数字段按整数比,补零和厂牌前缀都不影响。+ # `435MFC-135` 是 `h_1711mfcc00027`。数字段按 `code_serial` 比,补零和厂牌前缀都不影响;+ # 只有 `SHORT_SERIAL_PREFIXES` 的短号例外:DMM 的 `mcdv00024` 是有码 `MCDV-024`,不是无码 `MCDV-24`。wanted, got = _CODE_NUMBER.search(code or ""), _CID_NUMBER.search(cid)- return bool(wanted and got) and int(wanted.group(1)) != int(got.group(1))+ return bool(wanted and got) and code_serial(stem, wanted.group(1)) != code_serial(stem, got.group(1))def _is_prestige(evidence: MetadataEvidence) -> bool:diff --git a/src/peach/metadata.py b/src/peach/metadata.pyindex f95fa0a07..857cc22c7 100644--- a/src/peach/metadata.py+++ b/src/peach/metadata.py@@ -6,7 +6,7 @@ from datetime import datefrom urllib.parse import urlsplitfrom .catalog_rules import (- same_release_code, code_query_variants, normalise_code_key, tokyo_hot_code)+ same_release_code, code_query_variants, code_serial_pattern, normalise_code_key, tokyo_hot_code)from .genre_taxonomy import map_genres, unmapped_genre_warningfrom .http import body_textfrom .javdb import LOGIN as JAVDB_LOGIN_PAGE@@ -208,9 +208,9 @@ def identifies_code(code: str, payload: dict) -> bool:value = str(code or "").upper()matched = re.fullmatch(r"(?:\d{3,6})?([A-Z]{2,8})-?(\d{2,5})([A-Z]{0,2})", value)if matched:- letters, digits = matched.group(1).lower(), matched.group(2).lstrip("0") or "0"+ letters, digits = matched.group(1).lower(), code_serial_pattern(matched.group(1), matched.group(2))suffix = matched.group(3).lower()- return any(re.search(rf"(?<![a-z]){letters}[-_]?0*{digits}{suffix}(?![a-z0-9])",+ return any(re.search(rf"(?<![a-z]){letters}[-_]?{digits}{suffix}(?![a-z0-9])",str(payload.get(field) or "").lower()) is not Nonefor field in IDENTITY_FIELDS)return _compact(value) in blobdiff --git a/src/peach/upgrade_rules.py b/src/peach/upgrade_rules.pyindex c42341b6d..ab68bc2ba 100644--- a/src/peach/upgrade_rules.py+++ b/src/peach/upgrade_rules.py@@ -1,6 +1,6 @@"""持久结果的处理规则版本;各能力只失效自己拥有的派生结果。"""-CATALOG = "catalog-v2"+CATALOG = "catalog-v3"PREVIEWS = "previews-v2"LOCAL_POSTERS = PREVIEWS + ':local'PROCESSING = "processing-v2"diff --git a/tests/test_jav_code_domain.py b/tests/test_jav_code_domain.pyindex 7edfac1df..74f5abfb1 100644--- a/tests/test_jav_code_domain.py+++ b/tests/test_jav_code_domain.py@@ -328,6 +328,44 @@ class DatedCodeSeparatorTests(unittest.TestCase):self.assertFalse(is_uncensored_code(value), value)+class ShortSerialWidthTests(unittest.TestCase):+ """登记过的字母段,短号按原写保留:#296 的 `MCDV-24` 与 `MCDV-024` 是两部片。++ JavDB 实测:`MCDV-24` 是メルシーボークー的无码片(2015-06-25,110 分钟),+ `MCDV-024` 是クリスタル映像的有码片(2004-12-10,130 分钟)。其余字母段的短号仍是+ 补零号的省略写法,两头都钉住,免得有人把例外推广成通用规则(ADR-0133)。+ """++ def test_other_prefixes_still_pad_short_serials(self):+ self.assertEqual(normalise_code_key("LAF-41"), "LAF-041")+ self.assertEqual(release_code_from_filename("laf41.mp4"), "LAF-041")+ self.assertTrue(same_release_code("MESU-088", "MESU-88"))+ self.assertEqual(jav_fallback_title("laf41 some title.mp4", "LAF-041"), "some title")++ def test_the_key_keeps_the_written_width(self):+ self.assertEqual(normalise_code_key("mcdv-24"), "MCDV-24")+ self.assertEqual(normalise_code_key("MCDV24"), "MCDV-24")+ self.assertEqual(normalise_code_key("MCDV-024"), "MCDV-024")+ self.assertEqual(release_code_from_filename("MCDV-24.mp4"), "MCDV-24")+ self.assertEqual(release_code_from_filename("mcdv-024.mp4"), "MCDV-024")++ def test_the_two_widths_are_two_releases(self):+ self.assertFalse(same_release_code("MCDV-24", "MCDV-024"))+ self.assertTrue(same_release_code("MCDV-24", "mcdv24"))++ def test_padding_beyond_three_digits_is_still_one_release(self):+ # DMM content_id 补到五位:`mcdv00024` 是有码那部,`ssis00001` 是 `SSIS-001`。+ self.assertTrue(same_release_code("mcdv00024", "MCDV-024"))+ self.assertFalse(same_release_code("mcdv00024", "MCDV-24"))+ self.assertTrue(same_release_code("ssis00001", "SSIS-001"))+ self.assertEqual(normalise_code_key("SSIS-0001"), "SSIS-001")++ def test_filename_matching_follows_the_same_width(self):+ self.assertEqual(jav_fallback_title("MCDV-24 first title.mp4", "MCDV-24"), "first title")+ self.assertEqual(jav_fallback_title("mcdv-024 other title.mp4", "MCDV-24"), "mcdv-024 other title")+ self.assertEqual(jav_fallback_title("MCDV0024 other title.mp4", "MCDV-024"), "other title")++class TokyoHotShapeTests(unittest.TestCase):"""Tokyo-Hot 的编号没有厂牌字母段,规范写法是小写。`k` 与 `red` 两支账本里一条没有,按同一发行体系一并认。diff --git a/tests/test_jav_covers.py b/tests/test_jav_covers.pyindex 1c876802f..cc69cffc4 100644--- a/tests/test_jav_covers.py+++ b/tests/test_jav_covers.py@@ -774,7 +774,7 @@ class CrossProductCoverTests(unittest.TestCase):"https://contents-thumbnail2.fc2.com/w1200/storage/x.jpg"))def test_dmm_content_id_must_carry_the_code_number(self):- # 字母段对上、数字段不对:MIB 的 `YUJ-101` 取回 `yuj00011`,`435MFC-135` 取回+ # 字母段对上、数字段不对:`YUJ-101` 取回 `yuj00011`,`435MFC-135` 取回# `mfcc00027`。954 条成功记录里,这样的正好 9 条,全是错图。for code, cid in (("YUJ-101", "yuj00011"), ("CHU-201", "chu00021"),("435MFC-135", "h_1711mfcc00027")):@@ -788,6 +788,12 @@ class CrossProductCoverTests(unittest.TestCase):self.assertFalse(covers.is_cross_product_cover(code, f"https://pics.dmm.co.jp/mono/movie/{cid}/{cid}pl.jpg"))+ def test_dmm_padding_does_not_cross_a_registered_short_serial(self):+ # #296:DMM 的 `mcdv00024` 是クリスタル映像的有码 `MCDV-024`,不是无码的 `MCDV-24`。+ url = "https://pics.dmm.co.jp/mono/movie/mcdv00024/mcdv00024pl.jpg"+ self.assertTrue(covers.is_cross_product_cover("MCDV-24", url))+ self.assertFalse(covers.is_cross_product_cover("MCDV-024", url))+def test_an_fc2_image_named_after_another_work_is_cross_product(self):# JavArchive 图床的文件名就是作品号;十位的 `1654160016` 是上传时间戳,说明不了归属。for url in ("https://img.javstore.net/images/2024/01/15/2184960PL.gif",diff --git a/tests/test_metadata.py b/tests/test_metadata.pyindex 1c25d7e13..1132a9606 100644--- a/tests/test_metadata.py+++ b/tests/test_metadata.py@@ -236,6 +236,12 @@ class SourceIdentityTests(unittest.TestCase):("550ENE-006", {"id": "ENE-006", "content_id": "ene006"})):self.assertFalse(identifies_code(code, payload), code)+ def test_a_registered_short_serial_rejects_the_padded_release(self):+ # #296:`MCDV-24` 与 `MCDV-024` 是两部片,DMM 按补零猜出的 `mcdv00024` 是后者。+ self.assertFalse(identifies_code("MCDV-24", {"content_id": "mcdv00024"}))+ self.assertTrue(identifies_code("MCDV-024", {"content_id": "mcdv00024"}))+ self.assertTrue(identifies_code("MCDV-24", {"id": "MCDV-24"}))+def test_real_source_id_shapes_are_accepted(self):# DMM 带厂牌数字前缀,r18dev 对 IQQQ-026 会补零,259 系只在 URL 里出现番号。self.assertTrue(identifies_code("ABW-220", {"content_id": "118abw220"}))diff --git a/tests/test_upgrade_repairs.py b/tests/test_upgrade_repairs.pyindex 9e503699e..e05b82000 100644--- a/tests/test_upgrade_repairs.py+++ b/tests/test_upgrade_repairs.py@@ -296,6 +296,24 @@ class UpgradeRepairTests(unittest.TestCase):self.service.prepare()self.assertEqual(upgrade_repairs._read(self.service.receipt), receipt)+ def test_catalog_upgrade_restores_a_registered_short_serial(self):+ # #296:旧规则把 `mcdv-24.mp4` 补零成 `MCDV-024`,那是另一部有码片。+ with self.database.write_transaction() as connection:+ for key, name, code in ((1, 'mcdv-24.mp4', 'MCDV-024'), (2, 'LAF-41.mp4', 'LAF-041')):+ connection.execute('INSERT INTO asset(id,location,path,name,medium,code,field_owners,duration) '+ "VALUES(?,'local',?,?,'video',?,?,60)",+ (key, name, name, code, json.dumps({'code': 'scan:filename'})))+ old = upgrade_repairs.CATALOG_REVISION.replace('catalog-v3', 'catalog-v2')+ connection.execute('INSERT INTO ledger_upgrade_repair(id,applied_at,result_json) VALUES(?,?,?)',+ (old, '1', json.dumps({'revision': old})))+ self.service.prepare()+ with self.database.read_connection() as connection:+ rows = connection.execute('SELECT id,code FROM asset ORDER BY id').fetchall()+ self.assertEqual([tuple(row) for row in rows], [(1, 'MCDV-24'), (2, 'LAF-041')])+ receipt = upgrade_repairs._read(self.service.receipt)+ self.assertIn(1, receipt['media_ids'])+ self.assertNotIn(2, receipt['media_ids'])+def test_failure_rolls_back_repairs_and_marker_together(self):self.asset(1)original = upgrade_repairs._catalog_apply