Peach: Local-first video metadata scraper and media manager.
feat(scraping): 素人链缺演员时问素人系総合 Wiki 与 av_neme
longmeidao47d1203bbffe
diff --git a/CHANGELOG.md b/CHANGELOG.mdindex ba732d5fe..499fff3da 100644--- a/CHANGELOG.md+++ b/CHANGELOG.md@@ -30,6 +30,7 @@ Removed / Fixed / Security。- **关注**:JAV 订阅多了 DMM / FANZA 这一路。订阅的女优在 DMM 有编号(刮削时由 DMM 或 r18.dev 记下)的,除 JavDB 演员页外还会按编号列她在 DMM 的片单,预购的作品也会出现在新作里;两边报的同一部只算一部,几十人的合集不列。订阅源列表里这类叫「JAV 订阅 · DMM」,可以单独停用;JavDB 上没有演员页、只有 DMM 编号的女优也能订阅。已在订阅的女优在下一轮检查时自动补上。- **采集**:补女优资料时,如果 minnano-av 上找不到她,就从 avbase 女优页补生日、身高、三围、罩杯,以及站上填了的出身地、血型和趣味,人物页页头不再空着。已有 minnano-av 资料或人工资料的只核对、不覆盖;她之后出现在 minnano-av 上,资料会换成那边的。- **采集**:装好、换网络或改代理后,可以一次检查各资料源与图片 CDN 能不能连上,分清可连接、要登录或人机验证、HTTP 错误、正在冷却和网络失败。网页在「来源和凭证」的「连接检查」里点「全部检查」,后台进行、显示进度,离开页面回来结果还在;命令行用 `peach check-sources`。只做检查,不改设置也不清冷却,正在冷却的来源不再请求(#382)。+- **采集**:素人片缺演员时,资料处理会在 MGStage 之后去问 Seesaa 上的素人系総合 Wiki 和 av_neme,补上背后那位女优的艺名;MGStage、r18.dev 写的 `アミ`、`七○舞`、`早見さん` 这类片中称呼不再压过它。已有演员的片不受影响。- **采集**:用户脚本添加的任务结束后,完成或失败会一直留在浮卡的「其他任务」里,直到在脚本里标为已读;窗口全关时结束的,下次打开也能看到,失败的也能在脚本里直接重试。需要用户脚本 0.7.2 起的版本;任务中心、想要清单等别处提交的仍只显示 10 分钟。- **更新**:Docker 部署可以在配置页一键更新。用 `docker compose --profile watchtower up -d` 启动 `compose.yaml` 新增的可选 Watchtower,Peach 自动配好它,不用填任何设置;检查到新镜像时点「一键更新」,Watchtower 拉取镜像并重建 Peach 容器,`/data` 保留,有待执行的数据库迁移时启动前先备份。容器里检查更新改以 Docker Hub 为准,发布页已有新版、镜像还没推送时显示「镜像尚未发布」。没有启用 Watchtower 时仍列出宿主机上的两步命令。Watchtower 能管理宿主机上的容器,启用前先读 [Docker 部署](docs/DOCKER.md#一键更新可选-watchtower)。- **配置**:Windows 源码运行缺 FFmpeg 或 untrunc 时,「应用与维护」的「运行信息」里可以直接点「安装」:Peach 下载发布页上的同一份工具包,经 Peach 代理出网、校验后装进数据目录的 `tools`,装好那一行显示版本,不用再自己下载解压。macOS、Linux 没有发布的工具包,仍给官方下载链接。diff --git a/docs/SOURCING.md b/docs/SOURCING.mdindex bdeb35ca3..ad061c12f 100644--- a/docs/SOURCING.md+++ b/docs/SOURCING.md@@ -79,7 +79,8 @@这节讲怎样从 Seesaa 上的素人认人 Wiki 取番号的出演、标题和日期候选。-入口是 `scripts/scrape_codes.py --profile seesaa`(素人系総合 Wiki),两个认人 Wiki 用+素人系総合 Wiki 与 av_neme 在素人链上,缺演员的素人片由资料处理按链问到(ADR-0144,见「按内容类型的来源链」)。+批量取证的入口是 `scripts/scrape_codes.py --profile seesaa`(素人系総合 Wiki),两个认人 Wiki 用`--sources av_neme,av_name` 点名。三站同一个模块、同一套取页层,产出既有的`metadata-field-candidates` CSV。@@ -89,6 +90,8 @@- `--wiki-max-requests` 默认 80,每站各一份额度;每页最多 4 MiB;同主机合计每 2 秒至多一次请求。- 成功页有缓存,中断后可续跑;`--refresh` 重取页面。- 撞上 403、429 或机器人验证就停止本批联网。这次未取得不冻结成永久无结果。+- 国内家宽直连每一页都回 403,必须经代理。2026-11-05 实测日本、香港、美国几个出口都能取到完整页面;站内搜索+ 偶尔要十几秒,出在服务端,换出口不改善。同一个出口 IP 连续取几百页后会被判撞墙,四十分钟后自行恢复。怎么读页面:@@ -160,7 +163,7 @@ Wiki 与视频作品资料无关。| 类型 | 判据 | 链(从左到右) | 这条链为什么不含 || --- | --- | --- | --- || censored | 其余厂牌番号 | (本机证据认得时)prestige/faleno/dahlia,都不认时 makers → r18dev → dmm → avbase → javbus → javdb | 1pondo(无码片商)、fc2(另一套商品号)、mgstage(对有码号是转售店) |-| amateur | `300MIUM-1239` 这类三位数字前缀,加 `SIRO`/`STP`/`STN`;本机证据写着带三位前缀的同一个号(`LUXU-688` 的文件是 `259LUXU-688.mp4`) | mgstage → avbase → javbus → javdb → r18dev | makers 与三家片商站(素人号不归它们);dmm(搜 `MIUM 1239`、`LUXU 1475` 零结果)。r18dev 垫底:本机快照里它一份素人号都没给过 |+| amateur | `300MIUM-1239` 这类三位数字前缀,加 `SIRO`/`STP`/`STN`;本机证据写着带三位前缀的同一个号(`LUXU-688` 的文件是 `259LUXU-688.mp4`) | mgstage → sougouwiki → av_neme → avbase → javbus → javdb → r18dev | makers 与三家片商站(素人号不归它们);dmm(搜 `MIUM 1239`、`LUXU 1475` 零结果);av_name(厂牌页只挂最新约 1100 件)。r18dev 垫底:本机快照里它一份素人号都没给过 || uncensored | 日期式番号、`HEYZO-1380`、Tokyo-Hot 的 `n0780` | (证据指着一本道时)1pondo → avbase → javbus → javdb → avsox | r18dev:无码番号在它上面没有 || fc2 | `FC2` 开头的商品号,与没归一的 `FC-43768` 这种短写法 | fc2 → fc2cmadb → fc2ppvdb → javten → javarchive → javdb | r18dev(85 条全空)、avbase 与 javbus(对 FC2 零产出)、fc2club(本机快照零产出,还回 429 进冷却) || kmib | `KOREAN_MIB_PREFIXES` 里的前缀 | 一家都不问 | 全部:番号与日本片同形,问回来的是别的作品 |@@ -189,6 +192,9 @@ Wiki 与视频作品资料无关。- 综合索引那一档整档一起问,不逐家短路。免复核要两家取值一致(ADR-0030、ADR-0034),封面互证要两个不同图源(ADR-0032),问到第一家就停等于把这两条判据的样本降到下限。- 这一行要的本来就只有标签或封面时,第一家给了就停(ADR-0033)。+- 素人片缺演员时,MGStage 给齐了也接着问认人 Wiki:MGS 写的是片中称呼或干脆不写(ADR-0144)。素人系総合 Wiki+ 给出演员就不问 av_neme;两站都没给,MGStage 给的字段够了就停,不落到综合索引。已有演员的行不问 Wiki。+ 演员栏上两个 Wiki 排在官方档前面(`FIELD_SOURCE_PRIORITY`),标题与日期仍听 MGStage。- 唯一例外:FALENO、DAHLIA 官网不给类别,缺标签的行在片商站答完标量后再问一次 r18.dev;下一档是综合索引就照样停。r18.dev 答了就不再为标签问 dmm,两家是同一份目录。@@ -292,7 +298,7 @@ Wiki 与视频作品资料无关。| FC2PPV-DB | 已套契约 | `sources/fc2ppvdb.py` | 作品页一跳 `/ja/videos/<id>`;`<h1>` 里认不出番号(含站方 200 的 404 页)归 `not_found`,Cloudflare 验证页归 `cloudflare_challenge`;女优只在出演女優块里取,「流出」标记进 `extra['leaked']`,不交封面(缩略图 360×360) || JAVten | 已套契约 | `sources/javten.py` | `/search?kw=<id>` 一跳,单命中时站方直接跳作品页,落到译文页再取日文原页;`h1.fc2-id` 对不上归 `not_found`,`og:url` 带语言前缀归 `parse_error`(中文是机翻,只收日文原页);封面是 `og:image` 与 fancybox 那两处的 FC2 存储原件地址 || JavArchive | 已套契约 | `sources/javarchive.py` | 搜索页加作品页两跳;`records()` 把搜索命中的每一条转存各交一份记录,某一条 404 或对不上就跳过 |-| Seesaa 的三个 Wiki | 已套契约 | `sources/seesaa.py` | 只由 `scrape_codes --profile seesaa` 或 `--sources sougouwiki,av_neme,av_name` 点名;两个认人 Wiki 共用 `NameWikiSource`;`rows()` 把一页作品表每行各读成一份记录;传输是 `WikiPages`(页缓存、本批限额、撞墙停网),不在 `scraping_access.SOURCES` 里;失败沿用 `budget`、`blocked`、`ambiguous`、`incomplete_search` 等分档,落进批处理的错误表与健康表,`budget` 与 403/429 决定本批停网 |+| Seesaa 的三个 Wiki | 已套契约 | `sources/seesaa.py` | 素人系総合 Wiki 与 av_neme 在素人链上,由 `LibraryMetadataProvider.wiki` 经正式链的传输问(页缓存在数据根 `sources/library-metadata/seesaa-pages`,每站请求上限 2000 次);三站都可由 `scrape_codes --profile seesaa` 或 `--sources sougouwiki,av_neme,av_name` 点名;两个认人 Wiki 共用 `NameWikiSource`;`rows()` 把一页作品表每行各读成一份记录;传输是 `WikiPages`(页缓存、本批限额、撞墙停网),不在 `scraping_access.SOURCES` 里;失败沿用 `budget`、`blocked`、`ambiguous`、`incomplete_search` 等分档,落进批处理的错误表与健康表,`budget` 与 403/429 决定本批停网 |FC2 五站依次问、资料取齐即停、封面问到底的流程在 `LibraryMetadataProvider.fc2`,按`metadata_routes.FC2_STAGE` 逐站调 `records()`;各站只管自己的取页与解析。diff --git a/docs/adr/0144-amateur-chain-asks-the-name-wikis-for-the-cast.md b/docs/adr/0144-amateur-chain-asks-the-name-wikis-for-the-cast.mdnew file mode 100644index 000000000..3370abbae--- /dev/null+++ b/docs/adr/0144-amateur-chain-asks-the-name-wikis-for-the-cast.md@@ -0,0 +1,69 @@+# ADR-0144:素人链缺演员时问两个认人 Wiki++- 状态:已采纳+- 日期:2026-11-05+- 关系:扩展 [ADR-0038](0038-field-priority-chain-settles-dissent.md) 的字段优先级例外表,沿用 [ADR-0061](0061-fc2cmadb-cast-lists-name-the-woman-behind-a-nickname.md) 的「演员栏听按片中人整理的来源」;Seesaa 取页层见 `docs/SOURCING.md`「Seesaa Wiki 作品证据」++## 背景++素人链原来是 mgstage → avbase → javbus → javdb → r18dev。MGStage 是素人番号的发行页,可它的演员栏要么空着,要么写片中称呼:本机账本 `348NTR-076` 记着 `アミ`、`857OMG-048` 记着 `七○舞`,r18.dev 写 `早見さん`、`Mana(23)`。后面三家综合索引大多转载同一份。用户要的是背后那位女优的艺名。++Seesaa 上的素人系総合 Wiki 与 av_neme 就是把素人作品对到艺名的名鑑,`sources/seesaa.py` 早已能解析,但只由 `scrape_codes --profile seesaa` 或 `--sources` 点名,例行资料处理问不到。++2026-11-05 对 29 个不同厂牌的素人番号单独问三个 Wiki(每部片各问一遍、不共用厂牌表,最坏情况):++| Wiki | 给出演员 | 与账本已确认演员对照 | 单部平均耗时 |+| --- | --- | --- | --- |+| 素人系総合 Wiki | 13 | 一致;不一致的是账本记着片中称呼、Wiki 给艺名 | 约 14 秒 |+| av_neme | 16 | 同上 | 约 13 秒 |+| av_name | 12 | 唯一一条对不上账本的出自它 | 约 12 秒 |++三站合计 20 部至少一站给出演员。++## 决策++**一、素人链在 MGStage 之后问素人系総合 Wiki,再问 av_neme。** 链变成 mgstage → sougouwiki → av_neme → avbase → javbus → javdb → r18dev(`metadata_routes.WIKI_STAGE`)。av_name 不进链:它的厂牌页只挂最新约 1100 件,唯一一条错的也出自它;仍可由 `scrape_codes --sources` 点名。++**二、只在缺演员时问。** 这一行缺演员、链上有 Wiki 时,MGStage 把标量给齐了也不停(`settles(..., wants_cast=True)`),接着问 Wiki;一个 Wiki 给出演员就不再问另一个。两个都没给(没有这部片、连不上),MGStage 给的字段已经够了就停,不为此落到综合索引——javdb 那条全进程共用的 3 秒队列正是要省的。已有演员的行不问 Wiki。++**三、演员栏上两个 Wiki 排在官方档前面。** `FIELD_SOURCE_PRIORITY["performers"]` 在 fc2cmadb、fc2ppvdb 之后加上 sougouwiki、av_neme。只有素人番号问得到它们,提前不影响别的类型;标题、厂牌、日期仍听 MGStage。++**四、取页走正式链的传输。** `LibraryMetadataProvider.wiki` 用资料处理那一份 `HostLimitedTransport`(Peach 代理设置、全进程主机间隔 2 秒),页缓存放在数据根 `sources/library-metadata/seesaa-pages`,同厂牌的下一部片直接读缓存里的厂牌表。每站请求上限 2000 次,每取一页前看这部片的动作预算(90 秒)。没找到(含站内搜索翻完仍未命中的 `incomplete_search`)记成「没有」,7 天内不再问;连不上记成来源失败,下一轮重试。++## 理由++- 演员是素人片最缺、也最难从发行方拿到的字段。名鑑类来源回答的正是「这部片里是谁」,与 fc2cmadb 对 FC2 的角色相同。+- 放在综合索引之前:Wiki 不与 javdb 共用 3 秒队列,问到了就省掉后面三家;放在之后则每部缺演员的素人片都要先排一遍 javdb。+- 只在缺演员时问,已有演员的存量不受影响,也不在核查时拿 Wiki 去挑战人工确认过的值。++## 时间成本与实测++单个 Wiki 一部片要搜索一页、结果页最多 8 页、厂牌页最多 4 页,按 2 秒间隔最坏约 26 秒。厂牌页大,av_neme 的系列页可达 3 MB,传输时间也算在里面。++2026-11-05 用接入后的链对同一批 29 个素人番号跑 `scrape_codes`(这个入口不看账本,每部都当缺演员问,是上限):++| 来源 | 问到的番号 | 给出演员 | 平均每部耗时 |+| --- | --- | --- | --- |+| mgstage | 29 | 2 | 11.2 秒 |+| 素人系総合 Wiki | 29 | 15 | 8.7 秒 |+| av_neme | 14(前一站没给的) | 4 | 12.5 秒 |+| 综合索引(avbase、javbus、javdb) | 9 | — | — |++- 两个 Wiki 合计给出 19 部的演员,平均每部多约 15 秒;综合索引从每部都问降到 9 部。整批 16 分钟,每部约 33 秒,在 90 秒的动作预算之内。+- 在账本副本的临时拷贝上去掉这批的演员与旧决定,再用这批候选结算:27 行演员全部自动落库。17 部与账本原值是同一人(逐字相同或按别名归到同一实体);5 部从片中称呼换成艺名(`アミ`→`稲森あみ`、`七○舞`→`七嶋舞`、`れいら`→`久遠れいら` 等);2 部原本没有演员,补上了。+- 同厂牌第二部起,厂牌表已在缓存里,只剩搜索页与结果页。++例行资料处理只对缺演员的素人片付这笔时间:账本副本里 166 个素人番号只有 5 个缺演员。已有演员、有码、FC2、无码都不变。++## 被否决的方案++- **三个 Wiki 都进链。** av_name 覆盖最少、厂牌页截断,还给出过唯一一条错值。+- **放在链尾,综合索引都没给演员时再问。** 综合索引给的多半也是片中称呼,「给了」不等于给对;而且每部都要先排 javdb 的队。+- **按 ADR-0038 第六条用本机快照把片中称呼换成艺名。** 那条路只在称呼形态上像企划名义时才解(`まいな` 这种单名不算),且读的是 `scrape_codes` 的快照目录;直接让 Wiki 在演员栏排前面更简单。++## 后果++- 素人片缺演员时,资料处理的「当前来源」会显示两个 Wiki;流量规划把它们算作走 Peach 代理(它们不在采集设置的站点表里)。国内家宽直连 seesaawiki 一律 403,经代理才取得到,所以不给它们单设直连。+- 同一出口 IP 连续取几百页会被判撞墙(样本实测第 25 部时 sougouwiki 停网),这一任务里该站不再联网,缺的演员下一轮再补。例行处理每轮只有几部缺演员的素人片,碰不到这条线;一次导入上百部素人片时会分几轮补齐。+- 被 Wiki 压下的 MGStage 称呼照旧写进 `review_decision.note`,不登记成别名。+- 接入前已用片中称呼落库的存量不会自动改;要换成艺名仍走 `scrape_codes --profile seesaa` 出候选、人工复核。diff --git a/scripts/scrape_codes.py b/scripts/scrape_codes.pyindex 0eff34945..1ec2568c1 100644--- a/scripts/scrape_codes.py+++ b/scripts/scrape_codes.py@@ -80,8 +80,8 @@ HEALTH_FIELDS = [#: Seesaa 作品表那一档,`--profile seesaa` 只问它。WIKI_SOURCE = SEESAA.name-#: Seesaa 上的几个 Wiki(`sources.seesaa.WIKI_SOURCES`)。它们不在任何内容类型的链上-#: (`metadata_routes.ROUTES`),只由 `--profile seesaa` 或 `--sources` 点名,各自一档,经契约问。+#: Seesaa 上的几个 Wiki(`sources.seesaa.WIKI_SOURCES`),各自一档,经契约问。素人系総合 Wiki 与+#: av_neme 在素人链上(`metadata_routes.WIKI_STAGE`),av_name 只由 `--profile seesaa` 或 `--sources` 点名。WIKI_SOURCES = tuple(WIKI_SITES)#: `--sources` 能点名的来源:链上每一档的成员,加 Seesaa 的几个 Wiki。别的名字在 `SOURCE_SPECS` 里#: 只是历史来源身份(`metadata_policy.HISTORICAL_SOURCES`),当前没有解析器可问。@@ -211,6 +211,9 @@ class ChainAdapter:elif stage in self.wikis:wiki, session = self.wikis[stage]pairs = [(stage, wiki.query(code, session=session).payload())]+ elif stage in metadata_routes.WIKI_STAGE:+ # 按链走到素人链上的认人 Wiki:没有点名就没有本批自己的 `WikiPages`,用正式链那一份。+ pairs = self.inner.wiki(stage, code)else:raise ValueError(f"链上没有这一档:{stage}")except Exception as error: # noqa: BLE001 - 每种失败都翻成本脚本的分档@@ -844,6 +847,8 @@ def _collect_code_fields(*, code, query, variants, chain, profile, sources, adapif sources is None and not args.english_title_only else None)scalar_settled = Falseasked: set[str] = set()+ # 素人链:MGStage 给的是素人名义,直到有一个认人 Wiki 给出演员才不再问它们(ADR-0144)。+ wants_cast = any(name in metadata_routes.WIKI_STAGE for name in chain)for stage, then in zip(stages, (*stages[1:], "")):members = throttle.open_members(metadata_routes.stage_members(stage, chain))if scalar_settled:@@ -876,11 +881,13 @@ def _collect_code_fields(*, code, query, variants, chain, profile, sources, adapby_field.setdefault(field, []).append(candidate)if candidate["value"]:given.add(field)+ if field == "performers" and source in metadata_routes.WIKI_STAGE:+ wants_cast = False# 本地快照不消耗网络限流窗口。if args.delay > 0 and used_network:time.sleep(args.delay + random.uniform(0, min(0.4, args.delay / 3)))if sources is None and metadata_routes.settles(- metadata_routes.SCALAR_FIELDS, given, wants_tags=True, then=then):+ metadata_routes.SCALAR_FIELDS, given, wants_tags=True, wants_cast=wants_cast, then=then):scalar_settled = Trueif tag_source not in chain or tag_source in asked:breakdiff --git a/src/peach/library_processing.py b/src/peach/library_processing.pyindex 0d8b49519..30de60219 100644--- a/src/peach/library_processing.py+++ b/src/peach/library_processing.py@@ -96,6 +96,12 @@ SOURCE_INTERVALS = {'javdb.com': 3.0, 'jdbstatic.com': 3.0}#: 各起各的 provider,间隔若各算各的,几条同时跑时问同一主机的请求就叠在一起,配额照样按#: 出口 IP 一份算。SOURCE_LIMITER = HostLimiter(SOURCE_INTERVALS, default_interval=2.0)+#: 认人 Wiki 的取页层自己不再等主机间隔:它的传输就是 provider 的 `transport`,那里已经按+#: `SOURCE_LIMITER` 等过一次,再等一遍每页就要 4 秒。+_NO_WAIT = HostLimiter({}, default_interval=0.0)+#: 一个 provider 里每个认人 Wiki 的请求上限。一部片至多十几页,真正的闸门是动作预算与本趟预算;+#: 这一条只挡住同一批里失控地翻页。+WIKI_MAX_REQUESTS = 2000SOURCE_LABELS = {'r18dev': 'r18.dev', 'dmm': 'DMM / FANZA', 'avbase': 'AVBase', 'javbus': 'JavBus', 'javdb': 'javdb','fc2': 'FC2', 'fc2cmadb': 'FC2CMADB', 'fc2ppvdb': 'FC2PPV-DB', 'javten': 'JAVten','javarchive': 'JavArchive',@@ -105,7 +111,8 @@ SOURCE_LABELS = {'r18dev': 'r18.dev', 'dmm': 'DMM / FANZA', 'avbase': 'AVBase','dahlia': 'DAHLIA', 'mgstage': 'MGStage','fc2club': 'FC2Club', 'freejavbt': 'FreeJavBT','airav': 'AIRAV', 'avsox': 'AVSOX',- # Seesaa 的几个 Wiki,只由 `scrape_codes` 点名(`sources.seesaa`)。+ # Seesaa 的几个 Wiki(`sources.seesaa`)。前两个在素人链上(`metadata_routes.WIKI_STAGE`),+ # av_name 只由 `scrape_codes` 点名。'sougouwiki': '素人系総合 Wiki', 'av_neme': 'このAV女優の名前教えてwiki','av_name': 'AV女優の名前特定wiki'}PROVIDER_NAMES = {'local_nfo': 'local-nfo', 'r18dev': 'r18-json', 'dmm': 'dmm-graphql', 'avbase': 'avbase-search',@@ -326,6 +333,24 @@ def _corrects_kept_cover(target, candidate, data, verified_by):return not same_picture(kept, fresh)+class _BudgetedPages:+ """认人 Wiki 的取页层套一层动作预算:每取一页前看一眼还剩多少。++ `WikiPages` 把传输层抛的 `RuntimeError` 一律记成「网络未取得」,预算用尽的 `DeadlineExceeded`+ 也是 `RuntimeError`,所以要在它外面判,不能交给传输层。"""++ def __init__(self, pages):+ self.pages = pages+ self.deadline = None++ def get(self, url):+ from .jav_cover_fetch import DeadlineExceeded+ # 用减法判:`processing_control.ActiveDeadline` 在减法里扣掉暂停的那段。+ if self.deadline is not None and self.deadline - time.monotonic() <= 0:+ raise DeadlineExceeded('外部资料在预算时间内未取得,可稍后重试')+ return self.pages.get(url)++class LibraryMetadataProvider:"""来源链各档的入口:按来源配置的传输,站经 `sources.SITE_SOURCES` 问(`site`),封面走 `cover`。@@ -333,12 +358,16 @@ class LibraryMetadataProvider:`CredentialStore` 自己会拼上那一层。多给一层的表现不是报错,是每个来源都读成「没有凭据」——采集设置里贴好的 JavBus、javdb Cookie 一条都不会被带上。"""- def __init__(self, secrets_root, *, tools_root=None):+ def __init__(self, secrets_root, *, tools_root=None, wiki_root=None):from .scraping_access import SourceTransportfrom .jav_cover_fetch import HostLimitedTransportself.secrets_root = Path(secrets_root)#: amane 桥的 venv 所在的工具区(`<Peach 数据目录>/tools`);不给就用配置里的默认位置。self.tools_root = Path(tools_root) if tools_root is not None else None+ #: 认人 Wiki 的页缓存(`wiki`)。不给就放在凭据根旁边的 `sources/library-metadata/seesaa-pages`:+ #: 凭据根是数据目录下的 `secrets`。+ self.wiki_root = (Path(wiki_root) if wiki_root is not None+ else self.secrets_root.parent / 'sources' / 'library-metadata' / 'seesaa-pages')self.transport = HostLimitedTransport(SourceTransport(secrets_root, max_requests=MAX_SOURCE_REQUESTS,max_bytes=MAX_SOURCE_BYTES, max_seconds=MAX_SOURCE_SECONDS),@@ -657,6 +686,38 @@ class LibraryMetadataProvider:from .sources import SITE_SOURCES, Sessionreturn SITE_SOURCES[source]().query(code, session=Session(self.transport, deadline)).payload()+ def wiki(self, source, code, *, deadline=None):+ """素人链上的认人 Wiki(`metadata_routes.WIKI_STAGE`,ADR-0144),返回 `[(来源, 资料)]`。++ 一个 provider 里每站只建一个 `SeesaaSource`:素人系総合 Wiki 一张厂牌表列着几十上百部,+ 读过的表记在实例里,同厂牌的下一部不再搜索。取页层是 `sources.seesaa.WikiPages`(落盘页缓存),+ 传输用这条链的 `transport`,所以照「Peach 代理」出网、按主机冷却、计进本趟预算,主机间隔与+ 别的站共用 `SOURCE_LIMITER`。一部片最多十几页,每取一页前看这部片的动作预算。++ 站内搜索范围里没找到(`incomplete_search`)按「没有」交出去,记进一周的「没有」记忆:Wiki+ 条目是社区陆续补的,一周后再问;别的失败(断线、撞墙、限额)照常是问题,不记「没有」。+ """+ from .jav_cover_fetch import Unavailable+ from .metadata import MetadataProviderError+ from .sources import Session+ from .sources.seesaa import WIKI_SOURCES, WikiPages+ sites = self.__dict__.setdefault('_wiki', {})+ if source not in sites:+ site = WIKI_SOURCES[source]()+ pages = WikiPages(self.wiki_root, config=site.config, transport=self.transport,+ limiter=_NO_WAIT, max_requests=WIKI_MAX_REQUESTS)+ sites[source] = (site, _BudgetedPages(pages))+ site, pages = sites[source]+ pages.deadline = deadline+ try:+ record = site.query(code, session=Session(pages, deadline))+ except MetadataProviderError as error:+ # 原因里不带站名:`_metadata` 记问题时会给单家来源补上。+ if error.kind == 'incomplete_search':+ raise NotFound(str(error)) from error+ raise Unavailable(str(error)) from error+ return [(source, record.payload())]+def query(self, code, source='r18dev', *, deadline=None):"""有码与素人链上逐个成档的官方来源:默认是 r18.dev(`sources/r18dev.py`),有码链上它之后是 DMM 的GraphQL(`sources/dmm.py`,ADR-0059)。"""@@ -1472,7 +1533,9 @@ class _RemoteSession:if self._provider is None:self._provider = (self._factory() if self._factoryelse LibraryMetadataProvider(self._config.directory('secrets'),- tools_root=self._config.directory('tools')))+ tools_root=self._config.directory('tools'),+ wiki_root=self._config.directory('sources')+ / 'library-metadata' / 'seesaa-pages'))return self._providerdef reset(self):@@ -1665,6 +1728,8 @@ class _RemoteSession:return provider.one_pondo(code, deadline=deadline)if source in ('amane', 'amane_official'):return provider.amane(code, deadline=deadline, route=members)+ if source in metadata_routes.WIKI_STAGE:+ return provider.wiki(source, code, deadline=deadline)route = metadata_routes.community_route(code, *evidence, overrides=self._routes)return provider.community(code, deadline=deadline,route=tuple(name for name in route if name in members), received=received)@@ -1681,11 +1746,13 @@ class _RemoteSession:短路判据是**这一行还缺的必填标量**(标题、演员、厂牌、发行日期),不是「有人答了就算」:r18.dev 少给演员时照旧往下问,否则那一行只能等人工去填。列表字段(标签、封面)不参与短路——多一家就多一批标签和一个图源,而免复核本来就要两家一致- (ADR-0030、ADR-0034)、封面互证要两个图源(ADR-0032)。唯一的例外是缺标签的行- 在官方档之间多问一家(`metadata_routes.settles` 的 `wants_tags`)。+ (ADR-0030、ADR-0034)、封面互证要两个图源(ADR-0032)。例外有两条:缺标签的行+ 在官方档之间多问一家(`metadata_routes.settles` 的 `wants_tags`);素人缺演员的行,+ MGStage 给了素人名义也接着问认人 Wiki,直到有一个 Wiki 给出演员(`wants_cast`,ADR-0144);+ 两个 Wiki 都没给时,MGStage 给的字段够了就停,不落到综合索引。社区那一档的值照常进候选,只剩一家也补空,几家不一时按字段优先级链取:FC2 的演员栏- 取 fc2cmadb,其余取 javdb(ADR-0034、ADR-0038)。+ 取 fc2cmadb,素人的演员栏取认人 Wiki,其余取 javdb(ADR-0034、ADR-0038、ADR-0144)。「没有」的记忆按站记:一档里说过没有的站一周内不再问,全档都说过就直接问下一档。"""action = 'querying_metadata'@@ -1698,6 +1765,8 @@ class _RemoteSession:chain = self._chain(code, *evidence)required = list(metadata_routes.required_scalars(missing))wants_tags = 'tags' in missing+ # 素人缺演员:MGStage 给的是素人名义,直到有一个认人 Wiki 给出演员才算问到(ADR-0144)。+ wants_cast = 'performers' in missing and any(name in metadata_routes.WIKI_STAGE for name in chain)results = _MetadataResults(self, code, received)problems, held, entries = [], [], results.entriesfailures = []@@ -1711,8 +1780,10 @@ class _RemoteSession:cached = self._cached_evidence(members, code)if cached:results.cached(cached)+ if source in metadata_routes.WIKI_STAGE and any(entry[1].get('actresses') for entry in cached):+ wants_cast = Falseif metadata_routes.settles(required, _given_fields(entries),- wants_tags=wants_tags, then=then):+ wants_tags=wants_tags, wants_cast=wants_cast, then=then):break# FC2 那一档缓存里只有官方那页时,缺的演员还得去镜像站问(见 `fc2()`)。if source != 'fc2':@@ -1734,19 +1805,27 @@ class _RemoteSession:if is_missing(error):for name in getattr(error, 'sites', None) or members:self._record_miss(name, code)- continue- # 社区那一档的原因里已经写明是哪一家了(`community()` 逐家拼过),再套一层- # 就成了「社区来源:javdb:…」。单家来源的原因不带来源名,这里补上。- problems.append(describe_failure(error)- if source in ('community', 'amane', 'amane_official')- else f'{SOURCE_LABELS.get(source, source)}:{describe_failure(error)}')- failures.append(_source_failure_details(error, code, action, source=source))- held.append(source_paused(error))+ else:+ # 社区那一档的原因里已经写明是哪一家了(`community()` 逐家拼过),再套一层+ # 就成了「社区来源:javdb:…」。单家来源的原因不带来源名,这里补上。+ problems.append(describe_failure(error)+ if source in ('community', 'amane', 'amane_official')+ else f'{SOURCE_LABELS.get(source, source)}:{describe_failure(error)}')+ failures.append(_source_failure_details(error, code, action, source=source))+ held.append(source_paused(error))+ # 认人 Wiki 没给出演员时,MGStage 给的字段够停手就停,不为它落到综合索引那条 3 秒的队。+ if source in metadata_routes.WIKI_STAGE and metadata_routes.settles(+ required, _given_fields(entries), wants_tags=wants_tags,+ wants_cast=wants_cast, then=then):+ breakcontinueupdate(stage='保存待确认资料')results.save(found)+ # 来源快照的演员栏键名是 `actresses`(`SiteRecord.payload`)。+ if source in metadata_routes.WIKI_STAGE and any(payload.get('actresses') for _, payload in found):+ wants_cast = Falseif metadata_routes.settles(required, _given_fields(entries),- wants_tags=wants_tags, then=then):+ wants_tags=wants_tags, wants_cast=wants_cast, then=then):breaktag_entries = self._preferred_tags(row, code, missing, chain, entries, attempted,update=update, issue=issue, deadline=_extended(deadline, _excused(self._provider) - mark))diff --git a/src/peach/metadata_policy.py b/src/peach/metadata_policy.pyindex 1f53eb9c2..66bb2c667 100644--- a/src/peach/metadata_policy.py+++ b/src/peach/metadata_policy.py@@ -123,8 +123,13 @@ CHAIN_COMMUNITY, CHAIN_FALLBACK, CHAIN_UNKNOWN = 3, 4, 5#: javdb 写 `Chisa`、fc2cmadb 写 `大村阿美香`;`FC2-PPV-2629971` javdb 写中文 `安娜`、#: fc2cmadb 写日文原名 `あんな`。FC2PPV-DB 的女优栏同样按片中人整理、写日文原名#: (2026-09-24 `FC2-PPV-4898837` 写 `川北すずね`),排在 fc2cmadb 之后、javdb 之前。+#:+#: 演员栏的两个认人 Wiki(ADR-0144):只有素人番号会问到它们。MGStage 与 r18.dev 是官方档,+#: 素人片上写的却是片中称呼:本机账本 `348NTR-076` 记着 mgstage 的 `アミ`、`857OMG-048` 记着+#: `七○舞`、`230ORETD-615` 记着 r18dev 的 `早見さん`;2026-11-05 素人系総合 Wiki 给+#: `348NTR-076` 的是 `稲森あみ`。FIELD_SOURCE_PRIORITY: dict[str, tuple[str, ...]] = {- "performers": ("fc2cmadb", "fc2ppvdb"),+ "performers": ("fc2cmadb", "fc2ppvdb", "sougouwiki", "av_neme"),}#: 字段级黑名单(对应 amane 的 `field_blacklist`),优先于一切:列进来的来源在这个diff --git a/src/peach/metadata_routes.py b/src/peach/metadata_routes.pyindex 7e3e720bc..e614e9bea 100644--- a/src/peach/metadata_routes.py+++ b/src/peach/metadata_routes.py@@ -76,7 +76,9 @@ ROUTES: dict[str, tuple[str, ...]] = {# 最后一处可能有官方值的地方。# dmm 不进:2026-09-24 实测 DMM 的搜索对 `MIUM 1239`、`LUXU 1475` 零结果,MGS 素人号# 不在它的目录上,多问一家只多两次白请求。- "amateur": ("mgstage", "avbase", "javbus", "javdb", "r18dev"),+ # MGStage 之后是两个认人 Wiki(`WIKI_STAGE`,ADR-0144):MGS 只给素人名义(`まいな`、`七○舞`),+ # Wiki 给出背后的艺名。排在综合索引前面,是因为它们与 javdb 不共一条 3 秒的队。+ "amateur": ("mgstage", "sougouwiki", "av_neme", "avbase", "javbus", "javdb", "r18dev"),# 无码:发行方自己那份作品 JSON 先问,但只在本机证据指着一本道时才问# (见 `route_for_code`)——日期式番号不带片商,カリビアンコム 与一本道同形,# 问错一家答回来的是同一天发行的另一部片。@@ -146,6 +148,11 @@ COMMUNITY_STAGE = ("avbase", "javbus", "javdb")#: 的 `LIST_FIELD_DEPTH` 名额——那三家的互证样本不该被转载站挤掉。链上放在综合索引之前#: 还是之后由各类型的链自己定:默认链上只有无码的 avsox,垫在最后;其余三站只由整条覆盖点名。AMANE_STAGE = ("fc2club", "freejavbt", "airav", "avsox")+#: 素人链上的两个认人 Wiki(`sources.seesaa`,ADR-0144),各自一档、先后问。2026-11-05 对 29 个+#: 不同厂牌的素人番号实测:素人系総合 Wiki 13 部、av_neme 16 部给出演员,与账本已确认的演员一致,+#: 不一致的几条是账本记着素人名义、Wiki 给出艺名。av_name 只给 12 部,唯一一条与账本对不上的+#: 也出自它,且它的厂牌页只挂最新约 1100 件,不进链,仍可由 `scrape_codes --sources` 点名。+WIKI_STAGE = ("sougouwiki", "av_neme")#: 必填标量字段。一档把这几项(在这一行还缺的范围内)都给全了就不问下一档。SCALAR_FIELDS = ("title", "performers", "studio", "release_date")@@ -355,7 +362,7 @@ def required_scalars(missing: Iterable[str]):def settles(required: Sequence[str], provided: Iterable[str], *,- wants_tags: bool = False, then: str = "") -> bool:+ wants_tags: bool = False, wants_cast: bool = False, then: str = "") -> bool:"""这一档给的字段够不够停手。`required` 空时任何一档只要给出资料就停——这一行要的本来就不是标量字段,@@ -365,10 +372,15 @@ def settles(required: Sequence[str], provided: Iterable[str], *,作品资料没有类别,标量给全了也一个标签都没有;下一档仍是官方档(有码链上片商官网之后的 r18.dev)时再问它一次换一批标签。下一档是综合索引或转载站就照样停:javdb 按出口 IP计配额,不为标签多问。++ `wants_cast` 是这一行缺演员、还没有 Wiki 给过(ADR-0144):MGStage 给的演员是素人名义,+ 给了也不停,下一档是认人 Wiki 时接着问它。"""given = set(str(field) for field in provided)if wants_tags and "tags" not in given and then in OFFICIAL_STAGE_NAMES:return False+ if wants_cast and then in WIKI_STAGE:+ return Falseif not required:return Truereturn all(field in given for field in required)diff --git a/src/peach/processing_traffic_plan.py b/src/peach/processing_traffic_plan.pyindex 61bf5d062..827c4b529 100644--- a/src/peach/processing_traffic_plan.py+++ b/src/peach/processing_traffic_plan.py@@ -89,10 +89,11 @@ class TrafficPlan:def _network(self, source):from . import peach_proxy- from .scraping_access import values_for+ from .scraping_access import SOURCES, values_forif source not in self.proxy:root = self.config.directory('secrets')- if values_for(root, source).get('network') == 'direct':+ # 不在采集设置里的站(素人链上的认人 Wiki)没有单独的连接方式,同 `SourceTransport` 照 Peach 代理出网。+ if source in SOURCES and values_for(root, source).get('network') == 'direct':self.proxy[source] = Falseelse:try:diff --git a/src/peach/sources/__init__.py b/src/peach/sources/__init__.pyindex 36748e246..e1265ca01 100644--- a/src/peach/sources/__init__.py+++ b/src/peach/sources/__init__.py@@ -17,8 +17,9 @@ from .r18dev import R18DEV, R18DevSourcefrom .seesaa import SEESAA, WIKI_SOURCES, SeesaaSource#: 来源名 → 站的类。`LibraryMetadataProvider` 与 `scripts/scrape_codes.py` 按它取站,-#: 测试按它核配置与 `SOURCE_SPECS` 等表的一致。Seesaa 的几个 Wiki(`seesaa.WIKI_SOURCES`)不在-#: 任何链上,只由 `scrape_codes` 点名,会话的传输是它们自己的 `seesaa.WikiPages`。+#: 测试按它核配置与 `SOURCE_SPECS` 等表的一致。Seesaa 的几个 Wiki(`seesaa.WIKI_SOURCES`)会话的传输+#: 是它们自己的 `seesaa.WikiPages`;其中两个在素人链上(`metadata_routes.WIKI_STAGE`,经+#: `LibraryMetadataProvider.wiki` 问),av_name 只由 `scrape_codes` 点名。SITE_SOURCES: dict[str, type[SiteSource]] = {R18DEV.name: R18DevSource,DMM.name: DmmSource,diff --git a/tests/test_metadata_library.py b/tests/test_metadata_library.pyindex 082a22354..24856af48 100644--- a/tests/test_metadata_library.py+++ b/tests/test_metadata_library.py@@ -50,6 +50,7 @@ def stub_provider():provider.query.side_effect = dmm_has_nothingprovider.community.side_effect = NotFound('社区来源都没有这个番号')provider.amane.side_effect = NotFound('amane 桥问的几站都没有这个番号')+ provider.wiki.side_effect = NotFound('Wiki 搜索范围内未取得精确作品表格行')return provider@@ -1302,6 +1303,74 @@ class LibraryNfoTests(unittest.TestCase):provider_factory=Mock(return_value=provider))return provider, read_rows(self.root / 'generated/library-metadata-field-candidates.csv')+ def _collect_amateur(self, code, wiki_answers, performer=None):+ """一部素人片走采集:MGStage 给齐标量、演员只给素人名义,认人 Wiki 按 `wiki_answers` 答。++ `performer` 给了就先把这个演员挂到账本上,这一行就不缺演员。返回 (provider, 候选行)。"""+ media = self.root / 'media'+ media.mkdir()+ (media / f'{code}.mp4').write_bytes(b'video')+ db = fresh_ledger(self.root)+ config = PeachConfig(self.root, self.root / 'config.toml', present=True, locations={'local': (str(media),)})+ if performer:+ # 先扫一遍入库,再把标量与演员写进账本:这一行只剩列表字段可补。第一遍桩出来的「没有」+ # 记忆一并清掉,第二遍问不问 Wiki 只看这一行缺不缺演员。+ from peach.library_processing import misses_path+ scan = stub_provider()+ scan.query.return_value = {'id': code}+ process_library(config, db, self.root / 'generated', self.root / 'covers',+ provider_factory=Mock(return_value=scan))+ with closing(sqlite3.connect(db)) as connection, connection:+ connection.execute("UPDATE asset SET catalog_title=?, studio=?, release_date=? WHERE code=?",+ ('素人の標題', 'ラグジュTV', '2024-01-01', code))+ connection.execute("INSERT INTO entity(kind, canonical_name, normalized_name, created_at, updated_at) "+ "VALUES('performer', ?, ?, '2026-11-05', '2026-11-05')", (performer, performer))+ connection.execute("INSERT INTO asset_entity(asset_id, entity_id, role, source, confidence) "+ "SELECT a.id, e.id, 'performer', 'manual', 1.0 FROM asset a, entity e "+ "WHERE a.code=? AND e.canonical_name=?", (code, performer))+ misses_path(config).unlink(missing_ok=True)+ (self.root / 'generated/library-metadata-field-candidates.csv').unlink(missing_ok=True)+ provider = stub_provider()+ provider.amane.side_effect = None+ provider.amane.return_value = [('mgstage', {+ 'id': code, 'content_id': code, 'source': 'mgstage', 'title': '素人の標題', 'maker': 'ラグジュTV',+ 'release_date': '2024-01-01', 'actresses': [{'japanese_name': 'まいな'}]})]++ def wiki(source, query, **_):+ if source not in wiki_answers:+ raise NotFound('Wiki 搜索范围内未取得精确作品表格行')+ return [(source, {'id': query, 'source': source, 'actresses': [{'japanese_name': wiki_answers[source]}]})]++ provider.wiki.side_effect = wiki+ process_library(config, db, self.root / 'generated', self.root / 'covers',+ provider_factory=Mock(return_value=provider))+ return provider, read_rows(self.root / 'generated/library-metadata-field-candidates.csv', missing_ok=True)++ @windows_ledger_roots+ def test_a_missing_amateur_cast_asks_the_name_wikis_after_mgstage_and_stops_at_the_first_answer(self):+ """MGStage 只给素人名义,缺演员的素人片接着问认人 Wiki;素人系総合 Wiki 没有就问 av_neme,+ 有一个给出艺名就停,不再落到综合索引(ADR-0144)。"""+ provider, rows = self._collect_amateur('259LUXU-1378', {'av_neme': '優梨まいな'})+ self.assertEqual([call.args[0] for call in provider.wiki.call_args_list], ['sougouwiki', 'av_neme'])+ provider.community.assert_not_called()+ performers = next(row for row in rows if row['field'] == 'performers')+ self.assertEqual({candidate['source'] for candidate in json.loads(performers['candidates_json'])},+ {'mgstage', 'av_neme'})++ @windows_ledger_roots+ def test_an_amateur_code_neither_wiki_knows_settles_on_mgstage_without_the_community_sites(self):+ provider, rows = self._collect_amateur('259LUXU-1378', {})+ self.assertEqual([call.args[0] for call in provider.wiki.call_args_list], ['sougouwiki', 'av_neme'])+ provider.community.assert_not_called()+ performers = next(row for row in rows if row['field'] == 'performers')+ self.assertEqual({candidate['source'] for candidate in json.loads(performers['candidates_json'])},+ {'mgstage'})++ @windows_ledger_roots+ def test_an_amateur_row_that_already_has_its_cast_does_not_ask_the_wikis(self):+ provider, _ = self._collect_amateur('259LUXU-1378', {'sougouwiki': '優梨まいな'}, performer='優梨まいな')+ provider.wiki.assert_not_called()+@windows_ledger_rootsdef test_javdb_tags_are_collected_with_their_community_identity_after_maker_scalars(self):provider, rows = self._collect_with_maker('SSIS-057', 'makers', {@@ -2134,7 +2203,8 @@ class LibraryNfoTests(unittest.TestCase):['封面未取得:来源返回 HTTP 503'], '来源说没有只报一个数,不占问题清单')self.assertEqual(first['notes'], {'querying_metadata': 1})recorded = json.loads(misses_path(config).read_text(encoding='utf-8'))- self.assertEqual(list(recorded['misses']), ['mgstage', 'avbase', 'javbus', 'javdb', 'r18dev'],+ self.assertEqual(list(recorded['misses']),+ ['mgstage', 'sougouwiki', 'av_neme', 'avbase', 'javbus', 'javdb', 'r18dev'],'按站记,不按档记')self.assertEqual(provider.amane.call_args.kwargs['route'], ('mgstage',))self.assertEqual(list(recorded['misses']['r18dev']), ['STP-26232'])diff --git a/tests/test_metadata_policy.py b/tests/test_metadata_policy.pyindex 9404f3b28..eb1eb50c2 100644--- a/tests/test_metadata_policy.py+++ b/tests/test_metadata_policy.py@@ -139,6 +139,17 @@ class MetadataPolicyTests(unittest.TestCase):self.assertLess(chain_rank("performers", "fc2cmadb"), chain_rank("performers", "javdb"))self.assertLess(chain_rank("title", "javdb"), chain_rank("title", "fc2cmadb"))+ def test_the_name_wikis_name_the_amateur_cast_ahead_of_the_official_stores(self):+ """素人片的演员栏以认人 Wiki 为准:`348NTR-076` mgstage 写 `アミ`,素人系総合 Wiki 写 `稲森あみ`。++ 提前只限演员栏,标题与日期仍听 MGStage。+ """+ for official in ("mgstage", "r18dev"):+ self.assertLess(chain_rank("performers", "sougouwiki"), chain_rank("performers", official))+ self.assertLess(chain_rank("performers", "av_neme"), chain_rank("performers", official))+ self.assertLess(chain_rank("title", official), chain_rank("title", "sougouwiki"))+ self.assertLess(chain_rank("performers", "sougouwiki"), chain_rank("performers", "av_neme"))+if __name__ == "__main__":unittest.main()diff --git a/tests/test_metadata_routes.py b/tests/test_metadata_routes.pyindex 6bb0d5d49..461433ba4 100644--- a/tests/test_metadata_routes.py+++ b/tests/test_metadata_routes.py@@ -6,7 +6,7 @@ from peach.metadata_routes import (AMANE_OFFICIAL_STAGE, AMANE_STAGE, COMMUNITY_LIST_FIELD_DEPTH, MAKER_EVIDENCE, OFFICIAL_STAGE, ROUTES, classify,community_route, maker_sites, official_route, parse_route_overrides,required_scalars, route, route_for_code, settles, stage_members,- stages_for_code)+ stages_for_code, WIKI_STAGE)def amane_sites(code, *hints, overrides=None):@@ -92,12 +92,31 @@ class RouteTableTests(unittest.TestCase):def test_amateur_asks_mgstage_first_and_never_the_makers_nor_dmm(self):"""MGS 素人系由 MGS 自己发行;片商官网对素人号一个请求都不发,DMM 的目录上也没有它们。- r18.dev 在本机来源快照里一份素人号都没给过,垫在最后,不让每部片先白等它一次。+ MGS 只给素人名义,紧接着问两个认人 Wiki(ADR-0144);r18.dev 在本机来源快照里一份素人号+ 都没给过,垫在最后,不让每部片先白等它一次。"""for code in ('300MIUM-1239', '259LUXU-1475', 'SIRO-4630'):with self.subTest(code=code):self.assertEqual(route_for_code(code),- ('mgstage', 'avbase', 'javbus', 'javdb', 'r18dev'))+ ('mgstage', 'sougouwiki', 'av_neme', 'avbase', 'javbus', 'javdb', 'r18dev'))+ self.assertEqual(stages_for_code('259LUXU-1475'),+ ('amane_official', 'sougouwiki', 'av_neme', 'community', 'r18dev'))++ def test_the_name_wikis_are_only_on_the_amateur_chain(self):+ """认人 Wiki 只认素人与素人名义;av_name 不在任何默认链上,只能点名。"""+ for content, chain in ROUTES.items():+ with self.subTest(content=content):+ self.assertEqual(any(name in WIKI_STAGE for name in chain), content == 'amateur')+ self.assertNotIn('av_name', chain)++ def test_a_missing_cast_keeps_asking_the_wikis_after_mgstage(self):+ """素人缺演员时 MGStage 给了素人名义也不停,下一档是认人 Wiki 就接着问;有 Wiki 给过就照常停。"""+ given = ('title', 'performers', 'studio', 'release_date')+ self.assertTrue(settles(given, given, then='sougouwiki'))+ self.assertFalse(settles(given, given, wants_cast=True, then='sougouwiki'))+ self.assertFalse(settles(given, given, wants_cast=True, then='av_neme'))+ # 下一档已是综合索引:Wiki 都没给出演员也停,javdb 不为认人多问。+ self.assertTrue(settles(given, given, wants_cast=True, then='community'))def test_dmm_is_only_on_the_censored_chain(self):"""DMM 是有码链上 r18.dev 之后的兜底;无码与 FC2 的番号不在它的目录上。"""@@ -216,7 +235,8 @@ class StageTests(unittest.TestCase):def test_stages_keep_the_official_sources_apart_and_fold_the_indexes(self):"""官方那几家逐个成档才短路得了;综合索引那一档整档一起问,经桥的几站也合成一档。"""self.assertEqual(stages_for_code('ABW-220'), ('amane_official', 'r18dev', 'dmm', 'community'))- self.assertEqual(stages_for_code('300MIUM-1239'), ('amane_official', 'community', 'r18dev'))+ self.assertEqual(stages_for_code('300MIUM-1239'),+ ('amane_official', 'sougouwiki', 'av_neme', 'community', 'r18dev'))self.assertEqual(stages_for_code('040221-001'), ('community', 'amane'))self.assertEqual(stages_for_code('FC2-PPV-1812235'), ('fc2', 'community'))self.assertEqual(stages_for_code('AIN-203'), ())diff --git a/tests/test_metadata_seesaa.py b/tests/test_metadata_seesaa.pyindex c81eb7eec..91b158d5f 100644--- a/tests/test_metadata_seesaa.py+++ b/tests/test_metadata_seesaa.py@@ -296,5 +296,48 @@ class SeesaaContractTests(unittest.TestCase):self.assertEqual((SEESAA.name, SEESAA.provider), ('sougouwiki', 'sougouwiki'))+class ChainWikiTests(unittest.TestCase):+ """素人链上的认人 Wiki 经 `LibraryMetadataProvider.wiki` 问(ADR-0144)。"""++ SEARCH = b'<div class="result-box"><div class="body"><h3><a href="/w/sougouwiki/d/Person">Person</a></h3></div></div>'+ PERSON = '<div id="page-body"><div class="user-area"><a href="/w/sougouwiki/d/Label">(レーベル一覧)</a></div></div>'.encode('euc_jp')++ def provider(self, root, transport):+ from peach.library_processing import LibraryMetadataProvider+ provider = LibraryMetadataProvider(root / 'secrets', wiki_root=root / 'pages')+ provider.transport = transport+ return provider++ def test_one_label_table_serves_the_next_code_of_the_same_label_without_another_search(self):+ """一张厂牌表列着同厂牌的好几部:读过之后同一次任务里的下一部不再搜索,页也落盘缓存。"""+ table = fixture().replace(b'</table>', ('<tr><td>ABC-008</td><td></td><td>別の作品</td>'+ '<td><a href="/w/sougouwiki/d/C">架空秋子</a></td><td>2024/12/01</td>'+ '<td></td></tr></table>').encode('euc_jp'))+ with tempfile.TemporaryDirectory() as tmp:+ root = Path(tmp).resolve()+ transport = Mock(side_effect=[HttpResponse(200, {}, body) for body in (self.SEARCH, self.PERSON, table)])+ provider = self.provider(root, transport)+ [(source, first)] = provider.wiki('sougouwiki', 'ABC-007')+ [(_, second)] = provider.wiki('sougouwiki', 'ABC-008')+ self.assertEqual((source, len(first['actresses']), second['actresses']),+ ('sougouwiki', 2, [{'japanese_name': '架空秋子'}]))+ self.assertEqual(transport.call_count, 3)+ self.assertEqual(len(list((root / 'pages').glob('*.json'))), 3)++ def test_an_unfound_code_is_a_miss_and_a_spent_budget_is_not_a_network_failure(self):+ """搜索范围里没找到按「没有」交出去;动作预算用尽是预算问题,不能被取页层记成网络未取得。"""+ from peach.jav_cover_fetch import DeadlineExceeded, NotFound+ with tempfile.TemporaryDirectory() as tmp:+ root = Path(tmp).resolve()+ transport = Mock(return_value=HttpResponse(200, {}, b'<div class="result-box"></div>'))+ provider = self.provider(root, transport)+ with self.assertRaisesRegex(NotFound, '搜索范围内未取得'):+ provider.wiki('sougouwiki', 'ABC-007')+ transport.reset_mock()+ with self.assertRaises(DeadlineExceeded):+ provider.wiki('av_neme', 'ABC-009', deadline=0.0)+ transport.assert_not_called()++if __name__ == '__main__':unittest.main()diff --git a/tests/test_metadata_sources.py b/tests/test_metadata_sources.pyindex 1c0c5ec3b..2ebe747a9 100644--- a/tests/test_metadata_sources.py+++ b/tests/test_metadata_sources.py@@ -417,8 +417,9 @@ class ConfigConsistencyTests(unittest.TestCase):{"makers", "prestige", "faleno", "dahlia", "mgstage"})def test_seesaa_brings_its_own_transport_and_keeps_its_source_identity(self):- """Seesaa 作品表不经 `SourceTransport`:不收 Cookie、采集设置页没有它的卡片,冷却只在本批内,- 取页、缓存与限额在 `WikiPages`,间隔与页面上限取自配置;provenance 是账本里已有的 `sougouwiki`。"""+ """Seesaa 作品表不收 Cookie、采集设置页没有它的卡片,冷却只在本批内,取页、缓存与限额在 `WikiPages`,+ 间隔与页面上限取自配置;provenance 是账本里已有的 `sougouwiki`。`scrape_codes` 点名时它自带传输,+ 素人链上则借资料处理那一份(`LibraryMetadataProvider.wiki`)。"""self.assertEqual(set(WIKI_SOURCES), {"sougouwiki", "av_neme", "av_name"})for name, site in WIKI_SOURCES.items():config = site.DEFAULT