Skip to content

armgit / peach

Public Imported from GitHub
0

Peach: Local-first video metadata scraper and media manager.

feat(scraping): 素人链缺演员时问素人系総合 Wiki 与 av_neme

longmeidao47d1203bbffe
diff --git a/CHANGELOG.md b/CHANGELOG.md
index ba732d5fe..499fff3da 100644
--- a/CHANGELOG.md
+++ b/CHANGELOG.md
@@ -30,6 +30,7 @@ Removed / Fixed / Security。
- **关注**:JAV 订阅多了 DMM / FANZA 这一路。订阅的女优在 DMM 有编号(刮削时由 DMM 或 r18.dev 记下)的,除 JavDB 演员页外还会按编号列她在 DMM 的片单,预购的作品也会出现在新作里;两边报的同一部只算一部,几十人的合集不列。订阅源列表里这类叫「JAV 订阅 · DMM」,可以单独停用;JavDB 上没有演员页、只有 DMM 编号的女优也能订阅。已在订阅的女优在下一轮检查时自动补上。
- **采集**:补女优资料时,如果 minnano-av 上找不到她,就从 avbase 女优页补生日、身高、三围、罩杯,以及站上填了的出身地、血型和趣味,人物页页头不再空着。已有 minnano-av 资料或人工资料的只核对、不覆盖;她之后出现在 minnano-av 上,资料会换成那边的。
- **采集**:装好、换网络或改代理后,可以一次检查各资料源与图片 CDN 能不能连上,分清可连接、要登录或人机验证、HTTP 错误、正在冷却和网络失败。网页在「来源和凭证」的「连接检查」里点「全部检查」,后台进行、显示进度,离开页面回来结果还在;命令行用 `peach check-sources`。只做检查,不改设置也不清冷却,正在冷却的来源不再请求(#382)。
+- **采集**:素人片缺演员时,资料处理会在 MGStage 之后去问 Seesaa 上的素人系総合 Wiki 和 av_neme,补上背后那位女优的艺名;MGStage、r18.dev 写的 `アミ`、`七○舞`、`早見さん` 这类片中称呼不再压过它。已有演员的片不受影响。
- **采集**:用户脚本添加的任务结束后,完成或失败会一直留在浮卡的「其他任务」里,直到在脚本里标为已读;窗口全关时结束的,下次打开也能看到,失败的也能在脚本里直接重试。需要用户脚本 0.7.2 起的版本;任务中心、想要清单等别处提交的仍只显示 10 分钟。
- **更新**:Docker 部署可以在配置页一键更新。用 `docker compose --profile watchtower up -d` 启动 `compose.yaml` 新增的可选 Watchtower,Peach 自动配好它,不用填任何设置;检查到新镜像时点「一键更新」,Watchtower 拉取镜像并重建 Peach 容器,`/data` 保留,有待执行的数据库迁移时启动前先备份。容器里检查更新改以 Docker Hub 为准,发布页已有新版、镜像还没推送时显示「镜像尚未发布」。没有启用 Watchtower 时仍列出宿主机上的两步命令。Watchtower 能管理宿主机上的容器,启用前先读 [Docker 部署](docs/DOCKER.md#一键更新可选-watchtower)。
- **配置**:Windows 源码运行缺 FFmpeg 或 untrunc 时,「应用与维护」的「运行信息」里可以直接点「安装」:Peach 下载发布页上的同一份工具包,经 Peach 代理出网、校验后装进数据目录的 `tools`,装好那一行显示版本,不用再自己下载解压。macOS、Linux 没有发布的工具包,仍给官方下载链接。
diff --git a/docs/SOURCING.md b/docs/SOURCING.md
index bdeb35ca3..ad061c12f 100644
--- a/docs/SOURCING.md
+++ b/docs/SOURCING.md
@@ -79,7 +79,8 @@
这节讲怎样从 Seesaa 上的素人认人 Wiki 取番号的出演、标题和日期候选。
-入口是 `scripts/scrape_codes.py --profile seesaa`(素人系総合 Wiki),两个认人 Wiki 用
+素人系総合 Wiki 与 av_neme 在素人链上,缺演员的素人片由资料处理按链问到(ADR-0144,见「按内容类型的来源链」)。
+批量取证的入口是 `scripts/scrape_codes.py --profile seesaa`(素人系総合 Wiki),两个认人 Wiki 用
`--sources av_neme,av_name` 点名。三站同一个模块、同一套取页层,产出既有的
`metadata-field-candidates` CSV。
@@ -89,6 +90,8 @@
- `--wiki-max-requests` 默认 80,每站各一份额度;每页最多 4 MiB;同主机合计每 2 秒至多一次请求。
- 成功页有缓存,中断后可续跑;`--refresh` 重取页面。
- 撞上 403、429 或机器人验证就停止本批联网。这次未取得不冻结成永久无结果。
+- 国内家宽直连每一页都回 403,必须经代理。2026-11-05 实测日本、香港、美国几个出口都能取到完整页面;站内搜索
+ 偶尔要十几秒,出在服务端,换出口不改善。同一个出口 IP 连续取几百页后会被判撞墙,四十分钟后自行恢复。
怎么读页面:
@@ -160,7 +163,7 @@ Wiki 与视频作品资料无关。
| 类型 | 判据 | 链(从左到右) | 这条链为什么不含 |
| --- | --- | --- | --- |
| censored | 其余厂牌番号 | (本机证据认得时)prestige/faleno/dahlia,都不认时 makers → r18dev → dmm → avbase → javbus → javdb | 1pondo(无码片商)、fc2(另一套商品号)、mgstage(对有码号是转售店) |
-| amateur | `300MIUM-1239` 这类三位数字前缀,加 `SIRO`/`STP`/`STN`;本机证据写着带三位前缀的同一个号(`LUXU-688` 的文件是 `259LUXU-688.mp4`) | mgstage → avbase → javbus → javdb → r18dev | makers 与三家片商站(素人号不归它们);dmm(搜 `MIUM 1239`、`LUXU 1475` 零结果)。r18dev 垫底:本机快照里它一份素人号都没给过 |
+| amateur | `300MIUM-1239` 这类三位数字前缀,加 `SIRO`/`STP`/`STN`;本机证据写着带三位前缀的同一个号(`LUXU-688` 的文件是 `259LUXU-688.mp4`) | mgstage → sougouwiki → av_neme → avbase → javbus → javdb → r18dev | makers 与三家片商站(素人号不归它们);dmm(搜 `MIUM 1239`、`LUXU 1475` 零结果);av_name(厂牌页只挂最新约 1100 件)。r18dev 垫底:本机快照里它一份素人号都没给过 |
| uncensored | 日期式番号、`HEYZO-1380`、Tokyo-Hot 的 `n0780` | (证据指着一本道时)1pondo → avbase → javbus → javdb → avsox | r18dev:无码番号在它上面没有 |
| fc2 | `FC2` 开头的商品号,与没归一的 `FC-43768` 这种短写法 | fc2 → fc2cmadb → fc2ppvdb → javten → javarchive → javdb | r18dev(85 条全空)、avbase 与 javbus(对 FC2 零产出)、fc2club(本机快照零产出,还回 429 进冷却) |
| kmib | `KOREAN_MIB_PREFIXES` 里的前缀 | 一家都不问 | 全部:番号与日本片同形,问回来的是别的作品 |
@@ -189,6 +192,9 @@ Wiki 与视频作品资料无关。
- 综合索引那一档整档一起问,不逐家短路。免复核要两家取值一致(ADR-0030、ADR-0034),封面互证要两个
不同图源(ADR-0032),问到第一家就停等于把这两条判据的样本降到下限。
- 这一行要的本来就只有标签或封面时,第一家给了就停(ADR-0033)。
+- 素人片缺演员时,MGStage 给齐了也接着问认人 Wiki:MGS 写的是片中称呼或干脆不写(ADR-0144)。素人系総合 Wiki
+ 给出演员就不问 av_neme;两站都没给,MGStage 给的字段够了就停,不落到综合索引。已有演员的行不问 Wiki。
+ 演员栏上两个 Wiki 排在官方档前面(`FIELD_SOURCE_PRIORITY`),标题与日期仍听 MGStage。
- 唯一例外:FALENO、DAHLIA 官网不给类别,缺标签的行在片商站答完标量后再问一次 r18.dev;下一档是综合索引
就照样停。r18.dev 答了就不再为标签问 dmm,两家是同一份目录。
@@ -292,7 +298,7 @@ Wiki 与视频作品资料无关。
| FC2PPV-DB | 已套契约 | `sources/fc2ppvdb.py` | 作品页一跳 `/ja/videos/<id>`;`<h1>` 里认不出番号(含站方 200 的 404 页)归 `not_found`,Cloudflare 验证页归 `cloudflare_challenge`;女优只在出演女優块里取,「流出」标记进 `extra['leaked']`,不交封面(缩略图 360×360) |
| JAVten | 已套契约 | `sources/javten.py` | `/search?kw=<id>` 一跳,单命中时站方直接跳作品页,落到译文页再取日文原页;`h1.fc2-id` 对不上归 `not_found`,`og:url` 带语言前缀归 `parse_error`(中文是机翻,只收日文原页);封面是 `og:image` 与 fancybox 那两处的 FC2 存储原件地址 |
| JavArchive | 已套契约 | `sources/javarchive.py` | 搜索页加作品页两跳;`records()` 把搜索命中的每一条转存各交一份记录,某一条 404 或对不上就跳过 |
-| Seesaa 的三个 Wiki | 已套契约 | `sources/seesaa.py` | 只由 `scrape_codes --profile seesaa` 或 `--sources sougouwiki,av_neme,av_name` 点名;两个认人 Wiki 共用 `NameWikiSource`;`rows()` 把一页作品表每行各读成一份记录;传输是 `WikiPages`(页缓存、本批限额、撞墙停网),不在 `scraping_access.SOURCES` 里;失败沿用 `budget`、`blocked`、`ambiguous`、`incomplete_search` 等分档,落进批处理的错误表与健康表,`budget` 与 403/429 决定本批停网 |
+| Seesaa 的三个 Wiki | 已套契约 | `sources/seesaa.py` | 素人系総合 Wiki 与 av_neme 在素人链上,由 `LibraryMetadataProvider.wiki` 经正式链的传输问(页缓存在数据根 `sources/library-metadata/seesaa-pages`,每站请求上限 2000 次);三站都可由 `scrape_codes --profile seesaa` 或 `--sources sougouwiki,av_neme,av_name` 点名;两个认人 Wiki 共用 `NameWikiSource`;`rows()` 把一页作品表每行各读成一份记录;传输是 `WikiPages`(页缓存、本批限额、撞墙停网),不在 `scraping_access.SOURCES` 里;失败沿用 `budget`、`blocked`、`ambiguous`、`incomplete_search` 等分档,落进批处理的错误表与健康表,`budget` 与 403/429 决定本批停网 |
FC2 五站依次问、资料取齐即停、封面问到底的流程在 `LibraryMetadataProvider.fc2`,按
`metadata_routes.FC2_STAGE` 逐站调 `records()`;各站只管自己的取页与解析。
diff --git a/docs/adr/0144-amateur-chain-asks-the-name-wikis-for-the-cast.md b/docs/adr/0144-amateur-chain-asks-the-name-wikis-for-the-cast.md
new file mode 100644
index 000000000..3370abbae
--- /dev/null
+++ b/docs/adr/0144-amateur-chain-asks-the-name-wikis-for-the-cast.md
@@ -0,0 +1,69 @@
+# ADR-0144:素人链缺演员时问两个认人 Wiki
+
+- 状态:已采纳
+- 日期:2026-11-05
+- 关系:扩展 [ADR-0038](0038-field-priority-chain-settles-dissent.md) 的字段优先级例外表,沿用 [ADR-0061](0061-fc2cmadb-cast-lists-name-the-woman-behind-a-nickname.md) 的「演员栏听按片中人整理的来源」;Seesaa 取页层见 `docs/SOURCING.md`「Seesaa Wiki 作品证据」
+
+## 背景
+
+素人链原来是 mgstage → avbase → javbus → javdb → r18dev。MGStage 是素人番号的发行页,可它的演员栏要么空着,要么写片中称呼:本机账本 `348NTR-076` 记着 `アミ`、`857OMG-048` 记着 `七○舞`,r18.dev 写 `早見さん`、`Mana(23)`。后面三家综合索引大多转载同一份。用户要的是背后那位女优的艺名。
+
+Seesaa 上的素人系総合 Wiki 与 av_neme 就是把素人作品对到艺名的名鑑,`sources/seesaa.py` 早已能解析,但只由 `scrape_codes --profile seesaa` 或 `--sources` 点名,例行资料处理问不到。
+
+2026-11-05 对 29 个不同厂牌的素人番号单独问三个 Wiki(每部片各问一遍、不共用厂牌表,最坏情况):
+
+| Wiki | 给出演员 | 与账本已确认演员对照 | 单部平均耗时 |
+| --- | --- | --- | --- |
+| 素人系総合 Wiki | 13 | 一致;不一致的是账本记着片中称呼、Wiki 给艺名 | 约 14 秒 |
+| av_neme | 16 | 同上 | 约 13 秒 |
+| av_name | 12 | 唯一一条对不上账本的出自它 | 约 12 秒 |
+
+三站合计 20 部至少一站给出演员。
+
+## 决策
+
+**一、素人链在 MGStage 之后问素人系総合 Wiki,再问 av_neme。** 链变成 mgstage → sougouwiki → av_neme → avbase → javbus → javdb → r18dev(`metadata_routes.WIKI_STAGE`)。av_name 不进链:它的厂牌页只挂最新约 1100 件,唯一一条错的也出自它;仍可由 `scrape_codes --sources` 点名。
+
+**二、只在缺演员时问。** 这一行缺演员、链上有 Wiki 时,MGStage 把标量给齐了也不停(`settles(..., wants_cast=True)`),接着问 Wiki;一个 Wiki 给出演员就不再问另一个。两个都没给(没有这部片、连不上),MGStage 给的字段已经够了就停,不为此落到综合索引——javdb 那条全进程共用的 3 秒队列正是要省的。已有演员的行不问 Wiki。
+
+**三、演员栏上两个 Wiki 排在官方档前面。** `FIELD_SOURCE_PRIORITY["performers"]` 在 fc2cmadb、fc2ppvdb 之后加上 sougouwiki、av_neme。只有素人番号问得到它们,提前不影响别的类型;标题、厂牌、日期仍听 MGStage。
+
+**四、取页走正式链的传输。** `LibraryMetadataProvider.wiki` 用资料处理那一份 `HostLimitedTransport`(Peach 代理设置、全进程主机间隔 2 秒),页缓存放在数据根 `sources/library-metadata/seesaa-pages`,同厂牌的下一部片直接读缓存里的厂牌表。每站请求上限 2000 次,每取一页前看这部片的动作预算(90 秒)。没找到(含站内搜索翻完仍未命中的 `incomplete_search`)记成「没有」,7 天内不再问;连不上记成来源失败,下一轮重试。
+
+## 理由
+
+- 演员是素人片最缺、也最难从发行方拿到的字段。名鑑类来源回答的正是「这部片里是谁」,与 fc2cmadb 对 FC2 的角色相同。
+- 放在综合索引之前:Wiki 不与 javdb 共用 3 秒队列,问到了就省掉后面三家;放在之后则每部缺演员的素人片都要先排一遍 javdb。
+- 只在缺演员时问,已有演员的存量不受影响,也不在核查时拿 Wiki 去挑战人工确认过的值。
+
+## 时间成本与实测
+
+单个 Wiki 一部片要搜索一页、结果页最多 8 页、厂牌页最多 4 页,按 2 秒间隔最坏约 26 秒。厂牌页大,av_neme 的系列页可达 3 MB,传输时间也算在里面。
+
+2026-11-05 用接入后的链对同一批 29 个素人番号跑 `scrape_codes`(这个入口不看账本,每部都当缺演员问,是上限):
+
+| 来源 | 问到的番号 | 给出演员 | 平均每部耗时 |
+| --- | --- | --- | --- |
+| mgstage | 29 | 2 | 11.2 秒 |
+| 素人系総合 Wiki | 29 | 15 | 8.7 秒 |
+| av_neme | 14(前一站没给的) | 4 | 12.5 秒 |
+| 综合索引(avbase、javbus、javdb) | 9 | — | — |
+
+- 两个 Wiki 合计给出 19 部的演员,平均每部多约 15 秒;综合索引从每部都问降到 9 部。整批 16 分钟,每部约 33 秒,在 90 秒的动作预算之内。
+- 在账本副本的临时拷贝上去掉这批的演员与旧决定,再用这批候选结算:27 行演员全部自动落库。17 部与账本原值是同一人(逐字相同或按别名归到同一实体);5 部从片中称呼换成艺名(`アミ`→`稲森あみ`、`七○舞`→`七嶋舞`、`れいら`→`久遠れいら` 等);2 部原本没有演员,补上了。
+- 同厂牌第二部起,厂牌表已在缓存里,只剩搜索页与结果页。
+
+例行资料处理只对缺演员的素人片付这笔时间:账本副本里 166 个素人番号只有 5 个缺演员。已有演员、有码、FC2、无码都不变。
+
+## 被否决的方案
+
+- **三个 Wiki 都进链。** av_name 覆盖最少、厂牌页截断,还给出过唯一一条错值。
+- **放在链尾,综合索引都没给演员时再问。** 综合索引给的多半也是片中称呼,「给了」不等于给对;而且每部都要先排 javdb 的队。
+- **按 ADR-0038 第六条用本机快照把片中称呼换成艺名。** 那条路只在称呼形态上像企划名义时才解(`まいな` 这种单名不算),且读的是 `scrape_codes` 的快照目录;直接让 Wiki 在演员栏排前面更简单。
+
+## 后果
+
+- 素人片缺演员时,资料处理的「当前来源」会显示两个 Wiki;流量规划把它们算作走 Peach 代理(它们不在采集设置的站点表里)。国内家宽直连 seesaawiki 一律 403,经代理才取得到,所以不给它们单设直连。
+- 同一出口 IP 连续取几百页会被判撞墙(样本实测第 25 部时 sougouwiki 停网),这一任务里该站不再联网,缺的演员下一轮再补。例行处理每轮只有几部缺演员的素人片,碰不到这条线;一次导入上百部素人片时会分几轮补齐。
+- 被 Wiki 压下的 MGStage 称呼照旧写进 `review_decision.note`,不登记成别名。
+- 接入前已用片中称呼落库的存量不会自动改;要换成艺名仍走 `scrape_codes --profile seesaa` 出候选、人工复核。
diff --git a/scripts/scrape_codes.py b/scripts/scrape_codes.py
index 0eff34945..1ec2568c1 100644
--- a/scripts/scrape_codes.py
+++ b/scripts/scrape_codes.py
@@ -80,8 +80,8 @@ HEALTH_FIELDS = [
#: Seesaa 作品表那一档,`--profile seesaa` 只问它。
WIKI_SOURCE = SEESAA.name
-#: Seesaa 上的几个 Wiki(`sources.seesaa.WIKI_SOURCES`)。它们不在任何内容类型的链上
-#: (`metadata_routes.ROUTES`),只由 `--profile seesaa` 或 `--sources` 点名,各自一档,经契约问。
+#: Seesaa 上的几个 Wiki(`sources.seesaa.WIKI_SOURCES`),各自一档,经契约问。素人系総合 Wiki 与
+#: av_neme 在素人链上(`metadata_routes.WIKI_STAGE`),av_name 只由 `--profile seesaa` 或 `--sources` 点名。
WIKI_SOURCES = tuple(WIKI_SITES)
#: `--sources` 能点名的来源:链上每一档的成员,加 Seesaa 的几个 Wiki。别的名字在 `SOURCE_SPECS` 里
#: 只是历史来源身份(`metadata_policy.HISTORICAL_SOURCES`),当前没有解析器可问。
@@ -211,6 +211,9 @@ class ChainAdapter:
elif stage in self.wikis:
wiki, session = self.wikis[stage]
pairs = [(stage, wiki.query(code, session=session).payload())]
+ elif stage in metadata_routes.WIKI_STAGE:
+ # 按链走到素人链上的认人 Wiki:没有点名就没有本批自己的 `WikiPages`,用正式链那一份。
+ pairs = self.inner.wiki(stage, code)
else:
raise ValueError(f"链上没有这一档:{stage}")
except Exception as error: # noqa: BLE001 - 每种失败都翻成本脚本的分档
@@ -844,6 +847,8 @@ def _collect_code_fields(*, code, query, variants, chain, profile, sources, adap
if sources is None and not args.english_title_only else None)
scalar_settled = False
asked: set[str] = set()
+ # 素人链:MGStage 给的是素人名义,直到有一个认人 Wiki 给出演员才不再问它们(ADR-0144)。
+ wants_cast = any(name in metadata_routes.WIKI_STAGE for name in chain)
for stage, then in zip(stages, (*stages[1:], "")):
members = throttle.open_members(metadata_routes.stage_members(stage, chain))
if scalar_settled:
@@ -876,11 +881,13 @@ def _collect_code_fields(*, code, query, variants, chain, profile, sources, adap
by_field.setdefault(field, []).append(candidate)
if candidate["value"]:
given.add(field)
+ if field == "performers" and source in metadata_routes.WIKI_STAGE:
+ wants_cast = False
# 本地快照不消耗网络限流窗口。
if args.delay > 0 and used_network:
time.sleep(args.delay + random.uniform(0, min(0.4, args.delay / 3)))
if sources is None and metadata_routes.settles(
- metadata_routes.SCALAR_FIELDS, given, wants_tags=True, then=then):
+ metadata_routes.SCALAR_FIELDS, given, wants_tags=True, wants_cast=wants_cast, then=then):
scalar_settled = True
if tag_source not in chain or tag_source in asked:
break
diff --git a/src/peach/library_processing.py b/src/peach/library_processing.py
index 0d8b49519..30de60219 100644
--- a/src/peach/library_processing.py
+++ b/src/peach/library_processing.py
@@ -96,6 +96,12 @@ SOURCE_INTERVALS = {'javdb.com': 3.0, 'jdbstatic.com': 3.0}
#: 各起各的 provider,间隔若各算各的,几条同时跑时问同一主机的请求就叠在一起,配额照样按
#: 出口 IP 一份算。
SOURCE_LIMITER = HostLimiter(SOURCE_INTERVALS, default_interval=2.0)
+#: 认人 Wiki 的取页层自己不再等主机间隔:它的传输就是 provider 的 `transport`,那里已经按
+#: `SOURCE_LIMITER` 等过一次,再等一遍每页就要 4 秒。
+_NO_WAIT = HostLimiter({}, default_interval=0.0)
+#: 一个 provider 里每个认人 Wiki 的请求上限。一部片至多十几页,真正的闸门是动作预算与本趟预算;
+#: 这一条只挡住同一批里失控地翻页。
+WIKI_MAX_REQUESTS = 2000
SOURCE_LABELS = {'r18dev': 'r18.dev', 'dmm': 'DMM / FANZA', 'avbase': 'AVBase', 'javbus': 'JavBus', 'javdb': 'javdb',
'fc2': 'FC2', 'fc2cmadb': 'FC2CMADB', 'fc2ppvdb': 'FC2PPV-DB', 'javten': 'JAVten',
'javarchive': 'JavArchive',
@@ -105,7 +111,8 @@ SOURCE_LABELS = {'r18dev': 'r18.dev', 'dmm': 'DMM / FANZA', 'avbase': 'AVBase',
'dahlia': 'DAHLIA', 'mgstage': 'MGStage',
'fc2club': 'FC2Club', 'freejavbt': 'FreeJavBT',
'airav': 'AIRAV', 'avsox': 'AVSOX',
- # Seesaa 的几个 Wiki,只由 `scrape_codes` 点名(`sources.seesaa`)。
+ # Seesaa 的几个 Wiki(`sources.seesaa`)。前两个在素人链上(`metadata_routes.WIKI_STAGE`),
+ # av_name 只由 `scrape_codes` 点名。
'sougouwiki': '素人系総合 Wiki', 'av_neme': 'このAV女優の名前教えてwiki',
'av_name': 'AV女優の名前特定wiki'}
PROVIDER_NAMES = {'local_nfo': 'local-nfo', 'r18dev': 'r18-json', 'dmm': 'dmm-graphql', 'avbase': 'avbase-search',
@@ -326,6 +333,24 @@ def _corrects_kept_cover(target, candidate, data, verified_by):
return not same_picture(kept, fresh)
+class _BudgetedPages:
+ """认人 Wiki 的取页层套一层动作预算:每取一页前看一眼还剩多少。
+
+ `WikiPages` 把传输层抛的 `RuntimeError` 一律记成「网络未取得」,预算用尽的 `DeadlineExceeded`
+ 也是 `RuntimeError`,所以要在它外面判,不能交给传输层。"""
+
+ def __init__(self, pages):
+ self.pages = pages
+ self.deadline = None
+
+ def get(self, url):
+ from .jav_cover_fetch import DeadlineExceeded
+ # 用减法判:`processing_control.ActiveDeadline` 在减法里扣掉暂停的那段。
+ if self.deadline is not None and self.deadline - time.monotonic() <= 0:
+ raise DeadlineExceeded('外部资料在预算时间内未取得,可稍后重试')
+ return self.pages.get(url)
+
+
class LibraryMetadataProvider:
"""来源链各档的入口:按来源配置的传输,站经 `sources.SITE_SOURCES` 问(`site`),封面走 `cover`。
@@ -333,12 +358,16 @@ class LibraryMetadataProvider:
`CredentialStore` 自己会拼上那一层。多给一层的表现不是报错,是每个来源都读成
「没有凭据」——采集设置里贴好的 JavBus、javdb Cookie 一条都不会被带上。
"""
- def __init__(self, secrets_root, *, tools_root=None):
+ def __init__(self, secrets_root, *, tools_root=None, wiki_root=None):
from .scraping_access import SourceTransport
from .jav_cover_fetch import HostLimitedTransport
self.secrets_root = Path(secrets_root)
#: amane 桥的 venv 所在的工具区(`<Peach 数据目录>/tools`);不给就用配置里的默认位置。
self.tools_root = Path(tools_root) if tools_root is not None else None
+ #: 认人 Wiki 的页缓存(`wiki`)。不给就放在凭据根旁边的 `sources/library-metadata/seesaa-pages`:
+ #: 凭据根是数据目录下的 `secrets`。
+ self.wiki_root = (Path(wiki_root) if wiki_root is not None
+ else self.secrets_root.parent / 'sources' / 'library-metadata' / 'seesaa-pages')
self.transport = HostLimitedTransport(
SourceTransport(secrets_root, max_requests=MAX_SOURCE_REQUESTS,
max_bytes=MAX_SOURCE_BYTES, max_seconds=MAX_SOURCE_SECONDS),
@@ -657,6 +686,38 @@ class LibraryMetadataProvider:
from .sources import SITE_SOURCES, Session
return SITE_SOURCES[source]().query(code, session=Session(self.transport, deadline)).payload()
+ def wiki(self, source, code, *, deadline=None):
+ """素人链上的认人 Wiki(`metadata_routes.WIKI_STAGE`,ADR-0144),返回 `[(来源, 资料)]`。
+
+ 一个 provider 里每站只建一个 `SeesaaSource`:素人系総合 Wiki 一张厂牌表列着几十上百部,
+ 读过的表记在实例里,同厂牌的下一部不再搜索。取页层是 `sources.seesaa.WikiPages`(落盘页缓存),
+ 传输用这条链的 `transport`,所以照「Peach 代理」出网、按主机冷却、计进本趟预算,主机间隔与
+ 别的站共用 `SOURCE_LIMITER`。一部片最多十几页,每取一页前看这部片的动作预算。
+
+ 站内搜索范围里没找到(`incomplete_search`)按「没有」交出去,记进一周的「没有」记忆:Wiki
+ 条目是社区陆续补的,一周后再问;别的失败(断线、撞墙、限额)照常是问题,不记「没有」。
+ """
+ from .jav_cover_fetch import Unavailable
+ from .metadata import MetadataProviderError
+ from .sources import Session
+ from .sources.seesaa import WIKI_SOURCES, WikiPages
+ sites = self.__dict__.setdefault('_wiki', {})
+ if source not in sites:
+ site = WIKI_SOURCES[source]()
+ pages = WikiPages(self.wiki_root, config=site.config, transport=self.transport,
+ limiter=_NO_WAIT, max_requests=WIKI_MAX_REQUESTS)
+ sites[source] = (site, _BudgetedPages(pages))
+ site, pages = sites[source]
+ pages.deadline = deadline
+ try:
+ record = site.query(code, session=Session(pages, deadline))
+ except MetadataProviderError as error:
+ # 原因里不带站名:`_metadata` 记问题时会给单家来源补上。
+ if error.kind == 'incomplete_search':
+ raise NotFound(str(error)) from error
+ raise Unavailable(str(error)) from error
+ return [(source, record.payload())]
+
def query(self, code, source='r18dev', *, deadline=None):
"""有码与素人链上逐个成档的官方来源:默认是 r18.dev(`sources/r18dev.py`),有码链上它之后是 DMM 的
GraphQL(`sources/dmm.py`,ADR-0059)。"""
@@ -1472,7 +1533,9 @@ class _RemoteSession:
if self._provider is None:
self._provider = (self._factory() if self._factory
else LibraryMetadataProvider(self._config.directory('secrets'),
- tools_root=self._config.directory('tools')))
+ tools_root=self._config.directory('tools'),
+ wiki_root=self._config.directory('sources')
+ / 'library-metadata' / 'seesaa-pages'))
return self._provider
def reset(self):
@@ -1665,6 +1728,8 @@ class _RemoteSession:
return provider.one_pondo(code, deadline=deadline)
if source in ('amane', 'amane_official'):
return provider.amane(code, deadline=deadline, route=members)
+ if source in metadata_routes.WIKI_STAGE:
+ return provider.wiki(source, code, deadline=deadline)
route = metadata_routes.community_route(code, *evidence, overrides=self._routes)
return provider.community(code, deadline=deadline,
route=tuple(name for name in route if name in members), received=received)
@@ -1681,11 +1746,13 @@ class _RemoteSession:
短路判据是**这一行还缺的必填标量**(标题、演员、厂牌、发行日期),不是「有人答了
就算」:r18.dev 少给演员时照旧往下问,否则那一行只能等人工去填。列表字段(标签、
封面)不参与短路——多一家就多一批标签和一个图源,而免复核本来就要两家一致
- (ADR-0030、ADR-0034)、封面互证要两个图源(ADR-0032)。唯一的例外是缺标签的行
- 在官方档之间多问一家(`metadata_routes.settles` 的 `wants_tags`)。
+ (ADR-0030、ADR-0034)、封面互证要两个图源(ADR-0032)。例外有两条:缺标签的行
+ 在官方档之间多问一家(`metadata_routes.settles` 的 `wants_tags`);素人缺演员的行,
+ MGStage 给了素人名义也接着问认人 Wiki,直到有一个 Wiki 给出演员(`wants_cast`,ADR-0144);
+ 两个 Wiki 都没给时,MGStage 给的字段够了就停,不落到综合索引。
社区那一档的值照常进候选,只剩一家也补空,几家不一时按字段优先级链取:FC2 的演员栏
- 取 fc2cmadb,其余取 javdb(ADR-0034、ADR-0038)。
+ 取 fc2cmadb,素人的演员栏取认人 Wiki,其余取 javdb(ADR-0034、ADR-0038、ADR-0144)。
「没有」的记忆按站记:一档里说过没有的站一周内不再问,全档都说过就直接问下一档。
"""
action = 'querying_metadata'
@@ -1698,6 +1765,8 @@ class _RemoteSession:
chain = self._chain(code, *evidence)
required = list(metadata_routes.required_scalars(missing))
wants_tags = 'tags' in missing
+ # 素人缺演员:MGStage 给的是素人名义,直到有一个认人 Wiki 给出演员才算问到(ADR-0144)。
+ wants_cast = 'performers' in missing and any(name in metadata_routes.WIKI_STAGE for name in chain)
results = _MetadataResults(self, code, received)
problems, held, entries = [], [], results.entries
failures = []
@@ -1711,8 +1780,10 @@ class _RemoteSession:
cached = self._cached_evidence(members, code)
if cached:
results.cached(cached)
+ if source in metadata_routes.WIKI_STAGE and any(entry[1].get('actresses') for entry in cached):
+ wants_cast = False
if metadata_routes.settles(required, _given_fields(entries),
- wants_tags=wants_tags, then=then):
+ wants_tags=wants_tags, wants_cast=wants_cast, then=then):
break
# FC2 那一档缓存里只有官方那页时,缺的演员还得去镜像站问(见 `fc2()`)。
if source != 'fc2':
@@ -1734,19 +1805,27 @@ class _RemoteSession:
if is_missing(error):
for name in getattr(error, 'sites', None) or members:
self._record_miss(name, code)
- continue
- # 社区那一档的原因里已经写明是哪一家了(`community()` 逐家拼过),再套一层
- # 就成了「社区来源:javdb:…」。单家来源的原因不带来源名,这里补上。
- problems.append(describe_failure(error)
- if source in ('community', 'amane', 'amane_official')
- else f'{SOURCE_LABELS.get(source, source)}:{describe_failure(error)}')
- failures.append(_source_failure_details(error, code, action, source=source))
- held.append(source_paused(error))
+ else:
+ # 社区那一档的原因里已经写明是哪一家了(`community()` 逐家拼过),再套一层
+ # 就成了「社区来源:javdb:…」。单家来源的原因不带来源名,这里补上。
+ problems.append(describe_failure(error)
+ if source in ('community', 'amane', 'amane_official')
+ else f'{SOURCE_LABELS.get(source, source)}:{describe_failure(error)}')
+ failures.append(_source_failure_details(error, code, action, source=source))
+ held.append(source_paused(error))
+ # 认人 Wiki 没给出演员时,MGStage 给的字段够停手就停,不为它落到综合索引那条 3 秒的队。
+ if source in metadata_routes.WIKI_STAGE and metadata_routes.settles(
+ required, _given_fields(entries), wants_tags=wants_tags,
+ wants_cast=wants_cast, then=then):
+ break
continue
update(stage='保存待确认资料')
results.save(found)
+ # 来源快照的演员栏键名是 `actresses`(`SiteRecord.payload`)。
+ if source in metadata_routes.WIKI_STAGE and any(payload.get('actresses') for _, payload in found):
+ wants_cast = False
if metadata_routes.settles(required, _given_fields(entries),
- wants_tags=wants_tags, then=then):
+ wants_tags=wants_tags, wants_cast=wants_cast, then=then):
break
tag_entries = self._preferred_tags(row, code, missing, chain, entries, attempted,
update=update, issue=issue, deadline=_extended(deadline, _excused(self._provider) - mark))
diff --git a/src/peach/metadata_policy.py b/src/peach/metadata_policy.py
index 1f53eb9c2..66bb2c667 100644
--- a/src/peach/metadata_policy.py
+++ b/src/peach/metadata_policy.py
@@ -123,8 +123,13 @@ CHAIN_COMMUNITY, CHAIN_FALLBACK, CHAIN_UNKNOWN = 3, 4, 5
#: javdb 写 `Chisa`、fc2cmadb 写 `大村阿美香`;`FC2-PPV-2629971` javdb 写中文 `安娜`、
#: fc2cmadb 写日文原名 `あんな`。FC2PPV-DB 的女优栏同样按片中人整理、写日文原名
#: (2026-09-24 `FC2-PPV-4898837` 写 `川北すずね`),排在 fc2cmadb 之后、javdb 之前。
+#:
+#: 演员栏的两个认人 Wiki(ADR-0144):只有素人番号会问到它们。MGStage 与 r18.dev 是官方档,
+#: 素人片上写的却是片中称呼:本机账本 `348NTR-076` 记着 mgstage 的 `アミ`、`857OMG-048` 记着
+#: `七○舞`、`230ORETD-615` 记着 r18dev 的 `早見さん`;2026-11-05 素人系総合 Wiki 给
+#: `348NTR-076` 的是 `稲森あみ`。
FIELD_SOURCE_PRIORITY: dict[str, tuple[str, ...]] = {
- "performers": ("fc2cmadb", "fc2ppvdb"),
+ "performers": ("fc2cmadb", "fc2ppvdb", "sougouwiki", "av_neme"),
}
#: 字段级黑名单(对应 amane 的 `field_blacklist`),优先于一切:列进来的来源在这个
diff --git a/src/peach/metadata_routes.py b/src/peach/metadata_routes.py
index 7e3e720bc..e614e9bea 100644
--- a/src/peach/metadata_routes.py
+++ b/src/peach/metadata_routes.py
@@ -76,7 +76,9 @@ ROUTES: dict[str, tuple[str, ...]] = {
# 最后一处可能有官方值的地方。
# dmm 不进:2026-09-24 实测 DMM 的搜索对 `MIUM 1239`、`LUXU 1475` 零结果,MGS 素人号
# 不在它的目录上,多问一家只多两次白请求。
- "amateur": ("mgstage", "avbase", "javbus", "javdb", "r18dev"),
+ # MGStage 之后是两个认人 Wiki(`WIKI_STAGE`,ADR-0144):MGS 只给素人名义(`まいな`、`七○舞`),
+ # Wiki 给出背后的艺名。排在综合索引前面,是因为它们与 javdb 不共一条 3 秒的队。
+ "amateur": ("mgstage", "sougouwiki", "av_neme", "avbase", "javbus", "javdb", "r18dev"),
# 无码:发行方自己那份作品 JSON 先问,但只在本机证据指着一本道时才问
# (见 `route_for_code`)——日期式番号不带片商,カリビアンコム 与一本道同形,
# 问错一家答回来的是同一天发行的另一部片。
@@ -146,6 +148,11 @@ COMMUNITY_STAGE = ("avbase", "javbus", "javdb")
#: 的 `LIST_FIELD_DEPTH` 名额——那三家的互证样本不该被转载站挤掉。链上放在综合索引之前
#: 还是之后由各类型的链自己定:默认链上只有无码的 avsox,垫在最后;其余三站只由整条覆盖点名。
AMANE_STAGE = ("fc2club", "freejavbt", "airav", "avsox")
+#: 素人链上的两个认人 Wiki(`sources.seesaa`,ADR-0144),各自一档、先后问。2026-11-05 对 29 个
+#: 不同厂牌的素人番号实测:素人系総合 Wiki 13 部、av_neme 16 部给出演员,与账本已确认的演员一致,
+#: 不一致的几条是账本记着素人名义、Wiki 给出艺名。av_name 只给 12 部,唯一一条与账本对不上的
+#: 也出自它,且它的厂牌页只挂最新约 1100 件,不进链,仍可由 `scrape_codes --sources` 点名。
+WIKI_STAGE = ("sougouwiki", "av_neme")
#: 必填标量字段。一档把这几项(在这一行还缺的范围内)都给全了就不问下一档。
SCALAR_FIELDS = ("title", "performers", "studio", "release_date")
@@ -355,7 +362,7 @@ def required_scalars(missing: Iterable[str]):
def settles(required: Sequence[str], provided: Iterable[str], *,
- wants_tags: bool = False, then: str = "") -> bool:
+ wants_tags: bool = False, wants_cast: bool = False, then: str = "") -> bool:
"""这一档给的字段够不够停手。
`required` 空时任何一档只要给出资料就停——这一行要的本来就不是标量字段,
@@ -365,10 +372,15 @@ def settles(required: Sequence[str], provided: Iterable[str], *,
作品资料没有类别,标量给全了也一个标签都没有;下一档仍是官方档(有码链上片商官网之后
的 r18.dev)时再问它一次换一批标签。下一档是综合索引或转载站就照样停:javdb 按出口 IP
计配额,不为标签多问。
+
+ `wants_cast` 是这一行缺演员、还没有 Wiki 给过(ADR-0144):MGStage 给的演员是素人名义,
+ 给了也不停,下一档是认人 Wiki 时接着问它。
"""
given = set(str(field) for field in provided)
if wants_tags and "tags" not in given and then in OFFICIAL_STAGE_NAMES:
return False
+ if wants_cast and then in WIKI_STAGE:
+ return False
if not required:
return True
return all(field in given for field in required)
diff --git a/src/peach/processing_traffic_plan.py b/src/peach/processing_traffic_plan.py
index 61bf5d062..827c4b529 100644
--- a/src/peach/processing_traffic_plan.py
+++ b/src/peach/processing_traffic_plan.py
@@ -89,10 +89,11 @@ class TrafficPlan:
def _network(self, source):
from . import peach_proxy
- from .scraping_access import values_for
+ from .scraping_access import SOURCES, values_for
if source not in self.proxy:
root = self.config.directory('secrets')
- if values_for(root, source).get('network') == 'direct':
+ # 不在采集设置里的站(素人链上的认人 Wiki)没有单独的连接方式,同 `SourceTransport` 照 Peach 代理出网。
+ if source in SOURCES and values_for(root, source).get('network') == 'direct':
self.proxy[source] = False
else:
try:
diff --git a/src/peach/sources/__init__.py b/src/peach/sources/__init__.py
index 36748e246..e1265ca01 100644
--- a/src/peach/sources/__init__.py
+++ b/src/peach/sources/__init__.py
@@ -17,8 +17,9 @@ from .r18dev import R18DEV, R18DevSource
from .seesaa import SEESAA, WIKI_SOURCES, SeesaaSource
#: 来源名 → 站的类。`LibraryMetadataProvider` 与 `scripts/scrape_codes.py` 按它取站,
-#: 测试按它核配置与 `SOURCE_SPECS` 等表的一致。Seesaa 的几个 Wiki(`seesaa.WIKI_SOURCES`)不在
-#: 任何链上,只由 `scrape_codes` 点名,会话的传输是它们自己的 `seesaa.WikiPages`。
+#: 测试按它核配置与 `SOURCE_SPECS` 等表的一致。Seesaa 的几个 Wiki(`seesaa.WIKI_SOURCES`)会话的传输
+#: 是它们自己的 `seesaa.WikiPages`;其中两个在素人链上(`metadata_routes.WIKI_STAGE`,经
+#: `LibraryMetadataProvider.wiki` 问),av_name 只由 `scrape_codes` 点名。
SITE_SOURCES: dict[str, type[SiteSource]] = {
R18DEV.name: R18DevSource,
DMM.name: DmmSource,
diff --git a/tests/test_metadata_library.py b/tests/test_metadata_library.py
index 082a22354..24856af48 100644
--- a/tests/test_metadata_library.py
+++ b/tests/test_metadata_library.py
@@ -50,6 +50,7 @@ def stub_provider():
provider.query.side_effect = dmm_has_nothing
provider.community.side_effect = NotFound('社区来源都没有这个番号')
provider.amane.side_effect = NotFound('amane 桥问的几站都没有这个番号')
+ provider.wiki.side_effect = NotFound('Wiki 搜索范围内未取得精确作品表格行')
return provider
@@ -1302,6 +1303,74 @@ class LibraryNfoTests(unittest.TestCase):
provider_factory=Mock(return_value=provider))
return provider, read_rows(self.root / 'generated/library-metadata-field-candidates.csv')
+ def _collect_amateur(self, code, wiki_answers, performer=None):
+ """一部素人片走采集:MGStage 给齐标量、演员只给素人名义,认人 Wiki 按 `wiki_answers` 答。
+
+ `performer` 给了就先把这个演员挂到账本上,这一行就不缺演员。返回 (provider, 候选行)。"""
+ media = self.root / 'media'
+ media.mkdir()
+ (media / f'{code}.mp4').write_bytes(b'video')
+ db = fresh_ledger(self.root)
+ config = PeachConfig(self.root, self.root / 'config.toml', present=True, locations={'local': (str(media),)})
+ if performer:
+ # 先扫一遍入库,再把标量与演员写进账本:这一行只剩列表字段可补。第一遍桩出来的「没有」
+ # 记忆一并清掉,第二遍问不问 Wiki 只看这一行缺不缺演员。
+ from peach.library_processing import misses_path
+ scan = stub_provider()
+ scan.query.return_value = {'id': code}
+ process_library(config, db, self.root / 'generated', self.root / 'covers',
+ provider_factory=Mock(return_value=scan))
+ with closing(sqlite3.connect(db)) as connection, connection:
+ connection.execute("UPDATE asset SET catalog_title=?, studio=?, release_date=? WHERE code=?",
+ ('素人の標題', 'ラグジュTV', '2024-01-01', code))
+ connection.execute("INSERT INTO entity(kind, canonical_name, normalized_name, created_at, updated_at) "
+ "VALUES('performer', ?, ?, '2026-11-05', '2026-11-05')", (performer, performer))
+ connection.execute("INSERT INTO asset_entity(asset_id, entity_id, role, source, confidence) "
+ "SELECT a.id, e.id, 'performer', 'manual', 1.0 FROM asset a, entity e "
+ "WHERE a.code=? AND e.canonical_name=?", (code, performer))
+ misses_path(config).unlink(missing_ok=True)
+ (self.root / 'generated/library-metadata-field-candidates.csv').unlink(missing_ok=True)
+ provider = stub_provider()
+ provider.amane.side_effect = None
+ provider.amane.return_value = [('mgstage', {
+ 'id': code, 'content_id': code, 'source': 'mgstage', 'title': '素人の標題', 'maker': 'ラグジュTV',
+ 'release_date': '2024-01-01', 'actresses': [{'japanese_name': 'まいな'}]})]
+
+ def wiki(source, query, **_):
+ if source not in wiki_answers:
+ raise NotFound('Wiki 搜索范围内未取得精确作品表格行')
+ return [(source, {'id': query, 'source': source, 'actresses': [{'japanese_name': wiki_answers[source]}]})]
+
+ provider.wiki.side_effect = wiki
+ process_library(config, db, self.root / 'generated', self.root / 'covers',
+ provider_factory=Mock(return_value=provider))
+ return provider, read_rows(self.root / 'generated/library-metadata-field-candidates.csv', missing_ok=True)
+
+ @windows_ledger_roots
+ def test_a_missing_amateur_cast_asks_the_name_wikis_after_mgstage_and_stops_at_the_first_answer(self):
+ """MGStage 只给素人名义,缺演员的素人片接着问认人 Wiki;素人系総合 Wiki 没有就问 av_neme,
+ 有一个给出艺名就停,不再落到综合索引(ADR-0144)。"""
+ provider, rows = self._collect_amateur('259LUXU-1378', {'av_neme': '優梨まいな'})
+ self.assertEqual([call.args[0] for call in provider.wiki.call_args_list], ['sougouwiki', 'av_neme'])
+ provider.community.assert_not_called()
+ performers = next(row for row in rows if row['field'] == 'performers')
+ self.assertEqual({candidate['source'] for candidate in json.loads(performers['candidates_json'])},
+ {'mgstage', 'av_neme'})
+
+ @windows_ledger_roots
+ def test_an_amateur_code_neither_wiki_knows_settles_on_mgstage_without_the_community_sites(self):
+ provider, rows = self._collect_amateur('259LUXU-1378', {})
+ self.assertEqual([call.args[0] for call in provider.wiki.call_args_list], ['sougouwiki', 'av_neme'])
+ provider.community.assert_not_called()
+ performers = next(row for row in rows if row['field'] == 'performers')
+ self.assertEqual({candidate['source'] for candidate in json.loads(performers['candidates_json'])},
+ {'mgstage'})
+
+ @windows_ledger_roots
+ def test_an_amateur_row_that_already_has_its_cast_does_not_ask_the_wikis(self):
+ provider, _ = self._collect_amateur('259LUXU-1378', {'sougouwiki': '優梨まいな'}, performer='優梨まいな')
+ provider.wiki.assert_not_called()
+
@windows_ledger_roots
def test_javdb_tags_are_collected_with_their_community_identity_after_maker_scalars(self):
provider, rows = self._collect_with_maker('SSIS-057', 'makers', {
@@ -2134,7 +2203,8 @@ class LibraryNfoTests(unittest.TestCase):
['封面未取得:来源返回 HTTP 503'], '来源说没有只报一个数,不占问题清单')
self.assertEqual(first['notes'], {'querying_metadata': 1})
recorded = json.loads(misses_path(config).read_text(encoding='utf-8'))
- self.assertEqual(list(recorded['misses']), ['mgstage', 'avbase', 'javbus', 'javdb', 'r18dev'],
+ self.assertEqual(list(recorded['misses']),
+ ['mgstage', 'sougouwiki', 'av_neme', 'avbase', 'javbus', 'javdb', 'r18dev'],
'按站记,不按档记')
self.assertEqual(provider.amane.call_args.kwargs['route'], ('mgstage',))
self.assertEqual(list(recorded['misses']['r18dev']), ['STP-26232'])
diff --git a/tests/test_metadata_policy.py b/tests/test_metadata_policy.py
index 9404f3b28..eb1eb50c2 100644
--- a/tests/test_metadata_policy.py
+++ b/tests/test_metadata_policy.py
@@ -139,6 +139,17 @@ class MetadataPolicyTests(unittest.TestCase):
self.assertLess(chain_rank("performers", "fc2cmadb"), chain_rank("performers", "javdb"))
self.assertLess(chain_rank("title", "javdb"), chain_rank("title", "fc2cmadb"))
+ def test_the_name_wikis_name_the_amateur_cast_ahead_of_the_official_stores(self):
+ """素人片的演员栏以认人 Wiki 为准:`348NTR-076` mgstage 写 `アミ`,素人系総合 Wiki 写 `稲森あみ`。
+
+ 提前只限演员栏,标题与日期仍听 MGStage。
+ """
+ for official in ("mgstage", "r18dev"):
+ self.assertLess(chain_rank("performers", "sougouwiki"), chain_rank("performers", official))
+ self.assertLess(chain_rank("performers", "av_neme"), chain_rank("performers", official))
+ self.assertLess(chain_rank("title", official), chain_rank("title", "sougouwiki"))
+ self.assertLess(chain_rank("performers", "sougouwiki"), chain_rank("performers", "av_neme"))
+
if __name__ == "__main__":
unittest.main()
diff --git a/tests/test_metadata_routes.py b/tests/test_metadata_routes.py
index 6bb0d5d49..461433ba4 100644
--- a/tests/test_metadata_routes.py
+++ b/tests/test_metadata_routes.py
@@ -6,7 +6,7 @@ from peach.metadata_routes import (AMANE_OFFICIAL_STAGE, AMANE_STAGE, COMMUNITY_
LIST_FIELD_DEPTH, MAKER_EVIDENCE, OFFICIAL_STAGE, ROUTES, classify,
community_route, maker_sites, official_route, parse_route_overrides,
required_scalars, route, route_for_code, settles, stage_members,
- stages_for_code)
+ stages_for_code, WIKI_STAGE)
def amane_sites(code, *hints, overrides=None):
@@ -92,12 +92,31 @@ class RouteTableTests(unittest.TestCase):
def test_amateur_asks_mgstage_first_and_never_the_makers_nor_dmm(self):
"""MGS 素人系由 MGS 自己发行;片商官网对素人号一个请求都不发,DMM 的目录上也没有它们。
- r18.dev 在本机来源快照里一份素人号都没给过,垫在最后,不让每部片先白等它一次。
+ MGS 只给素人名义,紧接着问两个认人 Wiki(ADR-0144);r18.dev 在本机来源快照里一份素人号
+ 都没给过,垫在最后,不让每部片先白等它一次。
"""
for code in ('300MIUM-1239', '259LUXU-1475', 'SIRO-4630'):
with self.subTest(code=code):
self.assertEqual(route_for_code(code),
- ('mgstage', 'avbase', 'javbus', 'javdb', 'r18dev'))
+ ('mgstage', 'sougouwiki', 'av_neme', 'avbase', 'javbus', 'javdb', 'r18dev'))
+ self.assertEqual(stages_for_code('259LUXU-1475'),
+ ('amane_official', 'sougouwiki', 'av_neme', 'community', 'r18dev'))
+
+ def test_the_name_wikis_are_only_on_the_amateur_chain(self):
+ """认人 Wiki 只认素人与素人名义;av_name 不在任何默认链上,只能点名。"""
+ for content, chain in ROUTES.items():
+ with self.subTest(content=content):
+ self.assertEqual(any(name in WIKI_STAGE for name in chain), content == 'amateur')
+ self.assertNotIn('av_name', chain)
+
+ def test_a_missing_cast_keeps_asking_the_wikis_after_mgstage(self):
+ """素人缺演员时 MGStage 给了素人名义也不停,下一档是认人 Wiki 就接着问;有 Wiki 给过就照常停。"""
+ given = ('title', 'performers', 'studio', 'release_date')
+ self.assertTrue(settles(given, given, then='sougouwiki'))
+ self.assertFalse(settles(given, given, wants_cast=True, then='sougouwiki'))
+ self.assertFalse(settles(given, given, wants_cast=True, then='av_neme'))
+ # 下一档已是综合索引:Wiki 都没给出演员也停,javdb 不为认人多问。
+ self.assertTrue(settles(given, given, wants_cast=True, then='community'))
def test_dmm_is_only_on_the_censored_chain(self):
"""DMM 是有码链上 r18.dev 之后的兜底;无码与 FC2 的番号不在它的目录上。"""
@@ -216,7 +235,8 @@ class StageTests(unittest.TestCase):
def test_stages_keep_the_official_sources_apart_and_fold_the_indexes(self):
"""官方那几家逐个成档才短路得了;综合索引那一档整档一起问,经桥的几站也合成一档。"""
self.assertEqual(stages_for_code('ABW-220'), ('amane_official', 'r18dev', 'dmm', 'community'))
- self.assertEqual(stages_for_code('300MIUM-1239'), ('amane_official', 'community', 'r18dev'))
+ self.assertEqual(stages_for_code('300MIUM-1239'),
+ ('amane_official', 'sougouwiki', 'av_neme', 'community', 'r18dev'))
self.assertEqual(stages_for_code('040221-001'), ('community', 'amane'))
self.assertEqual(stages_for_code('FC2-PPV-1812235'), ('fc2', 'community'))
self.assertEqual(stages_for_code('AIN-203'), ())
diff --git a/tests/test_metadata_seesaa.py b/tests/test_metadata_seesaa.py
index c81eb7eec..91b158d5f 100644
--- a/tests/test_metadata_seesaa.py
+++ b/tests/test_metadata_seesaa.py
@@ -296,5 +296,48 @@ class SeesaaContractTests(unittest.TestCase):
self.assertEqual((SEESAA.name, SEESAA.provider), ('sougouwiki', 'sougouwiki'))
+class ChainWikiTests(unittest.TestCase):
+ """素人链上的认人 Wiki 经 `LibraryMetadataProvider.wiki` 问(ADR-0144)。"""
+
+ SEARCH = b'<div class="result-box"><div class="body"><h3><a href="/w/sougouwiki/d/Person">Person</a></h3></div></div>'
+ PERSON = '<div id="page-body"><div class="user-area"><a href="/w/sougouwiki/d/Label">(レーベル一覧)</a></div></div>'.encode('euc_jp')
+
+ def provider(self, root, transport):
+ from peach.library_processing import LibraryMetadataProvider
+ provider = LibraryMetadataProvider(root / 'secrets', wiki_root=root / 'pages')
+ provider.transport = transport
+ return provider
+
+ def test_one_label_table_serves_the_next_code_of_the_same_label_without_another_search(self):
+ """一张厂牌表列着同厂牌的好几部:读过之后同一次任务里的下一部不再搜索,页也落盘缓存。"""
+ table = fixture().replace(b'</table>', ('<tr><td>ABC-008</td><td></td><td>別の作品</td>'
+ '<td><a href="/w/sougouwiki/d/C">架空秋子</a></td><td>2024/12/01</td>'
+ '<td></td></tr></table>').encode('euc_jp'))
+ with tempfile.TemporaryDirectory() as tmp:
+ root = Path(tmp).resolve()
+ transport = Mock(side_effect=[HttpResponse(200, {}, body) for body in (self.SEARCH, self.PERSON, table)])
+ provider = self.provider(root, transport)
+ [(source, first)] = provider.wiki('sougouwiki', 'ABC-007')
+ [(_, second)] = provider.wiki('sougouwiki', 'ABC-008')
+ self.assertEqual((source, len(first['actresses']), second['actresses']),
+ ('sougouwiki', 2, [{'japanese_name': '架空秋子'}]))
+ self.assertEqual(transport.call_count, 3)
+ self.assertEqual(len(list((root / 'pages').glob('*.json'))), 3)
+
+ def test_an_unfound_code_is_a_miss_and_a_spent_budget_is_not_a_network_failure(self):
+ """搜索范围里没找到按「没有」交出去;动作预算用尽是预算问题,不能被取页层记成网络未取得。"""
+ from peach.jav_cover_fetch import DeadlineExceeded, NotFound
+ with tempfile.TemporaryDirectory() as tmp:
+ root = Path(tmp).resolve()
+ transport = Mock(return_value=HttpResponse(200, {}, b'<div class="result-box"></div>'))
+ provider = self.provider(root, transport)
+ with self.assertRaisesRegex(NotFound, '搜索范围内未取得'):
+ provider.wiki('sougouwiki', 'ABC-007')
+ transport.reset_mock()
+ with self.assertRaises(DeadlineExceeded):
+ provider.wiki('av_neme', 'ABC-009', deadline=0.0)
+ transport.assert_not_called()
+
+
if __name__ == '__main__':
unittest.main()
diff --git a/tests/test_metadata_sources.py b/tests/test_metadata_sources.py
index 1c0c5ec3b..2ebe747a9 100644
--- a/tests/test_metadata_sources.py
+++ b/tests/test_metadata_sources.py
@@ -417,8 +417,9 @@ class ConfigConsistencyTests(unittest.TestCase):
{"makers", "prestige", "faleno", "dahlia", "mgstage"})
def test_seesaa_brings_its_own_transport_and_keeps_its_source_identity(self):
- """Seesaa 作品表不经 `SourceTransport`:不收 Cookie、采集设置页没有它的卡片,冷却只在本批内,
- 取页、缓存与限额在 `WikiPages`,间隔与页面上限取自配置;provenance 是账本里已有的 `sougouwiki`。"""
+ """Seesaa 作品表不收 Cookie、采集设置页没有它的卡片,冷却只在本批内,取页、缓存与限额在 `WikiPages`,
+ 间隔与页面上限取自配置;provenance 是账本里已有的 `sougouwiki`。`scrape_codes` 点名时它自带传输,
+ 素人链上则借资料处理那一份(`LibraryMetadataProvider.wiki`)。"""
self.assertEqual(set(WIKI_SOURCES), {"sougouwiki", "av_neme", "av_name"})
for name, site in WIKI_SOURCES.items():
config = site.DEFAULT