Skip to content

armgit / peach

Public Imported from GitHub
0

Peach: Local-first video metadata scraper and media manager.

feat(metadata): 补女优资料在 minnano-av 上找不到她时由 avbase 女优页补位

longmeidao627152be942f
diff --git a/CHANGELOG.md b/CHANGELOG.md
index caa7ae1ca..6f1b98a6b 100644
--- a/CHANGELOG.md
+++ b/CHANGELOG.md
@@ -21,6 +21,10 @@ Removed / Fixed / Security。
## [未发布]
+### 新增
+
+- **采集**:补女优资料时,如果 minnano-av 上找不到她,就从 avbase 女优页补生日、身高、三围、罩杯,以及站上填了的出身地、血型和趣味,人物页页头不再空着。已有 minnano-av 资料或人工资料的只核对、不覆盖;她之后出现在 minnano-av 上,资料会换成那边的。
+
### 变更
- **关注**:订阅源拉取改为每半小时看一次到期的订阅,各订阅错开时间拉取,每个仍是 6 小时一次;以前同时添加的订阅总在同一时刻一起拉,有时还会隔一轮才拉到。
diff --git a/docs/REUSE.md b/docs/REUSE.md
index 4e11dc0ad..4e0140bdb 100644
--- a/docs/REUSE.md
+++ b/docs/REUSE.md
@@ -439,6 +439,8 @@ Babepedia 主图库和 Vixen 网络公开 GraphQL 的字段核对 [Stash Communi
公司资料复用 `entity.metadata_json`、HTTPX、官网公司概要表和定义列表与标识采集器。`company_profiles` 只有通用判据(概要标签、服务条款订立方原句),按字段保存出处、原文和批次,只填空;一页多张公司表时按法人名对实体名与别名选表,公司成立与品牌启动分列,集团与分工关系不由代码推导,只作候选。`harvest_company_profiles.py` 默认产复核 JSON,`--input --apply --backup --batch auto:company-profile@…` 按缓存页重放判据后落库,清单里的别名、链接与第三方页面不写。`revert_auto_landing.py` 可撤回同批公司字段及标识,无新增依赖。
+avbase 女优页补位(ADR-0136)参考 OpenAver `ae7fc235`(MIT)的来源选择,只借用「女优页地址加 `__NEXT_DATA__` 字段」这个做法,没有复制源码。取页复用 `MinnanoPages` 的缓存、冷却与请求上限,传输用 `SourceTransport`。实测 httpx 带 Chrome UA 就能取到页,所以没有照上游改走 curl_cffi。解析与 `sources/avbase.py` 的作品页共用同一个 `__NEXT_DATA__` 读法,名字锚定复用 `performer_alias_followup` 的 `search_keys`、`match_key`、`rejection`,资料写入复用 `performer_profiles.write_profile`。无新增依赖。
+
Babepedia 资料采集复用 `babepedia_page` 的主名与别名交叉核对、`performer_profiles` 的整行来源保护和 `performer_alias_followup.land` 的占用检查。英文艺名只在明确允许的来源中登记,单个罗马字词只在它就是页面主名时登记,JAV 后继保留自己的名字策略。真人账号与出演者共用资料表、别名分组与头像候选;保留账号角色及旧地址,与已登记账号说法不一的链接只进回执。出演者主图经 `avatar_followup.match_gallery` 与单人作品封面比上脸才补空头像,账号与本人档案图库仅作候选,推荐人物排除,单图失败继续其余有限候选;候选表只认判词「命中」的档案地址。`harvest_western_profiles.py` 每轮至多 16 位,计划、备份、回执与批次撤回齐备;既有资料和头像保留。真实只读复核取得 Ria Kurumi 等 16 份匹配档案,无新增依赖。
身份分类复用 `entity`、来源关系、`field_owners`、SQLite 迁移与版本触发器。职业与账号角色使用独立多值断言,跨角色身份使用可撤回关系;[Schema.org Person](https://schema.org/Person) 的 `hasOccupation`、`sameAs` 与 [Role](https://schema.org/Role) 提供语义参照,2026-10-06 已核对官方文档。实现不复制外部解析器或新增依赖。目录推断和搜索命中只存候选,公开来源事实与用户复核分别保留状态。
diff --git a/docs/SOURCING.md b/docs/SOURCING.md
index 8c6f0f10c..caf4b504f 100644
--- a/docs/SOURCING.md
+++ b/docs/SOURCING.md
@@ -356,8 +356,9 @@ minnano-av 也在 Cloudflare 后面,但对 HTTP 客户端是间歇拦截:202
`resync_performer_agency.py` 都经 `SourceTransport` 取 minnano-av,共用同一份冷却与固定状态。2026-10-01 实测:
临时 profile 的 Chrome 取检索页,跟到资料页 `actress695633.html`,资料表解析正常。
-候选备援(未接入):OpenAver 0.16.13 拔掉 minnano-av 后按 xcity → 维基 → graphis 逐字段合并女优资料;只作 minnano-av
-取不到时的补位,不替换它,因为它是目前唯一能从名字走到事务所名册的入口(调研见 ADR-0092)。
+资料的补位已接入 avbase 女优页(ADR-0136,见下文「女优别名与资料的自动登记」)。它只在 minnano-av 上没有她时写,
+不替换 minnano-av,因为后者是目前唯一能从名字走到事务所名册的入口。OpenAver 另有 xcity → 维基 → graphis 的逐字段合并,
+仍未接入(调研见 ADR-0092)。
### JavArchive
@@ -604,12 +605,17 @@ Instagram 的独立用户登录会话未取得,自动适配器不进正式依
- `サイズ` 形如 `T156 / B86( Eカップ ) / W58 / H85 / S`,数字就是厘米;末尾那个 `S` 含义未取得,只留原文。
资料没填的页没有生年月日、血液型、出身地那几行。
- `ブログ` 那格显示 `http://`、`href` 是 `https://`,取 `href`。站内头像 `/p_actress_125_125/` 只有 125×125。
+ - avbase 女优页 `/talents/<名字>`(ADR-0136):直连 httpx 带 Chrome UA 就回 200,名字站上没有回 404。
+ `__NEXT_DATA__` 的 `pageProps.talent.actors[]` 是站上归到她名下的名义,资料取 `meta.basic_info`;
+ `actors[].meta.fanza` 是另一份可能过时的 FANZA 资料,只留原文。没有出道年、活动期、博客与官网。一页
+ 650~750 KB,缓存只存 `compact_talent_page` 裁出的 `talent` 与同名列表。冷却与作品采集共用 `avbase` 那一份。
+ 它写的行不算 minnano-av 的「未过期」,minnano-av 取到就整行换掉。
- avwikidb.com 直连 httpx 带 Chrome UA 就回整页(登记在 `scraping_access.SOURCES`,拒绝访问停 6 小时)。作品页
`/work/<番号>/` 头里的 JSON-LD `Movie.actor` 每项给 `name`、罗马字 `alternateName` 与 `/actor/<编号>/`,编号
从这里取。女优页 JSON-LD `Person.alternateName` 前两项是读音与罗马字,后面混着站上归并的其他名义(含男优
名),不收。三围只在正文「身長・スリーサイズ」一格(`T148 B83(B) W55 H85`)。女优图是 DMM `actjpgs` 的
125×125,不作头像;站内搜索是 `⌘K` 弹层,地址形态未取得。
- - 出生日期与身高和 minnano-av 不一致时,只记进外部编号的 `metadata_json.conflicts`。
+ - 出生日期与身高和资料表那一行(minnano-av 或 avbase 写的)不一致时,只记进外部编号的 `metadata_json.conflicts`。
## 番号目录、创作者与水印
diff --git a/docs/adr/0136-avbase-talent-page-backs-up-performer-profiles.md b/docs/adr/0136-avbase-talent-page-backs-up-performer-profiles.md
new file mode 100644
index 000000000..9fa69414e
--- /dev/null
+++ b/docs/adr/0136-avbase-talent-page-backs-up-performer-profiles.md
@@ -0,0 +1,65 @@
+# ADR-0136:avbase 女优页给补女优资料后继补位
+
+- 状态:Accepted
+- 日期:2026-11-04
+- 关系:扩展 [ADR-0067](0067-performer-profiles-land-in-their-own-table.md) 的来源链;落库口径照 [ADR-0052](0052-entity-results-land-when-evidence-is-sufficient.md)
+
+## 背景
+
+补女优资料后继(ADR-0067)的资料只来自 minnano-av。账本里 939 位有 JAV 目录站编号的女优中,有 104 位
+带作品却没有资料行,其中多数在 minnano-av 上检索不到,页头的生日、身材那几项因此空着。
+
+OpenAver 0.17.13([ae7fc235](https://github.com/slive777/OpenAver/commit/ae7fc235),MIT)把 avbase 的
+女优页当成女优资料的备援。2026-11-04 实测:
+
+- `https://www.avbase.net/talents/<名字>` 按名字进,是 Next.js 页。`__NEXT_DATA__` 的 `props.pageProps.talent`
+ 里,`actors[]` 是站上归到这位名下的全部名义,`meta.basic_info` 是社区编辑的资料(生日、身高、三围、罩杯、
+ 出身地、趣味、血型)。名字站上没有时回 HTTP 404。
+- Peach 现有的 `SourceTransport`(Chrome UA、httpx)直接拿到 200;OpenAver 改用 curl_cffi 绕 403 的做法这里用不上。
+ 每 4 秒一页、共 32 页,没有出现 403、429 或验证页。
+- 一页 650~750 KB,大部分是嵌在里面的作品表。
+- 从真实账本只读抽 30 位:没有资料的 20 位命中 13 位(3 位靠别名命中),已有 minnano-av 资料的 10 位命中 9 位。
+ 命中的那 13 位,生日、身高、三围、罩杯都有值。已有资料的 9 位里,生日 8 位与 minnano-av 一致。
+
+## 决策
+
+**一、avbase 接在 minnano-av 后面、avwikidb 前面。** avbase 写下的资料,avwikidb 照样拿来交叉核对。
+
+**二、身份按名字核对,同名不挑。** 名字链里收得下的写法(`performer_alias_followup.search_keys`)至多问三个,
+404 就换下一个写法。页上 `actors[]` 的名义里要有账本里她的名字(`match_key` 折叠后相等,`rejection` 不收的写法
+不作锚点),`pageProps.talents` 里只能有一位。满足这两条,就把 talent 编号绑成
+`entity_external_ref(provider='avbase', external_kind='performer')`。编号已属另一条实体时只记「占用」,资料也不写。
+
+**三、只填空。** 资料表里没有她,或者那一行原本就是 avbase 写的,才按这页整行写 `performer_profile`;
+`source_url` 记女优页地址。minnano-av 写的行和人写的行都不动,生日或身高与 avbase 不一致时,两边的值记进这条编号的
+`metadata_json.conflicts`。
+
+**四、不挡 minnano-av。** avbase 写的那一行不算 minnano-av 的「未过期」:下一轮照问 minnano-av,取到就整行换掉。
+avbase 自己按编号的 `last_synced_at` 计 30 天。
+
+**五、只取 `basic_info`。** 同一页的 `actors[].meta.fanza` 另有一份官方资料,两份可能对不上(三上悠亜:`basic_info` 是
+B90/H,FANZA 是 B84/F 的旧值)。那份不拿来补空格,原样留进 `raw`。站上没有出道年、活动期、出道作、博客和官网,
+这几列留空。`primary.image_url` 是 DMM `actjpgs` 的 125×125,和 avwikidb 是同一张图,不当头像候选(ADR-0067 第六条)。
+
+**六、缓存裁剪,限流与作品采集共用。** 这一站单独按 3 秒间隔,一条后继至多发三次请求。冷却记在 `avbase` 那一份里,
+和作品采集共用:撞上 403、429 或验证页,两边在冷却期内都不再问。200 的页先经 `avbase.compact_talent_page` 裁成
+`talent` 和同名列表两项再进缓存,单页从约 750 KB 降到约 2 KB。认不出结构的 200 页不进缓存,也不算问到了;
+一个写法都没问到时记「未取得」,按 24 小时重试。
+
+**七、判据版本加一。** `RULE` 升到 3,avbase 编号也进指纹,存量女优按每轮 16 条的名额各再问一次。落库与撤回照
+ADR-0067:批次号仍是 `auto:performer-profile@<任务行 id>`,`revert_auto_landing.py --source auto:performer-profile`
+会把资料行连同 avbase 编号一起撤回。
+
+## 后果
+
+- 绑了 avbase 编号的女优算 JAV 女优(`entry_links.JAV_DIRECTORIES` 本来就列了 `avbase`)。原先在哪个 JAV 目录站都
+ 没有编号的,绑上之后人物页会多出 MISSAV 入口,同一轮后继也会去 javdb 搜她,搜到才多出 JavDB 入口。
+- 每位存量女优在重派时多出一到三次 avbase 请求。
+- 判词写进 `generated/performer-profile-landing.csv`,`site` 列为 `avbase`。
+
+## 未决
+
+- `actors[]` 名义和 `meta.sns`(X、Instagram、TikTok 帐号,命中的 13 位里有 12 位给了)都只留在 `raw` 与编号的
+ `metadata_json` 里,还没接到别名(ADR-0055 要两站互证)和本人链接。
+- `talent.frozen` 的含义未取得,现在不作判据。
+- 女优页的作品表只给第一页的 30 部,没有用作身份证据。
diff --git a/src/peach/performer_alias_followup.py b/src/peach/performer_alias_followup.py
index 220c3c659..78719e461 100644
--- a/src/peach/performer_alias_followup.py
+++ b/src/peach/performer_alias_followup.py
@@ -367,7 +367,8 @@ class MinnanoPages:
self._hold(refused=True)
raise Blocked("来源拒绝访问或要求机器人验证")
if response.status != 200:
- raise Unavailable(f"HTTP {response.status}")
+ # avbase 女优页按名字拼地址,站上没有这个名字回 404:那是「问过、没有」,不是没取到。
+ raise (Missing if response.status == 404 else Unavailable)(f"HTTP {response.status}")
final_url = response.url or url
path.parent.mkdir(parents=True, exist_ok=True)
path.write_text(json.dumps({"url": url, "final_url": final_url, "body": body},
diff --git a/src/peach/performer_profile_followup.py b/src/peach/performer_profile_followup.py
index 841a3c072..b353f480c 100644
--- a/src/peach/performer_profile_followup.py
+++ b/src/peach/performer_profile_followup.py
@@ -1,5 +1,5 @@
"""补女优资料:minnano-av 的资料表整张落进 `performer_profile`,再绑 avwikidb 的女优编号(ADR-0067)
-与 javdb 的演员 id(ADR-0081)。
+与 javdb 的演员 id(ADR-0081);minnano-av 上没有她时由 avbase 女优页补位(ADR-0136)。
判据是确定性的,按 ADR-0052 直接落库,不产生候选:
@@ -9,6 +9,11 @@
检索进来的页核对通过时,顺手把这个编号登记成她的 minnano-av 外部编号,下一轮直接进。
3. **整行写入**:资料按 `minnano_av.profile` 规整后写 `performer_profile`,读不出的列留空。
这一行是人写的(`source` 不以 `auto:` 开头)就不动。
+3a. **avbase 只补位**:拿名字链里收得下的写法进 `/talents/<名字>`(至多 `alias.MAX_KEYS` 个,404 接着下一个),
+ 页上 `actors[]` 的名义里有账本里她的名字、同名 talent 只有一位才算,绑上 talent 编号。资料表里没有她、
+ 或那一行本来就是 avbase 写的,才按这页整行写;minnano-av 或人写的那一行在,只把出生日期与身高的不一致
+ 记进这条编号的 `metadata_json.conflicts`。avbase 写的一行不算 minnano-av 的「未过期」,下一轮照问 minnano-av,
+ 它取到了就整行换掉。
4. **avwikidb 只从她自己的作品进**:取她非 FC2 作品的番号(出演人数少的在前,至多
`MAX_WORKS` 部),读作品页的出演表;名字与账本里她的某个名字折叠后相等,或罗马字与
minnano-av 上她的罗马字按词相等,恰好一位对得上才算。对不上、对上两位都不绑,写「未命中」,
@@ -26,11 +31,12 @@
`scripts/revert_auto_landing.py --source auto:performer-profile` 整批撤回。判词逐条写进
`generated/performer-profile-landing.csv`。
-取页复用补别名后继的 `MinnanoPages`:成功页落盘缓存,minnano-av 与 avwikidb 按 3 秒间隔,撞上
+取页复用补别名后继的 `MinnanoPages`:成功页落盘缓存,minnano-av、avbase 与 avwikidb 按 3 秒间隔,撞上
429、403 或机器人验证就记进 `scraping_access` 的冷却,本轮与之后在冷却期内都不再问,结论写「未取得」。
三站的请求都走 `SourceTransport`,连接方式跟采集设置里那一站的设置走;minnano-av 的 HTTP 客户端被拦时
先由本机浏览器验证一页,取到就固定走浏览器(`scraping_access.SOURCES` 的 `browser_fallback`)。javdb 按出口 IP
计配额、一封 3~7 天,这一站单独 5 秒间隔(与目录采集同一档),冷却记录与作品采集共用 `javdb` 那一份。
+avbase 的冷却也与作品采集共用 `avbase` 那一份;女优页缓存只存 `avbase.compact_talent_page` 裁过的那两项。
多久再派一次由 `Attempts` 的记号决定:写成了的保 `REFRESH`(30 天),到期再派一次,资料页
按取回时间过了 30 天才重取;有一站「未取得」的只保 `RETRY_UNFETCHED`;哪一站都没对上的等名字链、
@@ -38,6 +44,7 @@
"""
from __future__ import annotations
+import dataclasses
import hashlib
import json
import sqlite3
@@ -52,14 +59,18 @@ from . import performer_alias_followup as alias
from .followups import Attempts, Followup, FollowupType, attempts_root, register
from .performer_profiles import fetched_at as profile_fetched_at, read_profile, write_profile
from .scripting import HostLimiter
+from .sources import avbase
TASK_KEY = "performer-profile"
TASK_LABEL = "补女优资料"
SOURCE = "auto:performer-profile"
-MINNANO, AVWIKIDB, JAVDB = alias.MINNANO, "avwikidb", "javdb"
+MINNANO, AVBASE, AVWIKIDB, JAVDB = alias.MINNANO, "avbase", "avwikidb", "javdb"
#: javdb 的主机间隔,与 `harvest_directory_links.SOURCE_INTERVAL` 同一档(docs/SOURCING.md)。
JAVDB_INTERVAL = 5.0
_JAVDB_LIMITER = HostLimiter({"javdb.com": JAVDB_INTERVAL})
+#: avbase 女优页与 minnano-av、avwikidb 同一档间隔(2026-11-04 实测 4 秒一页、32 页没撞墙)。
+AVBASE_INTERVAL = 3.0
+_AVBASE_LIMITER = HostLimiter({"avbase.net": AVBASE_INTERVAL})
#: 每轮处理任务给存量的名额。一条最多问两站五六次、每次隔 3 秒,给多了会把头像与厂牌挤到很后面;
#: 九百多位女优按这个名额要一个多月的处理轮次才轮遍,存量本来就不赶。
@@ -68,8 +79,8 @@ STOCK_SHARE = 16
REFRESH = 30 * 86400
RETRY_UNFETCHED = alias.RETRY_UNFETCHED
#: 入口判据的版本,进指纹。换了判据就加一,跑过的女优按新判据各再问一次。
-#: 2 是 javdb 那一站(ADR-0081)。
-RULE = 2
+#: 2 是 javdb 那一站(ADR-0081),3 是 avbase 补位(ADR-0136)。
+RULE = 3
#: avwikidb 最多翻她几部作品的出演表。
MAX_WORKS = 3
@@ -121,11 +132,12 @@ def has_entry(connection: sqlite3.Connection, entity_id: int) -> bool:
def fingerprint(connection: sqlite3.Connection, entity_id: int) -> str:
- """会让结论变的量:名字链、三站编号、avwikidb 的入口番号与判据版本。"""
+ """会让结论变的量:名字链、四站编号、avwikidb 的入口番号与判据版本。"""
names = alias._names(connection, entity_id) or ("", [])
keys = sorted({alias.match_key(name) for name in [names[0], *names[1]] if name})
parts = [keys, _refs(connection, entity_id, MINNANO), _refs(connection, entity_id, AVWIKIDB),
- work_codes(connection, entity_id), _refs(connection, entity_id, JAVDB), f"r{RULE}"]
+ work_codes(connection, entity_id), _refs(connection, entity_id, JAVDB),
+ _refs(connection, entity_id, AVBASE), f"r{RULE}"]
raw = json.dumps(parts, ensure_ascii=False)
return hashlib.sha1(raw.encode("utf-8")).hexdigest()[:16]
@@ -175,18 +187,42 @@ def stock(connection: sqlite3.Connection, attempts, *, limit: int, skip=()) -> l
def open_sites(contract) -> dict:
- """三站的取页器。缓存目录与补别名后继共用,同一页不问第二次。测试把这一步整个换掉。"""
+ """四站的取页器。缓存目录与补别名后继共用,同一页不问第二次。测试把这一步整个换掉。"""
from .scraping_access import SourceTransport
cache = Path(contract.candidate_root) / "provider-cache"
cooldown = alias._cooldown_root(contract)
return {MINNANO: alias.MinnanoPages(cache / "minnano-av-pages", cooldown, max_age=REFRESH),
+ AVBASE: alias.MinnanoPages(cache / "avbase-talent-pages", cooldown,
+ TalentPages(SourceTransport(cooldown)),
+ limiter=_AVBASE_LIMITER, max_requests=alias.MAX_KEYS,
+ source=AVBASE, max_age=REFRESH),
AVWIKIDB: avwikidb_pages(contract),
JAVDB: alias.MinnanoPages(cache / "javdb-pages", cooldown, SourceTransport(cooldown),
limiter=_JAVDB_LIMITER, max_requests=alias.MAX_KEYS,
source=JAVDB, max_age=REFRESH)}
+class TalentPages:
+ """avbase 女优页的传输:200 的页先裁成 `avbase.compact_talent_page`,缓存里只落那两项。
+
+ 别的属性(`hold`、`close`)照转给里面那个传输,冷却仍按它这次走的那条路记。
+ """
+
+ def __init__(self, transport):
+ self.transport = transport
+
+ def __call__(self, request, timeout: float, max_bytes: int):
+ response = self.transport(request, timeout, max_bytes)
+ if response.status != 200:
+ return response
+ page = avbase.compact_talent_page(response.body.decode("utf-8", "replace"))
+ return dataclasses.replace(response, body=page.encode("utf-8"))
+
+ def __getattr__(self, name: str):
+ return getattr(self.transport, name)
+
+
def avwikidb_pages(contract):
"""avwikidb 的取页器。补头像后继读单人作品页也用它:同一份缓存、同一套冷却。"""
from .scraping_access import SourceTransport
@@ -242,16 +278,29 @@ def bind(connection: sqlite3.Connection, entity_id: int, provider: str, external
return BIND
-def conflicts(profile: dict | None, actor: dict) -> list[dict]:
- """两站都有值却不一致的列:[{"field", "minnano-av", "avwikidb"}]。任一边没有值不算冲突。"""
+def conflicts(profile: dict | None, actor: dict, *, held: str = MINNANO,
+ site: str = AVWIKIDB) -> list[dict]:
+ """两站都有值却不一致的列:[{"field", <资料表那一站>, <这一站>}]。任一边没有值不算冲突。"""
found = []
for column, key in CROSS_CHECKED:
mine, theirs = (profile or {}).get(column), actor.get(key)
if mine is not None and theirs is not None and mine != theirs:
- found.append({"field": column, MINNANO: mine, AVWIKIDB: theirs})
+ found.append({"field": column, held: mine, site: theirs})
return found
+def _conflict_rows(url: str, site: str, found: list[dict], batch: str, base: dict) -> list[dict]:
+ return [{**base, "site": site, "page": url, "action": CONFLICT, "batch": batch,
+ "detail": f"{item['field']}:" + ",".join(
+ f"{name} {value}" for name, value in item.items() if name != "field")
+ + ";资料表不改"} for item in found]
+
+
+def _avbase_row(row: dict | None) -> bool:
+ """资料表这一行是不是 avbase 补位写的:它不算 minnano-av 的资料,下一轮照问 minnano-av。"""
+ return str((row or {}).get("source_url") or "").startswith(avbase.talent_url(""))
+
+
def _alive(connection: sqlite3.Connection, entity_id: int, canonical: str) -> bool:
current = alias._names(connection, entity_id)
return current is not None and current[0] == canonical
@@ -294,9 +343,12 @@ def _run(contract, key: str, handle) -> dict:
with contract.database.read_connection() as connection:
names = alias._names(connection, entity_id)
state = {"minnano": _refs(connection, entity_id, MINNANO),
+ "avbase": _refs(connection, entity_id, AVBASE),
+ "avbase_synced": _synced(connection, entity_id, AVBASE),
"avwikidb": _refs(connection, entity_id, AVWIKIDB),
"codes": work_codes(connection, entity_id),
- "fetched": profile_fetched_at(connection, entity_id)}
+ "fetched": None if _avbase_row(read_profile(connection, entity_id))
+ else profile_fetched_at(connection, entity_id)}
if names is None:
return {"outcome": "档案已不存在"}
canonical = names[0]
@@ -308,7 +360,9 @@ def _run(contract, key: str, handle) -> dict:
rows: list[dict] = []
try:
_visit_minnano(contract, sites[MINNANO], entity_id, names, state, batch, base, reports, rows)
- conflict_count = _visit_avwikidb(contract, sites[AVWIKIDB], entity_id, names, state, batch,
+ conflict_count = _visit_avbase(contract, sites[AVBASE], entity_id, names, state, batch,
+ base, reports, rows)
+ conflict_count += _visit_avwikidb(contract, sites[AVWIKIDB], entity_id, names, state, batch,
base, reports, rows)
_visit_javdb(contract, sites[JAVDB], entity_id, names, batch, base, reports, rows)
finally:
@@ -388,6 +442,95 @@ def _visit_minnano(contract, pages, entity_id: int, names, state: dict, batch: s
+ ("" if bound == BIND else " 已属另一条实体")})
+def _visit_avbase(contract, pages, entity_id: int, names, state: dict, batch: str, base: dict,
+ reports: dict, rows: list) -> int:
+ """avbase:按名字进女优页,名义里有她就绑 talent 编号。返回记下的冲突条数。
+
+ 资料表里没有她、或那一行是 avbase 写的,整行按这页写;别的来源那一行在,只记冲突。
+ """
+ canonical, aliases = names
+ if state["avbase"] and _fresh(state["avbase_synced"]):
+ reports[AVBASE] = "资料未过期"
+ rows.append({**base, "site": AVBASE, "page": "", "action": FRESH,
+ "detail": "编号已绑,女优页取回不到 30 天"})
+ return 0
+ keys = alias.search_keys(canonical, aliases)[:alias.MAX_KEYS]
+ if not keys:
+ reports[AVBASE] = f"{MISS}:没有能拿去检索的名字"
+ return 0
+ found, notes, asked = _find_talent(pages, keys, {
+ alias.match_key(name) for name in [canonical, *aliases] if not alias.rejection(name)})
+ if found is None:
+ detail = ";".join(notes)
+ if not asked:
+ # 一个写法都没问成:站那天没让进或页面认不出,不是站上没有她,不结算指纹。
+ reports[AVBASE] = f"{UNFETCHED}:{detail}"
+ return 0
+ reports[AVBASE] = f"{MISS}:{detail}"
+ rows.append({**base, "site": AVBASE, "page": "", "action": MISS, "detail": detail})
+ return 0
+ url, parsed = found
+ with contract.database.write_transaction() as connection:
+ if not _alive(connection, entity_id, canonical):
+ reports[AVBASE] = f"{MISS}:数据库里这条实体已经变了"
+ return 0
+ row = read_profile(connection, entity_id)
+ other = row is not None and not _avbase_row(row)
+ found_conflicts = conflicts(row, parsed, site=AVBASE) if other else []
+ verdict = bind(connection, entity_id, AVBASE, parsed["talent_id"],
+ {"source": SOURCE, "batch": batch, "names": parsed["names"],
+ **({"conflicts": found_conflicts} if found_conflicts else {})})
+ wrote = (verdict == BIND and not other
+ and write_profile(connection, entity_id, parsed, source=batch, source_url=url))
+ reports[AVBASE] = f"命中 {url}" if verdict == BIND else f"{TAKEN}:talent {parsed['talent_id']} 已属另一条实体"
+ rows.append({**base, "site": AVBASE, "page": url, "action": verdict,
+ "batch": batch if verdict == BIND else "",
+ "detail": f"talent {parsed['talent_id']} 的名义里有她" if verdict == BIND
+ else "编号已属另一条实体,资料不写"})
+ if wrote:
+ state["profile"], state["profile_site"] = parsed, AVBASE
+ rows.append({**base, "site": AVBASE, "page": url, "action": WRITE, "batch": batch,
+ "detail": "资料表里没有别的来源,按这页补写"})
+ if verdict != BIND:
+ return 0
+ rows.extend(_conflict_rows(url, AVBASE, found_conflicts, batch, base))
+ return len(found_conflicts)
+
+
+def _find_talent(pages, keys: list[str], mine: set[str]) -> tuple[tuple[str, dict] | None, list[str], int]:
+ """((页面地址, 资料) 或 None, 说明, 问成了几个写法)。名义里有她、同名只有一位的第一页算数。
+
+ 404 是站上没有这个写法,算问成了;认不出的 200 页丢掉缓存、不算问成,下一轮再问。
+ """
+ notes, asked = [], 0
+ for key in keys:
+ url = avbase.talent_url(key)
+ try:
+ _final, html = pages.get(url)
+ except alias.Blocked as error:
+ return None, [f"{key} {error}"], 0
+ except alias.Missing:
+ asked += 1
+ notes.append(f"站上没有 {key}")
+ continue
+ except alias.Unavailable as error:
+ notes.append(f"{key} {error}")
+ continue
+ parsed = avbase.talent_profile(html)
+ if parsed is None:
+ pages.forget(url)
+ notes.append(f"{key} {avbase.UNRECOGNISED}")
+ continue
+ asked += 1
+ if not alias._anchored(parsed["names"], mine):
+ notes.append(f"{key} 的页上没有数据库里她的名字:{'、'.join(parsed['names'])}")
+ elif parsed["talents"] > 1:
+ notes.append(f"站上叫 {key} 的不止一位")
+ else:
+ return (url, parsed), notes, asked
+ return None, notes, asked
+
+
def _visit_avwikidb(contract, pages, entity_id: int, names, state: dict, batch: str, base: dict,
reports: dict, rows: list) -> int:
"""avwikidb:从她的作品页定编号,再读女优页做交叉核对。返回冲突条数。"""
@@ -417,7 +560,8 @@ def _visit_avwikidb(contract, pages, entity_id: int, names, state: dict, batch:
actor = {}
if actor and actor.get("id") != actor_ref:
actor = {}
- found = conflicts(state.get("profile") or profile, actor)
+ held = state.get("profile_site") or (AVBASE if _avbase_row(profile) else MINNANO)
+ found = conflicts(state.get("profile") or profile, actor, held=held)
with contract.database.write_transaction() as connection:
if not _alive(connection, entity_id, canonical):
reports[AVWIKIDB] = f"{MISS}:数据库里这条实体已经变了"
@@ -431,10 +575,15 @@ def _avwikidb_state(contract, entity_id: int, refs: list[str]) -> tuple[dict | N
"""(minnano-av 资料, 已绑编号的资料是否未过期)。"""
with contract.database.read_connection() as connection:
profile = read_profile(connection, entity_id)
- synced = connection.execute(
- "SELECT max(last_synced_at) FROM entity_external_ref WHERE entity_id=? AND provider=?",
- (entity_id, AVWIKIDB)).fetchone()[0] if refs else None
- return profile, bool(refs) and _fresh(_parse_stamp(synced))
+ synced = _synced(connection, entity_id, AVWIKIDB) if refs else None
+ return profile, bool(refs) and _fresh(synced)
+
+
+def _synced(connection: sqlite3.Connection, entity_id: int, provider: str) -> datetime | None:
+ """这一站在她名下的编号最近一次取回资料的时间。"""
+ return _parse_stamp(connection.execute(
+ "SELECT max(last_synced_at) FROM entity_external_ref WHERE entity_id=? AND provider=?",
+ (int(entity_id), provider)).fetchone()[0])
def _locate_actor(pages, names, state: dict, profile: dict | None, base: dict, reports: dict,
@@ -476,10 +625,7 @@ def _record_bind(url: str, verdict: str, work: str, actor: dict, found: list[dic
"detail": detail if verdict == BIND else "编号已属另一条实体"})
if verdict != BIND:
return 0
- for item in found:
- rows.append({**base, "site": AVWIKIDB, "page": url, "action": CONFLICT, "batch": batch,
- "detail": f"{item['field']}:minnano-av {item[MINNANO]},"
- f"avwikidb {item[AVWIKIDB]};资料表不改"})
+ rows.extend(_conflict_rows(url, AVWIKIDB, found, batch, base))
return len(found)
diff --git a/src/peach/sources/avbase.py b/src/peach/sources/avbase.py
index b67072986..6a3efa890 100644
--- a/src/peach/sources/avbase.py
+++ b/src/peach/sources/avbase.py
@@ -9,6 +9,10 @@
它不给时长,`runtime` 留空。拒绝访问时回的是 Cloudflare 验证页,状态码可能是 403,也可能是 200:
403 由 `SourceTransport` 整站冷却,200 的那张由 `parse` 认成 `cloudflare_challenge`,经 `holding()`
进同一份冷却记录(上限 `scraping_access.SOURCES['avbase']['blocked_pause']`)。
+
+女优页 `/talents/<名字>`(2026-11-04 实测)也是 Next.js 页,`props.pageProps.talent` 是这位:`actors[]`
+是站上归到她名下的全部名义,`meta.basic_info` 是社区编辑的资料。补女优资料后继拿它作 minnano-av 的
+备援(ADR-0136),解析在 `talent_profile`;名字站上没有时回 404。
"""
from __future__ import annotations
@@ -120,3 +124,98 @@ class AVBaseSource(SiteSource):
director=first(info("director")),
release_date=listing_date(products[0].get("date") if products else work.get("min_date")),
cover_urls=_covers(code, products))
+
+
+# -- 女优页 ------------------------------------------------------------------
+
+TALENT_PAGE = "https://www.avbase.net/talents/{name}"
+_BLOOD_TYPES = frozenset({"A", "B", "O", "AB"})
+_CUP = re.compile(r"[A-Z]{1,2}")
+_FIRST_NUMBER = re.compile(r"\d+")
+
+
+def talent_url(name: str) -> str:
+ return TALENT_PAGE.format(name=urllib.parse.quote(name, safe=""))
+
+
+def _page_props(html: str) -> dict | None:
+ found = _NEXT_DATA.search(html or "")
+ try:
+ props = json.loads(found.group(1))["props"]["pageProps"] if found else None
+ except (ValueError, KeyError, TypeError):
+ return None
+ return props if isinstance(props, dict) else None
+
+
+def compact_talent_page(html: str) -> str:
+ """只留女优页里解析会读到的那两项,再包回 `__NEXT_DATA__`;认不出的页原样交回。
+
+ 整页有 650~750 KB,多半是嵌在里面的作品表,补女优资料的页面缓存按人一页,整页存下来
+ 一千位就是六七百 MB。验证页、404 页没有 `talent`,原样交回,撞墙判定照常看得到它们。
+ """
+ props = _page_props(html)
+ if props is None or not isinstance(props.get("talent"), dict):
+ return html
+ kept = {"talent": props["talent"],
+ "talents": [{"id": item.get("id")} for item in props.get("talents") or []
+ if isinstance(item, dict)]}
+ data = json.dumps({"props": {"pageProps": kept}}, ensure_ascii=False).replace("</", "<\\/")
+ return f'<script id="__NEXT_DATA__" type="application/json">{data}</script>'
+
+
+def _date(value: object) -> str | None:
+ from datetime import date
+
+ text = str(value or "").strip()
+ try:
+ return date.fromisoformat(text).isoformat() if len(text) == 10 else None
+ except ValueError:
+ return None
+
+
+def _centimetres(value: object) -> int | None:
+ """`159`、`159.5` 取整数部分;空串、`0` 与没有数字的都是没填。"""
+ found = _FIRST_NUMBER.search(str(value or ""))
+ return int(found.group()) or None if found else None
+
+
+def _text(value: object) -> str | None:
+ return value.strip() or None if isinstance(value, str) else None
+
+
+def talent_profile(html: str) -> dict | None:
+ """女优页上的资料,列与 `minnano_av.PROFILE_COLUMNS` 对齐;不是女优页返回 None。
+
+ 另有 `talent_id`、`names`(`actors[]` 的名义,加上 `primary` 里不在其中的那个)、`talents`
+ (同名 talent 有几位)与 `raw`(`basic_info`、各名义的 FANZA 资料、SNS 原样)。
+
+ 资料只取 `meta.basic_info`。同一页 `actors[].meta.fanza` 另有一份官方资料,两份可以不一致
+ (三上悠亜 B90/H 对 B84/F,FANZA 那份是旧值),不拿它补空格,只留在 `raw`。出道年、活动期、
+ 出道作、博客与官网站上没有,留空。`primary.image_url` 是 DMM `actjpgs` 的 125×125,不作头像。
+ """
+ props = _page_props(html)
+ talent = props.get("talent") if props else None
+ if not isinstance(talent, dict) or talent.get("id") is None:
+ return None
+ meta = talent.get("meta") if isinstance(talent.get("meta"), dict) else {}
+ basic = meta.get("basic_info") if isinstance(meta.get("basic_info"), dict) else {}
+ actors = [actor for actor in talent.get("actors") or [] if isinstance(actor, dict)]
+ primary = talent.get("primary") if isinstance(talent.get("primary"), dict) else {}
+ names = list(dict.fromkeys(name for name in map(_named, [*actors, primary]) if name))
+ cup = str(basic.get("cup") or "").strip().upper()
+ blood = str(basic.get("blood_type") or "").strip().upper()
+ return {
+ "talent_id": str(talent["id"]), "names": names, "talents": len(props.get("talents") or []),
+ "kana": _text(primary.get("ruby")), "romaji": None,
+ "birth_date": _date(basic.get("birthday")),
+ "height_cm": _centimetres(basic.get("height")), "bust_cm": _centimetres(basic.get("bust")),
+ "cup": cup if _CUP.fullmatch(cup) else None,
+ "waist_cm": _centimetres(basic.get("waist")), "hip_cm": _centimetres(basic.get("hip")),
+ "blood_type": blood if blood in _BLOOD_TYPES else None,
+ "birthplace": _text(basic.get("prefectures")), "hobbies": _text(basic.get("hobby")),
+ "debut_year": None, "active_until": None, "debut_title": None, "debut_date": None,
+ "blog_url": None, "site_url": None, "tags": [],
+ "raw": {"basic_info": basic, "sns": meta.get("sns") or [],
+ "fanza": {_named(actor): actor["meta"].get("fanza") for actor in actors
+ if isinstance(actor.get("meta"), dict) and _named(actor)}},
+ }
diff --git a/tests/test_performer_profile_followup.py b/tests/test_performer_profile_followup.py
index 4c03e350e..782302ca4 100644
--- a/tests/test_performer_profile_followup.py
+++ b/tests/test_performer_profile_followup.py
@@ -27,6 +27,7 @@ from peach.performer_profiles import read_profile, write_profile
from peach.repository import LedgerDatabase
from peach.review_csv import read_rows
from peach.scraping_access import paused_until
+from peach.sources import avbase
from support.ledger import fresh_ledger
ROOT = Path(__file__).resolve().parents[1]
@@ -133,6 +134,34 @@ def avwikidb_movie(code: str, floor: str, cid: str, *cast: tuple[str, int],
"actor": [{"name": name, "fanzaAvActressId": number} for name, number in cast]}
+def avbase_talent(talent_id: int, *names: str, talents: int = 1, **basic) -> str:
+ """avbase 女优页:按 2026-11-04 实测的小笠原菜乃(talent 69214)裁剪,作品表只留一部占位。
+
+ `basic` 覆盖 `meta.basic_info` 的键;FANZA 那份资料故意写成另一组值,解析不该拿它。
+ """
+ info = {"birthday": "2005-04-12", "height": "159", "bust": "90", "waist": "53", "hip": "84",
+ "cup": "I", "hobby": "サウナ・映画鑑賞", "prefectures": "岡山県", "blood_type": None, **basic}
+ actors = [{"id": talent_id + index, "name": name, "ruby": "おがさわらなの",
+ "image_url": "https://pics.dmm.co.jp/mono/actjpgs/ogasawara_nano.jpg",
+ "meta": {"fanza": {"birthday": "2004-01-01", "height": "150", "bust": "80"}}}
+ for index, name in enumerate(names)]
+ talent = {"id": talent_id, "frozen": False, "actors": actors, "primary": actors[0],
+ "profile": "", "meta": {"sns": [{"id": "nano_ogasawara", "sns": "twitter"}],
+ "basic_info": info}}
+ props = {"talent": talent, "talents": [{"id": talent_id + n} for n in range(talents)],
+ "works": [{"work_id": "START-399", "title": "x" * 2000}], "total": 24}
+ data = json.dumps({"props": {"pageProps": props}, "page": "/talents/[name]"}, ensure_ascii=False)
+ data = data.replace("<", "\\u003c") # Next.js 写 `__NEXT_DATA__` 时把 `<` 转义成这样
+ return (f'<!DOCTYPE html><html lang="ja"><body><div id="__next"></div>'
+ f'<script id="__NEXT_DATA__" type="application/json">{data}</script></body></html>')
+
+
+# 站上没有这个名字:HTTP 404,Next.js 的错误页。
+AVBASE_MISSING = ('<!DOCTYPE html><html><head><title>404: This page could not be found</title></head><body>'
+ '<script id="__NEXT_DATA__" type="application/json">{"props":{"pageProps":'
+ '{"statusCode":404}},"page":"/_error"}</script></body></html>')
+
+
AVWIKIDB_SINGLE = avwikidb_works([
avwikidb_movie("DVAJ-495", "videoa", "dvaj00495", ("星野あかり", 11823), ("杉野綾子", 1025548)),
avwikidb_movie("EEA-266", "videoc", "eesthe266", ("杉野綾子", 1025548), unknown=True),
@@ -243,6 +272,39 @@ class ParsingTests(unittest.TestCase):
page = AVWIKIDB_SINGLE.replace('"movies":', '"singleCount": 2, "movies":')
self.assertEqual(avwikidb.single_count(page), 2)
+ def test_the_talent_page_fills_the_profile_columns_from_basic_info_only(self):
+ """同一页 FANZA 那份资料是另一组旧值,不拿它;出道年、博客这几项站上没有,留空。"""
+ found = avbase.talent_profile(avbase_talent(69214, "小笠原菜乃", "旧名なの"))
+ self.assertEqual({column: found[column] for column in minnano_av.PROFILE_COLUMNS}, {
+ "kana": "おがさわらなの", "romaji": None, "birth_date": "2005-04-12", "height_cm": 159,
+ "bust_cm": 90, "cup": "I", "waist_cm": 53, "hip_cm": 84, "blood_type": None,
+ "birthplace": "岡山県", "hobbies": "サウナ・映画鑑賞", "debut_year": None,
+ "active_until": None, "debut_title": None, "debut_date": None, "blog_url": None,
+ "site_url": None})
+ self.assertEqual((found["talent_id"], found["names"], found["talents"]),
+ ("69214", ["小笠原菜乃", "旧名なの"], 1))
+ self.assertEqual(found["raw"]["fanza"]["小笠原菜乃"]["height"], "150")
+
+ def test_blank_and_malformed_talent_values_stay_empty(self):
+ found = avbase.talent_profile(avbase_talent(
+ 1, "甲", birthday="", height="158.5", bust="0", cup="f", hip="-", blood_type="AB",
+ prefectures="", hobby=""))
+ self.assertEqual((found["birth_date"], found["height_cm"], found["bust_cm"], found["cup"],
+ found["hip_cm"], found["blood_type"], found["birthplace"], found["hobbies"]),
+ (None, 158, None, "F", None, "AB", None, None))
+ self.assertIsNone(avbase.talent_profile(avbase_talent(1, "甲", birthday="2005-02-30"))
+ ["birth_date"])
+
+ def test_a_missing_name_page_is_not_a_talent(self):
+ self.assertIsNone(avbase.talent_profile(AVBASE_MISSING))
+
+ def test_the_cached_talent_page_keeps_only_what_the_parser_reads(self):
+ page = avbase_talent(69214, "小笠原菜乃", hobby="</script>")
+ small = avbase.compact_talent_page(page)
+ self.assertEqual(avbase.talent_profile(small), avbase.talent_profile(page))
+ self.assertNotIn("START-399", small)
+ self.assertEqual(avbase.compact_talent_page(AVBASE_MISSING), AVBASE_MISSING)
+
def test_romaji_compares_word_order_free(self):
self.assertEqual(avwikidb.romaji_key("Hikaru Minazuki"), avwikidb.romaji_key("Minazuki Hikaru"))
self.assertNotEqual(avwikidb.romaji_key("Hikaru Minazuki"), avwikidb.romaji_key("Hikari Minazuki"))
@@ -266,6 +328,7 @@ class Case(unittest.TestCase):
MINNANO_URL: (200, MINNANO_PROFILE)})
self.avwikidb = Transport({WORK_URL: (200, AVWIKIDB_WORK), ACTOR_URL: (200, AVWIKIDB_ACTOR)})
self.javdb = Transport({}, empty_search=javdb_search())
+ self.avbase = Transport({})
def entity(self, name: str, *aliases: str) -> int:
with self.database.write_transaction(notify=False) as connection:
@@ -310,6 +373,10 @@ class Case(unittest.TestCase):
return {followup.MINNANO: alias.MinnanoPages(
cache / "minnano", self.cooldown, self.minnano, limiter=NoWait(),
max_age=followup.REFRESH),
+ followup.AVBASE: alias.MinnanoPages(
+ cache / "avbase", self.cooldown, followup.TalentPages(self.avbase),
+ limiter=NoWait(), max_requests=alias.MAX_KEYS, source=followup.AVBASE,
+ max_age=followup.REFRESH),
followup.AVWIKIDB: alias.MinnanoPages(
cache / "avwikidb", self.cooldown, self.avwikidb, limiter=NoWait(),
source=followup.AVWIKIDB, max_age=followup.REFRESH),
@@ -506,6 +573,112 @@ class AvwikidbTests(Case):
self.assertEqual(followup.work_codes(connection, fc2), [])
+class AvbaseTests(Case):
+ """minnano-av 上没有她时,avbase 女优页补资料;有别的来源那一行时只记冲突(ADR-0136)。"""
+
+ NANO_URL = avbase.talent_url("小笠原菜乃")
+ MEGURI_URL = avbase.talent_url("美ノ嶋めぐり")
+
+ def test_she_is_missing_on_minnano_so_avbase_writes_the_row_and_binds_the_talent(self):
+ nano = self.entity("小笠原菜乃")
+ self.work(1, nano)
+ self.avbase.pages[self.NANO_URL] = (200, avbase_talent(69214, "小笠原菜乃"))
+ summary = self.run_followup(nano, run_id=5)
+ found = self.profile(nano)
+ self.assertEqual((found["birth_date"], found["height_cm"], found["cup"]), ("2005-04-12", 159, "I"))
+ self.assertEqual((found["source"], found["source_url"]), (f"{followup.SOURCE}@5", self.NANO_URL))
+ number, metadata = self.refs(nano)[followup.AVBASE]
+ self.assertEqual((number, metadata["batch"], metadata["names"]),
+ ("69214", f"{followup.SOURCE}@5", ["小笠原菜乃"]))
+ self.assertTrue(summary["landed"])
+ self.assertEqual({row["action"] for row in self.review() if row["site"] == followup.AVBASE},
+ {followup.BIND, followup.WRITE})
+ cached = next((self.generated / "provider-cache" / "avbase").glob("*.json")).read_text(encoding="utf-8")
+ self.assertNotIn("START-399", cached, "缓存里只留裁过的那两项")
+
+ def test_an_alias_key_is_tried_after_a_404(self):
+ nano = self.entity("小笠原菜乃", "旧名なの")
+ self.work(1, nano)
+ self.avbase.pages[self.NANO_URL] = (404, AVBASE_MISSING)
+ self.avbase.pages[avbase.talent_url("旧名なの")] = (200, avbase_talent(69214, "旧名なの"))
+ self.run_followup(nano)
+ self.assertEqual(self.refs(nano)[followup.AVBASE][0], "69214")
+
+ def test_a_minnano_row_is_kept_and_only_the_disagreement_is_recorded(self):
+ meguri = self.entity("美ノ嶋めぐり")
+ self.work(1, meguri)
+ self.ref(meguri, alias.MINNANO, "387589")
+ self.avbase.pages[self.MEGURI_URL] = (200, avbase_talent(
+ 47000, "美ノ嶋めぐり", birthday="2001-12-09", height="156"))
+ summary = self.run_followup(meguri)
+ found = self.profile(meguri)
+ self.assertEqual((found["birth_date"], found["source_url"]), ("2001-12-08", MINNANO_URL))
+ metadata = self.refs(meguri)[followup.AVBASE][1]
+ self.assertEqual(metadata["conflicts"], [
+ {"field": "birth_date", alias.MINNANO: "2001-12-08", followup.AVBASE: "2001-12-09"}])
+ self.assertEqual(summary["conflicts"], 1)
+ self.assertIn("birth_date:minnano-av 2001-12-08,avbase 2001-12-09;资料表不改",
+ [row["detail"] for row in self.review()])
+
+ def test_an_avbase_row_does_not_keep_minnano_away(self):
+ """avbase 补的一行不算 minnano-av 的「未过期」:她后来上了 minnano-av,下一轮整行换成那边的。"""
+ meguri = self.entity("美ノ嶋めぐり")
+ self.work(1, meguri)
+ self.avbase.pages[self.MEGURI_URL] = (200, avbase_talent(47000, "美ノ嶋めぐり"))
+ self.minnano.pages.pop(minnano_av.search_url("美ノ嶋めぐり"))
+ self.run_followup(meguri, run_id=7)
+ self.assertEqual(self.profile(meguri)["source_url"], self.MEGURI_URL)
+ self.ref(meguri, alias.MINNANO, "387589")
+ self.run_followup(meguri, run_id=8)
+ found = self.profile(meguri)
+ self.assertEqual((found["source_url"], found["birth_date"]), (MINNANO_URL, "2001-12-08"))
+ self.assertEqual(self.avbase.calls, [self.MEGURI_URL], "avbase 编号已绑、未过期,第二轮不再问")
+
+ def test_a_name_missing_everywhere_is_a_miss_not_unfetched(self):
+ nano = self.entity("小笠原菜乃")
+ self.work(1, nano)
+ summary = self.run_followup(nano)
+ self.assertTrue(summary["sites"][followup.AVBASE].startswith(followup.MISS))
+ self.assertEqual(summary["outcome"], "哪一站都没对上她")
+ self.assertIsNone(self.profile(nano))
+
+ def assert_nothing_written(self, page: str) -> None:
+ nano = self.entity("小笠原菜乃")
+ self.work(1, nano)
+ self.avbase.pages[self.NANO_URL] = (200, page)
+ summary = self.run_followup(nano)
+ self.assertTrue(summary["sites"][followup.AVBASE].startswith(followup.MISS))
+ self.assertIsNone(self.profile(nano))
+ self.assertNotIn(followup.AVBASE, self.refs(nano))
+
+ def test_a_page_that_does_not_list_her_name_writes_nothing(self):
+ self.assert_nothing_written(avbase_talent(1, "別人"))
+
+ def test_a_name_shared_by_two_talents_writes_nothing(self):
+ self.assert_nothing_written(avbase_talent(1, "小笠原菜乃", talents=2))
+
+ def test_a_refusal_pauses_avbase_and_writes_nothing(self):
+ nano = self.entity("小笠原菜乃")
+ self.work(1, nano)
+ self.avbase.pages[self.NANO_URL] = (403, "")
+ summary = self.run_followup(nano)
+ self.assertTrue(summary["sites"][followup.AVBASE].startswith(followup.UNFETCHED))
+ self.assertTrue(paused_until(self.cooldown, followup.AVBASE))
+ self.assertIsNone(self.profile(nano))
+
+ def test_the_batch_reverts_the_row_and_the_talent_number(self):
+ nano = self.entity("小笠原菜乃")
+ self.work(1, nano)
+ self.avbase.pages[self.NANO_URL] = (200, avbase_talent(69214, "小笠原菜乃"))
+ self.run_followup(nano, run_id=5)
+ base = ["--db", str(self.db), "--logo-root", str(self.root / "logos"),
+ "--source", followup.SOURCE, "--apply", "--backup", str(self.root / "b.db")]
+ with contextlib.redirect_stdout(io.StringIO()):
+ self.assertEqual(load_revert().main(base), 0)
+ self.assertIsNone(self.profile(nano))
+ self.assertNotIn(followup.AVBASE, self.refs(nano))
+
+
class JavdbTests(Case):
def setUp(self):
super().setUp()