Peach: Local-first video metadata scraper and media manager.
docs(adr): ADR-0143 JavDB 刮削改用匿名接口
longmeidaoc1b36ccefe1d
diff --git a/docs/REUSE.md b/docs/REUSE.mdindex 86c779270..b90c4e236 100644--- a/docs/REUSE.md+++ b/docs/REUSE.md@@ -724,6 +724,7 @@ SFW 开关键可在偏好设置的「内容显示」里改。主键按 `Keyboard- 页面、框体、操作条与选中项共用一套灰阶,操作条用 `--overlay-5`。- javdb 属有码与素人链的社区档,候选保留 community 来源性质,不自动写真相字段。- [JavDB Web UI 实证](reference-snapshots/javdb-web-ui-poc.md):库外作品详情复用舞台、人物身份、想要、`WantMagnets` 与云下载组件;`javdb_public.PublicAPI` 复用 `HttpxTransport`(httpx 0.28.1,BSD-3-Clause)、`HostLimiter`、Pillow 12.3.0 与标准库 MD5/XOR,独立映射公开协议。匿名详情、两页评论、6 条样本资源、封面与预览图像素已取得;全站完整性和不限流未证明。请求串行、3 秒间隔、6 小时有界缓存,评论最多 8 页,失败保留资料并冷却;发现复用持久资料边车和固定集合补齐,传输层预算由 `ContextVar` 隔离。未新增依赖或写入 ledger。+- JavDB 刮削(ADR-0143)复用同一个 `PUBLIC_API`、`SiteRecord` 契约、`maker_writing`、`genre_taxonomy` 与社区封面印证,只新增接口资料投影和类别 id 对照。对照表由 `generate_javdb_genres.py` 把已有详情页快照与接口资料按位置对齐生成,沿用 `generate_genre_simplified.py` 的源码区块写法;未新增依赖或写入 ledger。- 公开签名材料按请求头调用与签名计算式定位,不依赖压缩器生成的变量名,不执行来源脚本;常量长度、唯一赋值与组合结构均核对,格式不匹配时保留来源故障。FC2 搜索使用来源接受的商品号,返回资料仍按原始规范番号及作品 ID 严格核验;其他番号沿用原查询写法。- 馆藏和库外样图共用 `SourcePicture` 与浏览器图片缓存。组件按作品保持身份,缓存命中在布局阶段揭示,网络图片经原生 `HTMLImageElement.decode()` 就绪后显示;等待时保留已显示的图片,晚到结果按当前地址核对。失败和重试仍按图片地址隔离,无新增依赖。- 后台诊断导出复用 `BackgroundJob`、本机访问与同源检查、`BufferedFileResponse`,使用 Python 标准库 `zipfile`、`TemporaryFile` 和 `JSONEncoder.iterencode` 分块生成。取消使用线程事件,任务身份核对、同一管理器互斥和未完成文件回收由导出模块负责;不登记 ledger 任务,不新增依赖。普通诊断按压缩字节数决定是否合并刮削详情。diff --git a/docs/SOURCING.md b/docs/SOURCING.mdindex bdeb35ca3..2abb4a713 100644--- a/docs/SOURCING.md+++ b/docs/SOURCING.md@@ -280,7 +280,7 @@ Wiki 与视频作品资料无关。| 站 | 状态 | 位置 | 说明 || --- | --- | --- | --- || JavBus | 已套契约 | `sources/javbus.py` | 年龄门归 `auth_required`;404 与番号对不上归 `not_found` |-| javdb | 已套契约 | `sources/javdb.py` | 搜索页与详情页两跳都在 `fetch` 里;登录页归 `auth_required`,详情页番号与搜索结果不一致归 `parse_error`;主机间隔 3 秒进配置 |+| javdb | 已套契约 | `sources/javdb.py` | 刮削登记 `JavDBPublicSource`:匿名接口搜索与详情两跳,解析器名 `javdb-api`,类别经 `javdb_genres` 按 id 换回详情页原词,搜索无命中归 `not_found`、同番号多个作品归 `parse_error`、接口冷却抛 `SourcePaused`(ADR-0143)。详情页解析 `JavDBSource` 只留给视频预览:登录页归 `auth_required`,详情页番号与搜索结果不一致归 `parse_error`;主机间隔 3 秒进配置 || fc2club、freejavbt、airav、avsox | 已套契约(经桥) | `metadata_amane.py` | amane 的十六档 reason 经 `AMANE_REASONS` 一对一翻成契约细档,先套进 `SiteRecord` 再投影;`SITE_CONFIGS` 只持有站名、界面名与档位,主域与 Cookie 由 amane 管 || makers、prestige、faleno、dahlia、mgstage | 已套契约(经桥) | `metadata_amane.py` | 档位 `official`(`OFFICIAL_SITES`);`http_error` 带 401/403 经 `contract_reason` 归 `auth_required`;prestige 的 `release` 进 `extra['delivery_date']` || AVBase | 已套契约 | `sources/avbase.py` | 搜索页一跳,从 `__NEXT_DATA__` 里挑出本作与它自己的商品条目;搜索无命中归 `not_found`,Cloudflare 验证页归 `cloudflare_challenge`,别的结构对不上归 `parse_error`;不给时长,`runtime` 留空 |@@ -437,12 +437,13 @@ minnano-av 也在 Cloudflare 后面,但对 HTTP 客户端是间歇拦截:202### 库内采集的节奏-- javdb 的主机间隔由用户定:`library_processing.SOURCE_INTERVALS` 里 `javdb.com` 与 `jdbstatic.com` 都是 3 秒,- 两个主机要一起改。这份间隔由 `SOURCE_LIMITER` 整个进程共用:资料处理、想要作品资料采集、新作资料采集与订阅检查- 同时跑时,问同一主机仍按一条队排。+- javdb 的刮削走匿名接口(ADR-0143),不带 Cookie,不占 javdb.com 的出口配额。接口的 3 秒间隔、失败冷却与每问+ 4 次请求的预算在 `javdb_public.PUBLIC_API`,与新作页、发现、待找磁链共用一条队;快照写进 `<生成目录>/jav-public`。+- 详情页那一路(视频预览)的主机间隔由用户定:`library_processing.SOURCE_INTERVALS` 里 `javdb.com` 与+ `jdbstatic.com` 都是 3 秒,两个主机要一起改。这份间隔由 `SOURCE_LIMITER` 整个进程共用,问同一主机仍按一条队排。- **FC2 的商品号在三家里只问 javdb**(`community_catalog.community_sources_for`)。本机来源证据里 AVBase 与 JavBus对 FC2 一份都没给过;javdb 能补约一半的演员与发行日,厂牌、标签、封面不给,所以它问得慢却砍不掉。-- 一轮采集的长短约等于 javdb 请求数乘这个间隔(实测相差约一成)。`HostLimiter` 等的是「距上次满 N 秒」,别家的+- 一轮采集的长短约等于 javdb 请求数乘接口间隔。`HostLimiter` 等的是「距上次满 N 秒」,别家的往返落在这个窗口里被吸收,所以跳过两家省的是配额和撞 Cloudflare 的次数,不是时间;改成并行也省不出时间。### 撞上 403 或验证页之后diff --git a/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.md b/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.mdnew file mode 100644index 000000000..271da745f--- /dev/null+++ b/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.md@@ -0,0 +1,56 @@+# ADR-0143:JavDB 刮削改用匿名接口,类别按 id 换回详情页原词++- 状态:已采纳+- 日期:2026-11-04+- 关系:刮削一侧取代 `sources/javdb.py` 详情页解析的取法;沿用 [ADR-0034](0034-lone-community-source-fills-and-javdb-settles.md) 的 javdb 结算地位、[ADR-0100](0100-censored-javdb-content-tags.md) 的有码内容标签与 [ADR-0052](0052-entity-results-land-when-evidence-is-sufficient.md) 的按来源撤回++## 背景++JavDB 刮削读 javdb.com 的搜索页与详情页,要用户贴 Cookie,受登录墙和按出口 IP 计的配额约束(403 封 3~7 天)。+新作页、发现、订阅与待找磁链已经走公开 Web 前端的匿名接口(`peach.javdb_public.PUBLIC_API`),签名常量运行时+从前端 JS 读取,不带 Cookie。++2026-11-04 用 61 部配对作品(已有快照 18 部、实测 43 部,覆盖有码、无码、FC2、素人)对照两种取法投影出的候选值:++- 原标题、发行日期、系列、发行、导演、片长逐部一致,女优姓名与演员 id 一致;+- 接口的类别名是按作品给的译名,同一个(作品类型,类别 id)在不同作品上会写成不同的词(类别 `57` 有时是+ `美臀`、有时是 `屁股`,`74` 有时是 `肛門・肛交`、有时是 `肛交`),带 `Accept-Language` 或 `locale` 参数都不变。+ 直接交给 `genre_taxonomy`,ADR-0100 的自动重判会撤下样本里 15 行已落库标签,并把 `肛門・肛交` 落成「肛交」;+- 接口里 FC2 的卖家写在 `maker_name`;259LUXU 等番号记作 `LUXU-xxx`,带前缀搜索返回空列表;+- 两种取法列女优的次序有 5 部不同。++比对表与取证在数据根之外的复核记录里,不进仓库。++## 决策++**一、刮削走匿名接口。** `SITE_SOURCES['javdb']` 登记 `JavDBPublicSource`:一问经 `PUBLIC_API.movie()` 取作品,+`public_record` 投影成与详情页同形的 `SiteRecord`。来源名仍是 `javdb`,结算地位、链上位置与字段优先级不变;+解析器名改为 `javdb-api`,候选与账本证据分得清取法。`source_url` 仍写 `https://javdb.com/v/<id>`。+详情页解析 `JavDBSource` 只留给视频预览,那条路仍用 Cookie 和 `javdb` 的来源冷却;资源区与评论已走匿名接口。++**二、类别按 id 换回详情页原词。** `javdb_genres.GENRES` 以 `<作品类型>:<类别 id>` 为键,值是详情页 `?locale=zh`+的原词,由 `scripts/generate_javdb_genres.py` 把同一作品的详情页快照与接口资料按位置对齐生成;同一个 id 对到两个+原词的整项不收。作品里有表外 id 时这一站这次不给标签:只交认得出的那几个会让 ADR-0100 撤掉那个类别此前落下的+标签,交接口译名会按另一个词落库。接口给、详情页不显示的 `299`(`数位马赛克`)不投出,保持与既有落库一致。++**三、番号身份按发行身份认。** 搜索词用 `release_identity`(去掉来源不记的 MGS 数字前缀),搜索结果、详情与已知+身份的核对用 `same_release_code`。这一条同样作用于新作页、发现与资源。++**四、失败分档。** 搜索无此番号归 `not_found`,进 7 天缺失记忆;同番号多个作品归 `parse_error`(`identity_ambiguous`);+接口冷却期内抛 `SourcePaused`,本趟记作没轮到;其余未取得归 `network`。接口的问题不写 `javdb` 的来源冷却,+接口自己的 3 秒间隔、失败冷却与每问 4 次请求的预算在 `PUBLIC_API`。间隔沿用用户为 javdb 定的 3 秒,但接口主机+`jdforrepam.com` 与详情页主机不在一条队:`SOURCE_LIMITER` 只管 `javdb.com` 与 `jdbstatic.com`,接口请求与新作页、+发现、找资源排 `PUBLIC_API` 自己的队。接口配额是否与网页分开计未取得。资料处理把快照写进 `<生成目录>/jav-public`,+与新作页、发现共用,发行满一个月的作品不再重取。++**五、字段写法。** FC2 作品(`type` 3)的 `maker_name` 是卖家,按 `peach.sources.fc2` 的约定进只作证据的 `label`,+不进厂牌。女优按接口的明确性别字段认。同一来源再给的出演者只换了次序时沿用候选文件里上一份的次序,候选身份不变,+已批准的那一行不会被重新摆回复核页。接口图床可能给 XOR 包装的封面,社区封面印证先按公开前端的包装解开。++## 影响++- 刮削不再需要 JavDB Cookie,也不占 javdb.com 的出口配额;接口的持续访问上限未做压测。+- 单部仍是搜索加详情两次请求,已知来源 id 或快照命中时更少;刮削与新作页、发现共用 `PUBLIC_API` 的一条间隔。+- 已落库的 javdb 值与新取法逐字段相同,不需要失效旧快照或重算;`sources/library-metadata/<番号>-javdb.json`+ 下次刮削时按同一形状覆盖,旧快照仍是有效证据。撤回脚本按 `source` 与 `batch` 认行,与解析器名无关。+- 表外类别的作品暂不出标签候选,补齐对照表后恢复;对照表覆盖要随新类别出现定期重生成。diff --git a/src/peach/javdb_genres.py b/src/peach/javdb_genres.pyindex d1a183c14..c9bae79c8 100644--- a/src/peach/javdb_genres.py+++ b/src/peach/javdb_genres.py@@ -2,7 +2,7 @@接口按作品给出类别名,是译名:同一个 (作品类型, 类别 id) 在不同作品上会写成不同的词(`美臀` 与 `屁股`,`肛門・肛交` 与 `肛交`),不能直接交给 `genre_taxonomy`。这里按类别 id-换回详情页 `?locale=zh` 的原词,词表与用户的 genre 决定照旧按原词工作(ADR-0100、ADR-0140)。+换回详情页 `?locale=zh` 的原词,词表与用户的 genre 决定照旧按原词工作(ADR-0100、ADR-0143)。对照由 `scripts/generate_javdb_genres.py` 把同一作品的详情页快照与接口资料按位置对齐生成;同一个 id 对到两个原词的整项不收。`HIDDEN` 是接口给、详情页不显示的类别(如 `数位马赛克`),diff --git a/src/peach/sources/__init__.py b/src/peach/sources/__init__.pyindex 58c33915d..14738ba76 100644--- a/src/peach/sources/__init__.py+++ b/src/peach/sources/__init__.py@@ -30,7 +30,7 @@ SITE_SOURCES: dict[str, type[SiteSource]] = {JAVARCHIVE.name: JavArchiveSource,AVBASE.name: AVBaseSource,JAVBUS.name: JavBusSource,- # 刮削走匿名接口(ADR-0140);详情页那一路的 `JavDBSource` 由视频预览直接取。+ # 刮削走匿名接口(ADR-0143);详情页那一路的 `JavDBSource` 由视频预览直接取。JAVDB.name: JavDBPublicSource,**WIKI_SOURCES,}diff --git a/src/peach/sources/javdb.py b/src/peach/sources/javdb.pyindex 13f01553d..7f4c0d192 100644--- a/src/peach/sources/javdb.py+++ b/src/peach/sources/javdb.py@@ -9,7 +9,7 @@ MGS 的 5/23、标题带 MGS 附注、演员里有男优,各字段按 Peach一部分页面要登录才给,回的是登入页而不是 401/403(`peach.javdb.LOGIN`),搜索页与详情页都要认。-刮削不读详情页,走 `JavDBPublicSource` 的匿名接口(ADR-0140):不带 Cookie,不占 javdb.com+刮削不读详情页,走 `JavDBPublicSource` 的匿名接口(ADR-0143):不带 Cookie,不占 javdb.com的出口配额,字段投影成与详情页同形的记录。详情页解析留给视频预览。"""from __future__ import annotations