Skip to content

armgit / peach

Public Imported from GitHub
0

Peach: Local-first video metadata scraper and media manager.

docs(adr): ADR-0143 JavDB 刮削改用匿名接口

longmeidaoc1b36ccefe1d
diff --git a/docs/REUSE.md b/docs/REUSE.md
index 86c779270..b90c4e236 100644
--- a/docs/REUSE.md
+++ b/docs/REUSE.md
@@ -724,6 +724,7 @@ SFW 开关键可在偏好设置的「内容显示」里改。主键按 `Keyboard
- 页面、框体、操作条与选中项共用一套灰阶,操作条用 `--overlay-5`。
- javdb 属有码与素人链的社区档,候选保留 community 来源性质,不自动写真相字段。
- [JavDB Web UI 实证](reference-snapshots/javdb-web-ui-poc.md):库外作品详情复用舞台、人物身份、想要、`WantMagnets` 与云下载组件;`javdb_public.PublicAPI` 复用 `HttpxTransport`(httpx 0.28.1,BSD-3-Clause)、`HostLimiter`、Pillow 12.3.0 与标准库 MD5/XOR,独立映射公开协议。匿名详情、两页评论、6 条样本资源、封面与预览图像素已取得;全站完整性和不限流未证明。请求串行、3 秒间隔、6 小时有界缓存,评论最多 8 页,失败保留资料并冷却;发现复用持久资料边车和固定集合补齐,传输层预算由 `ContextVar` 隔离。未新增依赖或写入 ledger。
+- JavDB 刮削(ADR-0143)复用同一个 `PUBLIC_API`、`SiteRecord` 契约、`maker_writing`、`genre_taxonomy` 与社区封面印证,只新增接口资料投影和类别 id 对照。对照表由 `generate_javdb_genres.py` 把已有详情页快照与接口资料按位置对齐生成,沿用 `generate_genre_simplified.py` 的源码区块写法;未新增依赖或写入 ledger。
- 公开签名材料按请求头调用与签名计算式定位,不依赖压缩器生成的变量名,不执行来源脚本;常量长度、唯一赋值与组合结构均核对,格式不匹配时保留来源故障。FC2 搜索使用来源接受的商品号,返回资料仍按原始规范番号及作品 ID 严格核验;其他番号沿用原查询写法。
- 馆藏和库外样图共用 `SourcePicture` 与浏览器图片缓存。组件按作品保持身份,缓存命中在布局阶段揭示,网络图片经原生 `HTMLImageElement.decode()` 就绪后显示;等待时保留已显示的图片,晚到结果按当前地址核对。失败和重试仍按图片地址隔离,无新增依赖。
- 后台诊断导出复用 `BackgroundJob`、本机访问与同源检查、`BufferedFileResponse`,使用 Python 标准库 `zipfile`、`TemporaryFile` 和 `JSONEncoder.iterencode` 分块生成。取消使用线程事件,任务身份核对、同一管理器互斥和未完成文件回收由导出模块负责;不登记 ledger 任务,不新增依赖。普通诊断按压缩字节数决定是否合并刮削详情。
diff --git a/docs/SOURCING.md b/docs/SOURCING.md
index bdeb35ca3..2abb4a713 100644
--- a/docs/SOURCING.md
+++ b/docs/SOURCING.md
@@ -280,7 +280,7 @@ Wiki 与视频作品资料无关。
| 站 | 状态 | 位置 | 说明 |
| --- | --- | --- | --- |
| JavBus | 已套契约 | `sources/javbus.py` | 年龄门归 `auth_required`;404 与番号对不上归 `not_found` |
-| javdb | 已套契约 | `sources/javdb.py` | 搜索页与详情页两跳都在 `fetch` 里;登录页归 `auth_required`,详情页番号与搜索结果不一致归 `parse_error`;主机间隔 3 秒进配置 |
+| javdb | 已套契约 | `sources/javdb.py` | 刮削登记 `JavDBPublicSource`:匿名接口搜索与详情两跳,解析器名 `javdb-api`,类别经 `javdb_genres` 按 id 换回详情页原词,搜索无命中归 `not_found`、同番号多个作品归 `parse_error`、接口冷却抛 `SourcePaused`(ADR-0143)。详情页解析 `JavDBSource` 只留给视频预览:登录页归 `auth_required`,详情页番号与搜索结果不一致归 `parse_error`;主机间隔 3 秒进配置 |
| fc2club、freejavbt、airav、avsox | 已套契约(经桥) | `metadata_amane.py` | amane 的十六档 reason 经 `AMANE_REASONS` 一对一翻成契约细档,先套进 `SiteRecord` 再投影;`SITE_CONFIGS` 只持有站名、界面名与档位,主域与 Cookie 由 amane 管 |
| makers、prestige、faleno、dahlia、mgstage | 已套契约(经桥) | `metadata_amane.py` | 档位 `official`(`OFFICIAL_SITES`);`http_error` 带 401/403 经 `contract_reason` 归 `auth_required`;prestige 的 `release` 进 `extra['delivery_date']` |
| AVBase | 已套契约 | `sources/avbase.py` | 搜索页一跳,从 `__NEXT_DATA__` 里挑出本作与它自己的商品条目;搜索无命中归 `not_found`,Cloudflare 验证页归 `cloudflare_challenge`,别的结构对不上归 `parse_error`;不给时长,`runtime` 留空 |
@@ -437,12 +437,13 @@ minnano-av 也在 Cloudflare 后面,但对 HTTP 客户端是间歇拦截:202
### 库内采集的节奏
-- javdb 的主机间隔由用户定:`library_processing.SOURCE_INTERVALS` 里 `javdb.com` 与 `jdbstatic.com` 都是 3 秒,
- 两个主机要一起改。这份间隔由 `SOURCE_LIMITER` 整个进程共用:资料处理、想要作品资料采集、新作资料采集与订阅检查
- 同时跑时,问同一主机仍按一条队排。
+- javdb 的刮削走匿名接口(ADR-0143),不带 Cookie,不占 javdb.com 的出口配额。接口的 3 秒间隔、失败冷却与每问
+ 4 次请求的预算在 `javdb_public.PUBLIC_API`,与新作页、发现、待找磁链共用一条队;快照写进 `<生成目录>/jav-public`。
+- 详情页那一路(视频预览)的主机间隔由用户定:`library_processing.SOURCE_INTERVALS` 里 `javdb.com` 与
+ `jdbstatic.com` 都是 3 秒,两个主机要一起改。这份间隔由 `SOURCE_LIMITER` 整个进程共用,问同一主机仍按一条队排。
- **FC2 的商品号在三家里只问 javdb**(`community_catalog.community_sources_for`)。本机来源证据里 AVBase 与 JavBus
对 FC2 一份都没给过;javdb 能补约一半的演员与发行日,厂牌、标签、封面不给,所以它问得慢却砍不掉。
-- 一轮采集的长短约等于 javdb 请求数乘这个间隔(实测相差约一成)。`HostLimiter` 等的是「距上次满 N 秒」,别家的
+- 一轮采集的长短约等于 javdb 请求数乘接口间隔。`HostLimiter` 等的是「距上次满 N 秒」,别家的
往返落在这个窗口里被吸收,所以跳过两家省的是配额和撞 Cloudflare 的次数,不是时间;改成并行也省不出时间。
### 撞上 403 或验证页之后
diff --git a/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.md b/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.md
new file mode 100644
index 000000000..271da745f
--- /dev/null
+++ b/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.md
@@ -0,0 +1,56 @@
+# ADR-0143:JavDB 刮削改用匿名接口,类别按 id 换回详情页原词
+
+- 状态:已采纳
+- 日期:2026-11-04
+- 关系:刮削一侧取代 `sources/javdb.py` 详情页解析的取法;沿用 [ADR-0034](0034-lone-community-source-fills-and-javdb-settles.md) 的 javdb 结算地位、[ADR-0100](0100-censored-javdb-content-tags.md) 的有码内容标签与 [ADR-0052](0052-entity-results-land-when-evidence-is-sufficient.md) 的按来源撤回
+
+## 背景
+
+JavDB 刮削读 javdb.com 的搜索页与详情页,要用户贴 Cookie,受登录墙和按出口 IP 计的配额约束(403 封 3~7 天)。
+新作页、发现、订阅与待找磁链已经走公开 Web 前端的匿名接口(`peach.javdb_public.PUBLIC_API`),签名常量运行时
+从前端 JS 读取,不带 Cookie。
+
+2026-11-04 用 61 部配对作品(已有快照 18 部、实测 43 部,覆盖有码、无码、FC2、素人)对照两种取法投影出的候选值:
+
+- 原标题、发行日期、系列、发行、导演、片长逐部一致,女优姓名与演员 id 一致;
+- 接口的类别名是按作品给的译名,同一个(作品类型,类别 id)在不同作品上会写成不同的词(类别 `57` 有时是
+ `美臀`、有时是 `屁股`,`74` 有时是 `肛門・肛交`、有时是 `肛交`),带 `Accept-Language` 或 `locale` 参数都不变。
+ 直接交给 `genre_taxonomy`,ADR-0100 的自动重判会撤下样本里 15 行已落库标签,并把 `肛門・肛交` 落成「肛交」;
+- 接口里 FC2 的卖家写在 `maker_name`;259LUXU 等番号记作 `LUXU-xxx`,带前缀搜索返回空列表;
+- 两种取法列女优的次序有 5 部不同。
+
+比对表与取证在数据根之外的复核记录里,不进仓库。
+
+## 决策
+
+**一、刮削走匿名接口。** `SITE_SOURCES['javdb']` 登记 `JavDBPublicSource`:一问经 `PUBLIC_API.movie()` 取作品,
+`public_record` 投影成与详情页同形的 `SiteRecord`。来源名仍是 `javdb`,结算地位、链上位置与字段优先级不变;
+解析器名改为 `javdb-api`,候选与账本证据分得清取法。`source_url` 仍写 `https://javdb.com/v/<id>`。
+详情页解析 `JavDBSource` 只留给视频预览,那条路仍用 Cookie 和 `javdb` 的来源冷却;资源区与评论已走匿名接口。
+
+**二、类别按 id 换回详情页原词。** `javdb_genres.GENRES` 以 `<作品类型>:<类别 id>` 为键,值是详情页 `?locale=zh`
+的原词,由 `scripts/generate_javdb_genres.py` 把同一作品的详情页快照与接口资料按位置对齐生成;同一个 id 对到两个
+原词的整项不收。作品里有表外 id 时这一站这次不给标签:只交认得出的那几个会让 ADR-0100 撤掉那个类别此前落下的
+标签,交接口译名会按另一个词落库。接口给、详情页不显示的 `299`(`数位马赛克`)不投出,保持与既有落库一致。
+
+**三、番号身份按发行身份认。** 搜索词用 `release_identity`(去掉来源不记的 MGS 数字前缀),搜索结果、详情与已知
+身份的核对用 `same_release_code`。这一条同样作用于新作页、发现与资源。
+
+**四、失败分档。** 搜索无此番号归 `not_found`,进 7 天缺失记忆;同番号多个作品归 `parse_error`(`identity_ambiguous`);
+接口冷却期内抛 `SourcePaused`,本趟记作没轮到;其余未取得归 `network`。接口的问题不写 `javdb` 的来源冷却,
+接口自己的 3 秒间隔、失败冷却与每问 4 次请求的预算在 `PUBLIC_API`。间隔沿用用户为 javdb 定的 3 秒,但接口主机
+`jdforrepam.com` 与详情页主机不在一条队:`SOURCE_LIMITER` 只管 `javdb.com` 与 `jdbstatic.com`,接口请求与新作页、
+发现、找资源排 `PUBLIC_API` 自己的队。接口配额是否与网页分开计未取得。资料处理把快照写进 `<生成目录>/jav-public`,
+与新作页、发现共用,发行满一个月的作品不再重取。
+
+**五、字段写法。** FC2 作品(`type` 3)的 `maker_name` 是卖家,按 `peach.sources.fc2` 的约定进只作证据的 `label`,
+不进厂牌。女优按接口的明确性别字段认。同一来源再给的出演者只换了次序时沿用候选文件里上一份的次序,候选身份不变,
+已批准的那一行不会被重新摆回复核页。接口图床可能给 XOR 包装的封面,社区封面印证先按公开前端的包装解开。
+
+## 影响
+
+- 刮削不再需要 JavDB Cookie,也不占 javdb.com 的出口配额;接口的持续访问上限未做压测。
+- 单部仍是搜索加详情两次请求,已知来源 id 或快照命中时更少;刮削与新作页、发现共用 `PUBLIC_API` 的一条间隔。
+- 已落库的 javdb 值与新取法逐字段相同,不需要失效旧快照或重算;`sources/library-metadata/<番号>-javdb.json`
+ 下次刮削时按同一形状覆盖,旧快照仍是有效证据。撤回脚本按 `source` 与 `batch` 认行,与解析器名无关。
+- 表外类别的作品暂不出标签候选,补齐对照表后恢复;对照表覆盖要随新类别出现定期重生成。
diff --git a/src/peach/javdb_genres.py b/src/peach/javdb_genres.py
index d1a183c14..c9bae79c8 100644
--- a/src/peach/javdb_genres.py
+++ b/src/peach/javdb_genres.py
@@ -2,7 +2,7 @@
接口按作品给出类别名,是译名:同一个 (作品类型, 类别 id) 在不同作品上会写成不同的词
(`美臀` 与 `屁股`,`肛門・肛交` 与 `肛交`),不能直接交给 `genre_taxonomy`。这里按类别 id
-换回详情页 `?locale=zh` 的原词,词表与用户的 genre 决定照旧按原词工作(ADR-0100、ADR-0140)。
+换回详情页 `?locale=zh` 的原词,词表与用户的 genre 决定照旧按原词工作(ADR-0100、ADR-0143)。
对照由 `scripts/generate_javdb_genres.py` 把同一作品的详情页快照与接口资料按位置对齐生成;
同一个 id 对到两个原词的整项不收。`HIDDEN` 是接口给、详情页不显示的类别(如 `数位马赛克`),
diff --git a/src/peach/sources/__init__.py b/src/peach/sources/__init__.py
index 58c33915d..14738ba76 100644
--- a/src/peach/sources/__init__.py
+++ b/src/peach/sources/__init__.py
@@ -30,7 +30,7 @@ SITE_SOURCES: dict[str, type[SiteSource]] = {
JAVARCHIVE.name: JavArchiveSource,
AVBASE.name: AVBaseSource,
JAVBUS.name: JavBusSource,
- # 刮削走匿名接口(ADR-0140);详情页那一路的 `JavDBSource` 由视频预览直接取。
+ # 刮削走匿名接口(ADR-0143);详情页那一路的 `JavDBSource` 由视频预览直接取。
JAVDB.name: JavDBPublicSource,
**WIKI_SOURCES,
}
diff --git a/src/peach/sources/javdb.py b/src/peach/sources/javdb.py
index 13f01553d..7f4c0d192 100644
--- a/src/peach/sources/javdb.py
+++ b/src/peach/sources/javdb.py
@@ -9,7 +9,7 @@ MGS 的 5/23、标题带 MGS 附注、演员里有男优,各字段按 Peach
一部分页面要登录才给,回的是登入页而不是 401/403(`peach.javdb.LOGIN`),搜索页与详情页都要认。
-刮削不读详情页,走 `JavDBPublicSource` 的匿名接口(ADR-0140):不带 Cookie,不占 javdb.com
+刮削不读详情页,走 `JavDBPublicSource` 的匿名接口(ADR-0143):不带 Cookie,不占 javdb.com
的出口配额,字段投影成与详情页同形的记录。详情页解析留给视频预览。
"""
from __future__ import annotations