Peach: Local-first video metadata scraper and media manager.
feat(javdb): 匿名接口按主机冷却并备用 App 签名
longmeidao6db796000f82
diff --git a/docs/REUSE.md b/docs/REUSE.mdindex c4900f597..d6f8f2b79 100644--- a/docs/REUSE.md+++ b/docs/REUSE.md@@ -725,7 +725,8 @@ SFW 开关键可在偏好设置的「内容显示」里改。主键按 `Keyboard- javdb 属有码与素人链的社区档,候选保留 community 来源性质,不自动写真相字段。- [JavDB Web UI 实证](reference-snapshots/javdb-web-ui-poc.md):库外作品详情复用舞台、人物身份、想要、`WantMagnets` 与云下载组件;`javdb_public.PublicAPI` 复用 `HttpxTransport`(httpx 0.28.1,BSD-3-Clause)、`HostLimiter`、Pillow 12.3.0 与标准库 MD5/XOR,独立映射公开协议。匿名详情、两页评论、6 条样本资源、封面与预览图像素已取得;全站完整性和不限流未证明。请求串行、0.5 秒间隔、6 小时有界缓存,评论最多 8 页,失败保留资料并冷却;发现复用持久资料边车和固定集合补齐,传输层预算由 `ContextVar` 隔离。未新增依赖或写入 ledger。- JavDB 刮削(ADR-0144)复用同一个 `PUBLIC_API`、`SiteRecord` 契约、`maker_writing`、`genre_taxonomy` 与社区封面印证,只新增接口资料投影和类别 id 对照。对照表由 `generate_javdb_genres.py` 把已有详情页快照与接口资料按位置对齐生成,沿用 `generate_genre_simplified.py` 的源码区块写法;未新增依赖或写入 ledger。-- 公开签名材料按请求头调用与签名计算式定位,不依赖压缩器生成的变量名,不执行来源脚本;常量长度、唯一赋值与组合结构均核对,格式不匹配时保留来源故障。FC2 搜索使用来源接受的商品号,返回资料仍按原始规范番号及作品 ID 严格核验;其他番号沿用原查询写法。+- JavDB 接口主机与签名备援(ADR-0148)沿用 `PUBLIC_API` 的传输、`HostLimiter`、请求预算与冷却字段,只把冷却范围细到主机。镜像主机名与 App 签名格式是 javmoe(GPL-3.0)移植 MDCx 的协议事实,经 2026-11-05 本机实测核对,不复制其代码;未新增依赖或写入 ledger。+- 公开签名材料按请求头调用与签名计算式定位,不依赖压缩器生成的变量名,不执行来源脚本;常量长度、唯一赋值与组合结构均核对,格式不匹配或网页前端不可达时改用 App 签名材料(ADR-0148)。FC2 搜索使用来源接受的商品号,返回资料仍按原始规范番号及作品 ID 严格核验;其他番号沿用原查询写法。- 馆藏和库外样图共用 `SourcePicture` 与浏览器图片缓存。组件按作品保持身份,缓存命中在布局阶段揭示,网络图片经原生 `HTMLImageElement.decode()` 就绪后显示;等待时保留已显示的图片,晚到结果按当前地址核对。失败和重试仍按图片地址隔离,无新增依赖。- 后台诊断导出复用 `BackgroundJob`、本机访问与同源检查、`BufferedFileResponse`,使用 Python 标准库 `zipfile`、`TemporaryFile` 和 `JSONEncoder.iterencode` 分块生成。取消使用线程事件,任务身份核对、同一管理器互斥和未完成文件回收由导出模块负责;不登记 ledger 任务,不新增依赖。普通诊断按压缩字节数决定是否合并刮削详情。- 慢项跳过复用 `ProcessingControl` 的持久控制文件、`checkpoint` 和 `ActiveDeadline`,按任务及当前资产消费跳过指令;资料来源的逐项发布和失败项重试继续共用现行采集路径。前端共用 `Note`、`useAction` 与现有任务查询,常驻任务浮窗禁止滑动关闭,显式隐藏和恢复入口独立于任务状态。diff --git a/docs/SOURCING.md b/docs/SOURCING.mdindex d0d82995e..57cbb7d0f 100644--- a/docs/SOURCING.md+++ b/docs/SOURCING.md@@ -444,8 +444,12 @@ minnano-av 也在 Cloudflare 后面,但对 HTTP 客户端是间歇拦截:202### 库内采集的节奏- javdb 的刮削走匿名接口(ADR-0144),不带 Cookie,不占 javdb.com 的出口配额。接口间隔 0.5 秒由用户- 2026-11-05 定,实测依据见 ADR-0144;间隔、失败冷却与每问 4 次请求的预算在 `javdb_public.PUBLIC_API`,+ 2026-11-05 定,实测依据见 ADR-0144;间隔、失败冷却与每问 6 次请求的预算在 `javdb_public.PUBLIC_API`,与新作页、发现、待找磁链共用一条队;快照写进 `<生成目录>/jav-public`。+- 接口有三个主机(`javdb_public.API_HOSTS`,ADR-0148),按序用 `jdforrepam.com`、`apidd.czssdgz.com`、+ `apidd.spthgb.com`。一个主机连不上、回非 200 或回的不是 JSON,就只冷却这一个(403/429 冷却 15 分钟,其余+ 60 秒),同一请求交给下一家;三家都在冷却才整源停。签名常量从网页前端读不到时改用 App 那一套签名与请求参数,+ 一小时后再回头读网页前端。- 详情页那一路(视频预览)的主机间隔由用户定:`library_processing.SOURCE_INTERVALS` 里 `javdb.com` 与`jdbstatic.com` 都是 3 秒,两个主机要一起改。这份间隔由 `SOURCE_LIMITER` 整个进程共用,问同一主机仍按一条队排。- **FC2 的商品号在三家里只问 javdb**(`community_catalog.community_sources_for`)。本机来源证据里 AVBase 与 JavBusdiff --git a/docs/adr/0144-javdb-scraping-uses-the-anonymous-api.md b/docs/adr/0144-javdb-scraping-uses-the-anonymous-api.mdindex 1245e12fa..7f39bdd5a 100644--- a/docs/adr/0144-javdb-scraping-uses-the-anonymous-api.md+++ b/docs/adr/0144-javdb-scraping-uses-the-anonymous-api.md@@ -2,7 +2,7 @@- 状态:已采纳- 日期:2026-11-04-- 关系:刮削一侧取代 `sources/javdb.py` 详情页解析的取法;沿用 [ADR-0034](0034-lone-community-source-fills-and-javdb-settles.md) 的 javdb 结算地位、[ADR-0100](0100-censored-javdb-content-tags.md) 的有码内容标签与 [ADR-0052](0052-entity-results-land-when-evidence-is-sufficient.md) 的按来源撤回+- 关系:刮削一侧取代 `sources/javdb.py` 详情页解析的取法;沿用 [ADR-0034](0034-lone-community-source-fills-and-javdb-settles.md) 的 javdb 结算地位、[ADR-0100](0100-censored-javdb-content-tags.md) 的有码内容标签与 [ADR-0052](0052-entity-results-land-when-evidence-is-sufficient.md) 的按来源撤回;第五条的冷却范围由 [ADR-0148](0148-javdb-api-host-and-signature-fallback.md) 改为按接口主机## 背景diff --git a/docs/adr/0148-javdb-api-host-and-signature-fallback.md b/docs/adr/0148-javdb-api-host-and-signature-fallback.mdnew file mode 100644index 000000000..dd41442ae--- /dev/null+++ b/docs/adr/0148-javdb-api-host-and-signature-fallback.md@@ -0,0 +1,42 @@+# ADR-0148:JavDB 匿名接口按主机冷却,签名材料有备用++- 状态:已采纳+- 日期:2026-11-05+- 关系:修订 [ADR-0144](0144-javdb-scraping-uses-the-anonymous-api.md) 第五条「撞上 403/429 时接口整源冷却 15 分钟」;间隔、预算与快照复用不变++## 背景++匿名接口只依赖两个主机:签名常量从网页前端 `catembylegacy.fastcdn.dpdns.org` 读取,请求只发往 `jdforrepam.com`。+任何一个被墙、DNS 解析失败或宕机,JavDB 这一档就整源冷却,新作页、发现、找资源和刮削一起停。++另一个开源项目 javmoe(GPL-3.0)移植了 MDCx 的 JavDB App 适配:用写死的 App 签名材料,并按顺序尝试+`apidd.czssdgz.com`、`apidd.spthgb.com`、`jdforrepam.com` 三个主机。2026-11-05 经用户同意,在本机同一出口+实测:三个主机分别用网页签名和 App 签名,各做一次 `SSIS-589` 搜索和一次详情请求,共 12 个请求,全部 HTTP 200+且 `success: 1`。六组详情的作品 id、番号、类别数、预览图数、预告与封面主机都相同;镜像每次请求慢 0.25~0.45 秒。+搜索结果第一条在各组都一样,第二、三位的次序不固定。++镜像与 `jdforrepam.com` 是否共享按 IP 计的配额,只有撞上 403/429 才看得出来,实测没有取得。++## 决策++**一、接口主机按序使用、各自冷却。** `API_HOSTS` 依次为 `jdforrepam.com`、`apidd.czssdgz.com`、`apidd.spthgb.com`。+一个主机连接失败、回非 200 或回的不是 JSON 时,只冷却这一个主机(403/429 冷却 15 分钟,其余 60 秒),同一请求+交给下一家。三家都在冷却时才整源停,`paused_until` 取最早恢复的那一家。按用户 2026-11-05 的决定,镜像先当作+与主主机配额不共享处理。业务层的失败(`success` 不为 1、数据形状不对)仍整源冷却 60 秒:三家是同一份数据,换主机+答复不会变。++**二、签名材料有备用。** 网页前端连不上、或入口脚本里认不出签名计算式时,改用 App 那一套签名材料,并按实测通过的+形态一起发送设备参数、`Dart/3.5` 用户代理与 `accept-language: zh`。一小时后再回头读网页前端;网页前端那一路的+失败只冷却它自己,不让整源停。App 签名材料随 App 版本更新可能失效,所以只当第二来源,不替换运行时读取。++**三、每问预算放宽到 6 次请求。** 刮削一问原本是签名常量两次、搜索、详情共 4 次;冷启动时再换一次主机就超出。+多留两次给换主机。++## 影响++- 单个主机或网页前端出问题时,接口照常可用;镜像接替时每部片约多 0.5~1 秒。+- 如果镜像与主主机实际共享配额,撞上 403/429 后会在三家上各撞一次再整源停,比原来多两次被拒的请求,+ 之后照常冷却。出现这种情况时把第一条改回「403/429 整源冷却」。+- 视频预览的 `preview_video_url` 校验仍只认 `jdforrepam.com`;镜像给出的预告地址如果落在镜像主机上,这一部的预告+ 显示为不可用。未取得镜像返回的预告地址形态。+- 只借鉴主机名与签名格式这类协议事实,不复制 javmoe 的代码。diff --git a/src/peach/javdb_public.py b/src/peach/javdb_public.pyindex cedd6955f..ba436dc13 100644--- a/src/peach/javdb_public.py+++ b/src/peach/javdb_public.py@@ -24,12 +24,21 @@ from .jav_cache import DAY, PublicSnapshots, cache_lifetimefrom .javdb_identity import RULE, cache_key as identity_cache_key, current_evidenceWEB = "https://catembylegacy.fastcdn.dpdns.org"-API = "https://jdforrepam.com/api"+#: 接口主机按序使用(ADR-0148)。2026-11-05 实测三家对同一作品给出同一份详情,网页签名与 App 签名都收;+#: 镜像每次慢 0.25~0.45 秒,只在前一家冷却时接替。配额按各主机分开处理。+API_HOSTS = ("https://jdforrepam.com", "https://apidd.czssdgz.com", "https://apidd.spthgb.com")+#: 网页前端取不到签名时用的 App 签名材料与请求形态,按实测通过的那一组原样发送。+APP_SIGNATURE = ("lpw6vgqzsp", "71cf27bb3c0bcdf207b64abecddc970098c7421ee7203b9cdae54478478a199e"+ "7d5a6e1a57691123c1a931c057842fb73ba3b3c83bcd69c17ccf174081e3d8aa")+APP_QUERY = {"platform": "android", "app_channel": "official", "app_version": "official",+ "app_version_number": "1.9.35", "system_version": "13", "device_model": "Pixel 6",+ "device_name": "Pixel", "device_uuid": "1d26b2df-f042-5138-90b3-28980fe1d98a"}+APP_HEADERS = {"accept-language": "zh", "User-Agent": "Dart/3.5 (dart:io)"}PAGE_SIZE = 10MAX_REVIEW_PAGES = 8#: 资料请求的主机间隔,由用户 2026-11-05 定为 0.5 秒。同日实测:2 秒逐档降到 0.25 秒各 40 次,#: 再按 0.5 秒连发 600 次(5 分钟),全部 HTTP 200 且业务成功;更长时间的累计配额未测。-#: 撞上 403/429 时仍整源冷却 15 分钟(`_get`)。+#: 一个接口主机撞上 403/429 时冷却 15 分钟、换下一家,全部冷却才整源停(`_json`)。API_INTERVAL = 0.5_JS_IDENTIFIER = r'[A-Za-z_$][A-Za-z0-9_$]*'_CACHE_ROOT = ContextVar('jav_public_cache_root', default=None)@@ -145,6 +154,10 @@ class PublicSourcePaused(PublicSourceUnavailable):"""来源冷却期内不发请求。"""+class PublicHostFailed(PublicSourceUnavailable):+ """这一个主机没有答复或答复不可用;同协议的下一个主机可以接替。"""++class PublicBudgetExceeded(PublicSourceUnavailable):"""本轮匿名资料请求预算已用完。"""@@ -198,7 +211,9 @@ class PublicAPI:self.image_slots = threading.BoundedSemaphore(3)self.source_lock = threading.RLock()self.signature_parts: tuple[str, str] | None = None+ self.signature_app = Falseself.signature_until = 0.0+ self.host_paused: dict[str, float] = {}self.paused_until = 0.0self.image_paused_until = 0.0self.request_context = ContextVar("jav_public_request_budget", default=None)@@ -215,7 +230,20 @@ class PublicAPI:finally:self.request_context.reset(token)- def _get(self, url: str, *, signed=False, limit=2 * 1024 * 1024, image=False):+ def _pause(self, delay, *, image=False, host=None):+ until = self.clock() + delay+ if image:+ self.image_paused_until = until+ elif host:+ self.host_paused[host] = until+ if host in API_HOSTS and all(self.host_paused.get(name, 0.0) > self.clock() for name in API_HOSTS):+ self.paused_until = min(self.host_paused[name] for name in API_HOSTS)+ else:+ self.paused_until = until++ def _get(self, url: str, *, signed=False, limit=2 * 1024 * 1024, image=False, host=None):+ """`host` 给出时失败只冷却这个主机,抛 `PublicHostFailed` 交调用方换下一家。"""+ failed = PublicHostFailed if host else PublicSourceUnavailablepaused = self.image_paused_until if image else self.paused_untilif self.clock() < paused:raise PublicSourcePaused("图片来源暂时不可用,请稍后重试" if image else "作品资料来源暂时不可用,请稍后重试")@@ -231,6 +259,8 @@ class PublicAPI:middle, suffix = self._signature()digest = hashlib.md5((stamp + suffix).encode(), usedforsecurity=False).hexdigest()headers["jdsignature"] = f"{stamp}.{middle}.{digest}"+ if self.signature_app:+ headers.update(APP_HEADERS)if self.transport is None:self.transport = HttpxTransport()try:@@ -238,48 +268,66 @@ class PublicAPI:budget.requests += 1response = self.transport(HttpRequest("GET", url, headers), 15, limit)except Exception as error:- if image:- self.image_paused_until = self.clock() + 60- else:- self.paused_until = self.clock() + 60- raise PublicSourceUnavailable("作品资料未取得,请稍后重试") from error+ self._pause(60, image=image, host=host)+ raise failed("作品资料未取得,请稍后重试") from errorif budget:budget.bytes += len(response.body)if response.status != 200:- delay = 900 if response.status in (403, 429) else 60- if image:- self.image_paused_until = self.clock() + delay- else:- self.paused_until = self.clock() + delay- raise PublicSourceUnavailable("作品资料来源暂时不可用,请稍后重试")+ self._pause(900 if response.status in (403, 429) else 60, image=image, host=host)+ raise failed("作品资料来源暂时不可用,请稍后重试")return responsedef _signature(self) -> tuple[str, str]:if self.signature_parts and self.clock() < self.signature_until:return self.signature_parts- html = response_text(self._get(WEB + "/"))- entry = re.search(r'src="(/assets/index-[A-Za-z0-9_-]+\.js)"', html)- if not entry:- self.paused_until = self.clock() + 60- raise PublicSourceUnavailable("作品资料来源格式未识别")- js = response_text(self._get(WEB + entry[1]))- parts = public_signature_parts(js)+ try:+ parts = self._web_signature()+ except PublicHostFailed:+ parts = Noneif parts is None:- self.paused_until = self.clock() + 60- raise PublicSourceUnavailable("作品资料来源格式未识别")- self.signature_parts = parts- self.signature_until = self.clock() + 24 * 3600+ # 网页前端取不到签名时用 App 那一套,一小时后再回头读网页前端。+ self.signature_parts, self.signature_app = APP_SIGNATURE, True+ self.signature_until = self.clock() + 3600+ else:+ self.signature_parts, self.signature_app = parts, False+ self.signature_until = self.clock() + 24 * 3600return self.signature_parts+ def _web_signature(self) -> tuple[str, str] | None:+ if self.host_paused.get(WEB, 0.0) > self.clock():+ return None+ html = response_text(self._get(WEB + "/", host=WEB))+ entry = re.search(r'src="(/assets/index-[A-Za-z0-9_-]+\.js)"', html)+ parts = entry and public_signature_parts(response_text(self._get(WEB + entry[1], host=WEB)))+ if not parts:+ self._pause(60, host=WEB)+ return parts or None+def _json(self, path: str, query=None) -> dict:# 签名材料取齐后再领取 API 主机间隔,首个签名请求不占用两次间隔。self._signature()- response = self._get(API + path + ("?" + urlencode(query) if query else ""), signed=True)- try:- payload = json.loads(response.body)- except (ValueError, UnicodeError) as error:- self.paused_until = self.clock() + 60- raise PublicSourceUnavailable("作品资料来源格式未识别") from error+ if self.signature_app:+ query = {**APP_QUERY, **(query or {})}+ tail = "/api" + path + ("?" + urlencode(query) if query else "")+ attempted = False+ for host in API_HOSTS:+ if self.host_paused.get(host, 0.0) > self.clock():+ continue+ attempted = True+ try:+ response = self._get(host + tail, signed=True, host=host)+ except PublicHostFailed:+ continue+ try:+ payload = json.loads(response.body)+ break+ except (ValueError, UnicodeError):+ # 被劫持或改版的主机会回 200 的网页,换下一家。+ self._pause(60, host=host)+ else:+ if attempted:+ raise PublicSourceUnavailable("作品资料来源暂时不可用,请稍后重试")+ raise PublicSourcePaused("作品资料来源暂时不可用,请稍后重试")if not isinstance(payload, dict) or payload.get("success") != 1:self.paused_until = self.clock() + 60raise PublicSourceUnavailable("作品资料未取得,请稍后重试")diff --git a/src/peach/sources/javdb.py b/src/peach/sources/javdb.pyindex b1587d7af..b5a3552f6 100644--- a/src/peach/sources/javdb.py+++ b/src/peach/sources/javdb.py@@ -37,8 +37,8 @@ JAVDB = SiteConfig(name="javdb", label="javdb", provider="javdb-page",#: 冷却按这个名字记);解析器名另起,候选与账本证据分得清是哪一种取法。接口自己的间隔、冷却与#: 请求预算在 `peach.javdb_public`,这一问不经会话的传输。JAVDB_PUBLIC = dataclasses.replace(JAVDB, provider="javdb-api")-#: 一问的请求上限:签名常量两次(一天一次)、搜索、详情。-PUBLIC_REQUESTS = 4+#: 一问的请求上限:签名常量两次(一天一次)、搜索、详情,再留两次给换接口主机(ADR-0148)。+PUBLIC_REQUESTS = 6#: 会话没有动作截止时刻时,一问最多等这么久。PUBLIC_SECONDS = 90.0diff --git a/tests/test_javdb_public.py b/tests/test_javdb_public.pyindex 8088d5d74..129d24e7e 100644--- a/tests/test_javdb_public.py+++ b/tests/test_javdb_public.py@@ -1,4 +1,5 @@"""匿名协议、身份核对、图片包装与只读详情投影。"""+import hashlibimport ioimport jsonimport tempfile@@ -14,6 +15,7 @@ from PIL import Imagefrom peach.http import HttpResponsefrom peach.javdb_public import PublicAPI, PublicSourceUnavailable, decode_image, preview_video_url, public_signature_partsfrom peach.javdb_public import PublicBudgetExceeded, PublicNotFound, PublicRequestBudget, PublicSourcePaused, actor_gender+from peach.javdb_public import API_HOSTS, APP_HEADERS, APP_QUERY, APP_SIGNATURE, WEBfrom peach.web_jav_detail import (JAV_ACTOR_IMAGE_MAX_AGE, JAV_IMAGE_MAX_AGE, jav_image, q_jav_detail,q_jav_reviews, q_jav_resources)from peach.web_state import WebContract@@ -333,7 +335,73 @@ class PublicProtocolTests(unittest.TestCase):self.assertGreater(api.paused_until, api.clock())with self.assertRaises(PublicSourceUnavailable):api.movie('EXM-001')- self.assertEqual(transport.call_count, 1)+ self.assertEqual(transport.call_count, len(API_HOSTS))++ def test_blocked_api_host_cools_alone_and_the_next_host_answers(self):+ api = self.api()+ answer = api.transport+ def transport(request, *rest):+ if request.url.startswith(API_HOSTS[0]):+ self.requests.append(request)+ return HttpResponse(429, {}, b'')+ return answer(request, *rest)+ api.transport = transport+ self.assertEqual(api.movie('EXM-001')['id'], 'Exact')+ self.assertEqual(api.paused_until, 0.0)+ self.assertGreater(api.host_paused[API_HOSTS[0]], api.clock() + 800)+ before = len(self.requests)+ api.reviews('EXM-001', 1)+ later = [request.url for request in self.requests[before:]]+ self.assertTrue(later)+ self.assertFalse(any(url.startswith(API_HOSTS[0]) for url in later))+ self.assertTrue(all(url.startswith(API_HOSTS[1]) for url in later))++ def test_html_answer_from_a_host_moves_to_the_next_host(self):+ api = self.api()+ answer = api.transport+ def transport(request, *rest):+ if request.url.startswith(API_HOSTS[0]):+ self.requests.append(request)+ return HttpResponse(200, {}, b'<html>blocked</html>')+ return answer(request, *rest)+ api.transport = transport+ self.assertEqual(api.movie('EXM-001')['id'], 'Exact')+ self.assertGreater(api.host_paused[API_HOSTS[0]], api.clock())+ self.assertEqual(api.paused_until, 0.0)++ def test_web_signature_failure_signs_with_the_app_shape(self):+ api = self.api()+ answer = api.transport+ def transport(request, *rest):+ if request.url.startswith(WEB):+ self.requests.append(request)+ return HttpResponse(503, {}, b'')+ return answer(request, *rest)+ api.transport = transport+ self.assertEqual(api.movie('EXM-001')['id'], 'Exact')+ self.assertEqual(api.paused_until, 0.0)+ signed = [request for request in self.requests if '/api/' in request.url]+ self.assertTrue(signed)+ for request in signed:+ stamp, middle, digest = request.headers['jdsignature'].split('.')+ self.assertEqual(middle, APP_SIGNATURE[0])+ self.assertEqual(digest, hashlib.md5((stamp + APP_SIGNATURE[1]).encode()).hexdigest())+ self.assertEqual(request.headers['User-Agent'], APP_HEADERS['User-Agent'])+ query = parse_qs(urlsplit(request.url).query)+ self.assertEqual({key: values[0] for key, values in query.items() if key in APP_QUERY}, APP_QUERY)+ web_requests = sum(request.url.startswith(WEB) for request in self.requests)+ api.cache.clear()+ api.movie('EXM-001', refresh=True)+ self.assertEqual(sum(request.url.startswith(WEB) for request in self.requests), web_requests)++ def test_unrecognized_web_script_also_falls_back_to_the_app_signature(self):+ api = self.api()+ answer = api.transport+ api.transport = lambda request, *rest: (HttpResponse(200, {}, b'const changed=1;') if '/assets/' in request.url+ else answer(request, *rest))+ self.assertEqual(api.movie('EXM-001')['id'], 'Exact')+ self.assertTrue(api.signature_app)+ self.assertEqual(api.paused_until, 0.0)def test_reviews_request_page_and_enforce_budget(self):api = self.api()