Peach: Local-first video metadata scraper and media manager.
perf(javdb): 匿名接口间隔改为 0.5 秒
longmeidaoecc299b9d4b2
diff --git a/docs/JAV_DISCOVERY.md b/docs/JAV_DISCOVERY.mdindex f3ce67ec9..077a33920 100644--- a/docs/JAV_DISCOVERY.md+++ b/docs/JAV_DISCOVERY.md@@ -33,7 +33,7 @@排序支持口味、发行日期、来源评分、时长和番号,均可切换升降序。推荐档位显示在内容标签前:75 分起为「强烈推荐」,50 分起为「推荐」,25 分起为「值得看看」,其余为「探索」;未知读数显示「资料未取得」。口味分固定为偏好相关度乘以 100,不是喜欢概率,也不按列表缩放。悬停或键盘聚焦可查看推荐分、MMR 选择分、来源评分及各维度证据。口味排序对选集按同一推荐分升降序显示;其他字段排序缺失值排在末尾。-后台任务串行请求、间隔 3 秒;每轮最多 202 次 HTTP 请求、16 MiB 响应及 900 秒。页面显示进度,支持停止和重新读取。完成后只在同一固定集合过期时补齐,不自动启动下一批;停止或失败需要显式恢复。来源返回 403 或 429 时停止并冷却。编目边车只保留编目字段,不保存签名播放地址、资源链接或观看行为,不写入 ledger。+后台任务串行请求、间隔 0.5 秒;每轮最多 202 次 HTTP 请求、16 MiB 响应及 900 秒。页面显示进度,支持停止和重新读取。完成后只在同一固定集合过期时补齐,不自动启动下一批;停止或失败需要显式恢复。来源返回 403 或 429 时停止并冷却。编目边车只保留编目字段,不保存签名播放地址、资源链接或观看行为,不写入 ledger。## 外部读取的缓存范围@@ -81,7 +81,7 @@馆藏与库外作品共用按视口预留的详情画框。等待资料、切换横竖图和视频时保持画框高度;右侧正文与底部推荐各自在可用空间内滚动。缩略图条支持鼠标滚轮横向滚动。-公开图片使用三个下载槽位,同一图片请求共享结果,缓存命中不等待其他图片下载;图片 CDN 不使用资料 API 的请求间隔。资料 API 与图片 CDN 各自保留来源冷却,彼此的故障不阻塞另一种读取。资料 API 保留 3 秒间隔,图片保留来源主机校验、单次字节上限和 6 小时缓存。+公开图片使用三个下载槽位,同一图片请求共享结果,缓存命中不等待其他图片下载;图片 CDN 不使用资料 API 的请求间隔。资料 API 与图片 CDN 各自保留来源冷却,彼此的故障不阻塞另一种读取。资料 API 保留 0.5 秒间隔,图片保留来源主机校验、单次字节上限和 6 小时缓存。资源协议用文字「磁链」「ED2K」「网页链接」。标题和元数据占据资源区宽度,窄资源区的操作键在下方换行,宽资源区并列显示。字节容量复用馆藏 `fmtSize` 口径显示,有明确单位的容量按来源展示;纯数字且单位未取得时显示「大小未标注」,悬停可查看来源原值。复制和下载使用原始链接。diff --git a/docs/REUSE.md b/docs/REUSE.mdindex b90c4e236..eafbf356c 100644--- a/docs/REUSE.md+++ b/docs/REUSE.md@@ -455,7 +455,7 @@ FC2 卖家名册复用 `sources/fc2.py` 的 `label`、`seller_url` 来源契约关注页的创作者行与卡片头像、署名复用 `FollowAuthorLink` 和来源的唯一实体绑定,进入创作者资料页;卡片按实际发布者取身份。未建档作者沿用关注筛选。创作者行横滚访问全部作者。筛选条件与卡片悬停面留 16px;首页、关注页和资料页共用交集条。`useViewGlide` 复用 `ResizeObserver` 监听显隐与相邻控件尺寸,`moveGlidePane` 在重新落位时取消位移和形变动画,无新增依赖。-JAV 发现卡复用馆藏的 `data-media-card` 网格与悬停面、`coverImage` 封面取景、`cardRatio` 大小图比例和 `feedIdentity` 身份头像;筛选复用 `FilterGlassRows`、`FilterPill`、`Segments` 与 `SortKeys`。出演者引用由 `web_catalog.entity_ref` 提供图片版本与取景;标题保留两行,操作区贴底。发现查询复用口味汇总与 `related.rank_related` 的 IDF/MMR,输出相关度和实际选择分,支持口味、发行日期、来源评分、时长、番号排序。来源资料复用 `PublicAPI`、`BackgroundJob(runs=None)`、`fsutil.atomic_write_text` 与标准库 `ContextVar`;固定至多 100 部,真实 HTTP 预算 202 次、16 MiB、900 秒,3 秒串行间隔。资料边车有效期 6 小时、最多 2,048 条、失败冷却 15 分钟,完成或停止后由显式刷新续跑。`WantMagnets` 以 `queryUrl` 共用作品详情和想要清单的资源布局,按资源区容器宽度排列操作,缓存按来源分开,容量复用 `fmtSize`。JAV 与名册的静态搜索框复用 `islandSearchInput`。资料扩展见 [JAV 发现](JAV_DISCOVERY.md),无新增依赖。+JAV 发现卡复用馆藏的 `data-media-card` 网格与悬停面、`coverImage` 封面取景、`cardRatio` 大小图比例和 `feedIdentity` 身份头像;筛选复用 `FilterGlassRows`、`FilterPill`、`Segments` 与 `SortKeys`。出演者引用由 `web_catalog.entity_ref` 提供图片版本与取景;标题保留两行,操作区贴底。发现查询复用口味汇总与 `related.rank_related` 的 IDF/MMR,输出相关度和实际选择分,支持口味、发行日期、来源评分、时长、番号排序。来源资料复用 `PublicAPI`、`BackgroundJob(runs=None)`、`fsutil.atomic_write_text` 与标准库 `ContextVar`;固定至多 100 部,真实 HTTP 预算 202 次、16 MiB、900 秒,0.5 秒串行间隔。资料边车有效期 6 小时、最多 2,048 条、失败冷却 15 分钟,完成或停止后由显式刷新续跑。`WantMagnets` 以 `queryUrl` 共用作品详情和想要清单的资源布局,按资源区容器宽度排列操作,缓存按来源分开,容量复用 `fmtSize`。JAV 与名册的静态搜索框复用 `islandSearchInput`。资料扩展见 [JAV 发现](JAV_DISCOVERY.md),无新增依赖。JAV 作品详情与馆藏视频共用 `IdentityCell` 的头像、标识和首字回退,标题折叠复用 `useFoldedTitle`。厂牌大小写唯一匹配与 `sources.javdb.maker_writing` 的日英组合解析只用于来源身份投影,标识按规范名读取。评论、资源复用 `Disclosure` 和 `setCollapseOpen`;来源与评论评分共用按小数裁切填充的星星。桌面右栏以 `contain:size` 排除正文的固有高度贡献,媒体区决定框体高度,正文在右栏内滚动。写操作取 `/healthz` 的账本只读状态,与运行配置权限分别处理。图片切换由 `MediaCarousel` 同时服务关注、库外 JAV 与馆藏详情,提供环形翻页、横向缩略图和位置圆点。缩略图与圆点复用浏览器原生 `overflow-x:auto`、`wireHorizontalScroller`,选中项在切图、循环和容器缩窄时保持可见。缩略图使用 `IntersectionObserver` 按可见范围挂载,馆藏经 `/sample-thumb`,来源图片共享查询缓存,关注优先取附件小图;Swiper 14.4.0 留给灯箱。馆藏样张复用 `sample_images.detail_refs` 和 `/sample-image`,`/api/item` 只读本地序号、最多 30 项;查看图片暂停正片,返回保留位置。推荐分标签复用 BoardUI `Chip` 与共享 Tooltip。视频预览的 `mountPreviewPlayer` 复用已固定的 Video.js 10.2.0(Apache-2.0)、官方 HLS 媒体组件、`mountPlayerQualityControl`、`mountPlayerSeekPreview` 和 `mountPlayerSpinner`,安装共用控制条、设置、时间、音量与窄宽度折叠。来源给定的 HLS 直接由播放器请求;片源代理、馆藏 ID 和观看上报沿用各自入口。播放器生命周期由当前详情管理,异步加载完成前离开会取消挂载,切换与关闭会停止并销毁实例。@@ -723,7 +723,7 @@ SFW 开关键可在偏好设置的「内容显示」里改。主键按 `Keyboard- 页面、框体、操作条与选中项共用一套灰阶,操作条用 `--overlay-5`。- javdb 属有码与素人链的社区档,候选保留 community 来源性质,不自动写真相字段。-- [JavDB Web UI 实证](reference-snapshots/javdb-web-ui-poc.md):库外作品详情复用舞台、人物身份、想要、`WantMagnets` 与云下载组件;`javdb_public.PublicAPI` 复用 `HttpxTransport`(httpx 0.28.1,BSD-3-Clause)、`HostLimiter`、Pillow 12.3.0 与标准库 MD5/XOR,独立映射公开协议。匿名详情、两页评论、6 条样本资源、封面与预览图像素已取得;全站完整性和不限流未证明。请求串行、3 秒间隔、6 小时有界缓存,评论最多 8 页,失败保留资料并冷却;发现复用持久资料边车和固定集合补齐,传输层预算由 `ContextVar` 隔离。未新增依赖或写入 ledger。+- [JavDB Web UI 实证](reference-snapshots/javdb-web-ui-poc.md):库外作品详情复用舞台、人物身份、想要、`WantMagnets` 与云下载组件;`javdb_public.PublicAPI` 复用 `HttpxTransport`(httpx 0.28.1,BSD-3-Clause)、`HostLimiter`、Pillow 12.3.0 与标准库 MD5/XOR,独立映射公开协议。匿名详情、两页评论、6 条样本资源、封面与预览图像素已取得;全站完整性和不限流未证明。请求串行、0.5 秒间隔、6 小时有界缓存,评论最多 8 页,失败保留资料并冷却;发现复用持久资料边车和固定集合补齐,传输层预算由 `ContextVar` 隔离。未新增依赖或写入 ledger。- JavDB 刮削(ADR-0143)复用同一个 `PUBLIC_API`、`SiteRecord` 契约、`maker_writing`、`genre_taxonomy` 与社区封面印证,只新增接口资料投影和类别 id 对照。对照表由 `generate_javdb_genres.py` 把已有详情页快照与接口资料按位置对齐生成,沿用 `generate_genre_simplified.py` 的源码区块写法;未新增依赖或写入 ledger。- 公开签名材料按请求头调用与签名计算式定位,不依赖压缩器生成的变量名,不执行来源脚本;常量长度、唯一赋值与组合结构均核对,格式不匹配时保留来源故障。FC2 搜索使用来源接受的商品号,返回资料仍按原始规范番号及作品 ID 严格核验;其他番号沿用原查询写法。- 馆藏和库外样图共用 `SourcePicture` 与浏览器图片缓存。组件按作品保持身份,缓存命中在布局阶段揭示,网络图片经原生 `HTMLImageElement.decode()` 就绪后显示;等待时保留已显示的图片,晚到结果按当前地址核对。失败和重试仍按图片地址隔离,无新增依赖。@@ -735,7 +735,7 @@ SFW 开关键可在偏好设置的「内容显示」里改。主键按 `Keyboard- CloudDrive 引导用现有 `settings_file`、`platform.root_online`、`scan_location` 与 React 配置页,来源为 `local`、`115`、`pikpak`。挂载由用户安装的 CloudDrive 负责([官方帮助](https://www.clouddrive2.com/help.html):Windows 用盘符、macOS 用目录挂载点),Peach 不捆绑其二进制,挂载引导不依赖管理 API,路径处理用 `pathlib`、`os.scandir`、`tomllib`;表单、来源归属与扫描选择归 Peach。云下载和账号代理配置经官方 proto 子集(`downloads_clouddrive.proto`,version 1.1.2)走 gRPC,令牌存 CredentialStore,不用非官方 SDK(ADR-0089)。- 媒体目录校验沿用 `media.normalized_path` 的平台策略:Windows 用标准库 `os.path.abspath` 保留盘符,macOS 用 `Path.resolve` 解析文件系统链接。实现只依赖项目 Python 标准库(PSF 许可),不新增依赖;校验器独立于账本路径翻译与媒体仓储。映射盘转 UNC 的边界由注入文件系统解析结果的回归覆盖,首次设置的本地来源也验证配置保留盘符。直接输入 UNC 仍按盘符路径契约拒绝;真实 NAS 挂载需在目标机器验收。- 非 Windows 表单的内部路径由 `media_configuration.prepare_sources` 补齐,复用既有来源校验、配置写入和 `platform` 路径转换;不改数据库路径模型或执行迁移。标准库 [PureWindowsPath / PurePosixPath](https://docs.python.org/3.14/library/pathlib.html#pure-paths) 用于比较两种路径,[hashlib.sha256](https://docs.python.org/3.14/library/hashlib.html) 按来源与实际目录生成稳定候选前缀,已有配置和显式输入优先,冲突时换盘符。媒体库名称使用实际目录名,前端复用现有 `Disclosure` 和 `Input`,无新增依赖。-- JAV 入库资源查询与新作页共用 `javdb_public.PublicAPI.resources`:匿名 API 的作品身份核对、3 秒间隔、请求预算、来源冷却和按发行日期保存的快照,加上 `downloads.parse_magnet` 与 `sources.javdb.parse_comment_text`。磁链区的 `size` 是 MiB 整数,换算成带单位的文字后才进入体积过滤与排序。Peach 负责评论链接、协议分流和去重,不新增依赖。待找清单读磁链区与前 4 页评论,预算跟随本轮查询期限;作品身份歧义按来源原文报告。磁链可交现有云下载服务,ed2k 与其他网页链接提供复制。+- JAV 入库资源查询与新作页共用 `javdb_public.PublicAPI.resources`:匿名 API 的作品身份核对、0.5 秒间隔、请求预算、来源冷却和按发行日期保存的快照,加上 `downloads.parse_magnet` 与 `sources.javdb.parse_comment_text`。磁链区的 `size` 是 MiB 整数,换算成带单位的文字后才进入体积过滤与排序。Peach 负责评论链接、协议分流和去重,不新增依赖。待找清单读磁链区与前 4 页评论,预算跟随本轮查询期限;作品身份歧义按来源原文报告。磁链可交现有云下载服务,ed2k 与其他网页链接提供复制。- 磁力优先链复用同一套 `SourceTransport`、`HostLimitedTransport`、`downloads.parse_magnet` 与 Torznab 后备,不引入新的抓取运行时。manko.fun 的页面请求实际落到 `healertanker.com/swx`,响应 `data` 是 basE91 包装的 JSON;实现只移植该公开响应形态与编号精确匹配,不复用会话脚本。Sukebei 直接读搜索表格;JavBus、16mag、OneJAV、Free JAV Torrent 由现有自配 Prowlarr/Jackett 索引器续接。Akiba Online 与 Reddit 只作线索,不自动取磁力。候选按分辨率、做种、推广附件数量与正片体积排序;总文件数不再是一票否决,manko.fun 候选绕过水印门槛,其他来源只能标为待到盘检查。- 云下载后处理复用 `task_run` 后继串行、`process_library(retry_ids=...)`、`junk.isolate`、`organize.build_plan(asset_ids=...)`、SQLite backup 与整理批次日志。没有另造第二套刮削、垃圾词库或移动器。- `junk.scored_candidates` 统一复核与自动隔离的证据;`junk.isolate` 要求显式资产或来源目录,保护人工决定、个人记录、字幕与正片身份,写前重查证据,仅写可撤销的回收站状态。扫描、推送、媒体探测、资料处理、云下载与维护脚本共用该入口;页面只补展示成本与缩略图字段。复用当前树的词库、目录关系、`record_holders`、`LedgerDatabase` 与历史评分回归,使用 Python 标准库和现有 SQLite JSON 支持,无新增依赖、协议或媒体读取。流程顺序见[垃圾文件](OPERATIONS.md#垃圾文件)。diff --git a/docs/SOURCING.md b/docs/SOURCING.mdindex 2abb4a713..4cdfca9af 100644--- a/docs/SOURCING.md+++ b/docs/SOURCING.md@@ -437,8 +437,9 @@ minnano-av 也在 Cloudflare 后面,但对 HTTP 客户端是间歇拦截:202### 库内采集的节奏-- javdb 的刮削走匿名接口(ADR-0143),不带 Cookie,不占 javdb.com 的出口配额。接口的 3 秒间隔、失败冷却与每问- 4 次请求的预算在 `javdb_public.PUBLIC_API`,与新作页、发现、待找磁链共用一条队;快照写进 `<生成目录>/jav-public`。+- javdb 的刮削走匿名接口(ADR-0143),不带 Cookie,不占 javdb.com 的出口配额。接口间隔 0.5 秒由用户+ 2026-11-05 定,实测依据见 ADR-0143;间隔、失败冷却与每问 4 次请求的预算在 `javdb_public.PUBLIC_API`,+ 与新作页、发现、待找磁链共用一条队;快照写进 `<生成目录>/jav-public`。- 详情页那一路(视频预览)的主机间隔由用户定:`library_processing.SOURCE_INTERVALS` 里 `javdb.com` 与`jdbstatic.com` 都是 3 秒,两个主机要一起改。这份间隔由 `SOURCE_LIMITER` 整个进程共用,问同一主机仍按一条队排。- **FC2 的商品号在三家里只问 javdb**(`community_catalog.community_sources_for`)。本机来源证据里 AVBase 与 JavBusdiff --git a/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.md b/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.mdindex 271da745f..1b7808dcb 100644--- a/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.md+++ b/docs/adr/0143-javdb-scraping-uses-the-anonymous-api.md@@ -38,19 +38,23 @@ JavDB 刮削读 javdb.com 的搜索页与详情页,要用户贴 Cookie,受**四、失败分档。** 搜索无此番号归 `not_found`,进 7 天缺失记忆;同番号多个作品归 `parse_error`(`identity_ambiguous`);接口冷却期内抛 `SourcePaused`,本趟记作没轮到;其余未取得归 `network`。接口的问题不写 `javdb` 的来源冷却,-接口自己的 3 秒间隔、失败冷却与每问 4 次请求的预算在 `PUBLIC_API`。间隔沿用用户为 javdb 定的 3 秒,但接口主机-`jdforrepam.com` 与详情页主机不在一条队:`SOURCE_LIMITER` 只管 `javdb.com` 与 `jdbstatic.com`,接口请求与新作页、-发现、找资源排 `PUBLIC_API` 自己的队。接口配额是否与网页分开计未取得。资料处理把快照写进 `<生成目录>/jav-public`,-与新作页、发现共用,发行满一个月的作品不再重取。+接口自己的间隔、失败冷却与每问 4 次请求的预算在 `PUBLIC_API`。接口主机 `jdforrepam.com` 与详情页主机不在一条队:+`SOURCE_LIMITER` 只管 `javdb.com` 与 `jdbstatic.com`,接口请求与新作页、发现、找资源排 `PUBLIC_API` 自己的队。+资料处理把快照写进 `<生成目录>/jav-public`,与新作页、发现共用,发行满一个月的作品不再重取。-**五、字段写法。** FC2 作品(`type` 3)的 `maker_name` 是卖家,按 `peach.sources.fc2` 的约定进只作证据的 `label`,+**五、接口间隔 0.5 秒。** 用户 2026-11-05 定。同日在同一出口实测:间隔从 2 秒逐档降到 0.25 秒、每档 40 次,再按+0.5 秒连发 600 次(5 分钟),共 840 次请求全部 HTTP 200 且业务成功,延迟中位数约 230~260 毫秒。对照 javdb.com+网页每分钟 40~50 页就封 3~7 天,接口的限速宽得多。撞上 403/429 时接口整源冷却 15 分钟,刮削记作没轮到。+更长时间的累计配额未测;接口与新作页、发现、找资源共用出口,被限时这几处一起冷却。++**六、字段写法。** FC2 作品(`type` 3)的 `maker_name` 是卖家,按 `peach.sources.fc2` 的约定进只作证据的 `label`,不进厂牌。女优按接口的明确性别字段认。同一来源再给的出演者只换了次序时沿用候选文件里上一份的次序,候选身份不变,已批准的那一行不会被重新摆回复核页。接口图床可能给 XOR 包装的封面,社区封面印证先按公开前端的包装解开。## 影响-- 刮削不再需要 JavDB Cookie,也不占 javdb.com 的出口配额;接口的持续访问上限未做压测。-- 单部仍是搜索加详情两次请求,已知来源 id 或快照命中时更少;刮削与新作页、发现共用 `PUBLIC_API` 的一条间隔。+- 刮削不再需要 JavDB Cookie,也不占 javdb.com 的出口配额;按天累计的访问上限未测。+- 单部是搜索加详情两次请求,按 0.5 秒间隔约 1 秒一部;已知来源 id 或快照命中时更少。刮削与新作页、发现共用 `PUBLIC_API` 的一条间隔。- 已落库的 javdb 值与新取法逐字段相同,不需要失效旧快照或重算;`sources/library-metadata/<番号>-javdb.json`下次刮削时按同一形状覆盖,旧快照仍是有效证据。撤回脚本按 `source` 与 `batch` 认行,与解析器名无关。- 表外类别的作品暂不出标签候选,补齐对照表后恢复;对照表覆盖要随新类别出现定期重生成。diff --git a/src/peach/javdb_public.py b/src/peach/javdb_public.pyindex ca94942e9..cedd6955f 100644--- a/src/peach/javdb_public.py+++ b/src/peach/javdb_public.py@@ -27,6 +27,10 @@ WEB = "https://catembylegacy.fastcdn.dpdns.org"API = "https://jdforrepam.com/api"PAGE_SIZE = 10MAX_REVIEW_PAGES = 8+#: 资料请求的主机间隔,由用户 2026-11-05 定为 0.5 秒。同日实测:2 秒逐档降到 0.25 秒各 40 次,+#: 再按 0.5 秒连发 600 次(5 分钟),全部 HTTP 200 且业务成功;更长时间的累计配额未测。+#: 撞上 403/429 时仍整源冷却 15 分钟(`_get`)。+API_INTERVAL = 0.5_JS_IDENTIFIER = r'[A-Za-z_$][A-Za-z0-9_$]*'_CACHE_ROOT = ContextVar('jav_public_cache_root', default=None)_CACHE_READS = ContextVar('jav_public_cache_reads', default=None)@@ -184,7 +188,7 @@ class PublicAPI:cache_root=None, wallclock=time.time):self.transport = transportself.clock = clock- self.limiter = HostLimiter({}, default_interval=3.0, clock=clock, sleeper=sleeper)+ self.limiter = HostLimiter({}, default_interval=API_INTERVAL, clock=clock, sleeper=sleeper)self.lock = threading.RLock()self.cache: OrderedDict[str, tuple[float, object]] = OrderedDict()self.cache_root, self.wallclock = cache_root, wallclockdiff --git a/tests/test_javdb_public.py b/tests/test_javdb_public.pyindex c5907b1f3..8088d5d74 100644--- a/tests/test_javdb_public.py+++ b/tests/test_javdb_public.py@@ -184,6 +184,18 @@ class PublicProtocolTests(unittest.TestCase):api._get('https://javdb.com/example')limiter.assert_called_once()+ def test_api_requests_wait_half_a_second_apart(self):+ now, slept = [100.0], []++ def sleeper(seconds):+ slept.append(round(seconds, 3))+ now[0] += seconds++ api = PublicAPI(lambda *_: HttpResponse(200, {}, b'{}'), clock=lambda: now[0], sleeper=sleeper)+ api._get('https://jdforrepam.com/api/first')+ api._get('https://jdforrepam.com/api/second')+ self.assertEqual(slept, [0.5])+def test_gender_uses_only_explicit_supported_source_values(self):for value, expected in ((0, "female"), (1, "male"), (None, "unknown"),(False, "unknown"), (2, "unknown"), ("male", "male"), ("0", "unknown")):