Skip to content

armgit / peach

Public Imported from GitHub
0

Peach: Local-first video metadata scraper and media manager.

fix(downloads): 只卡在来源限流时照常整理,脚本可重试失败的整理

longmeidaoff4c4fade7a4
diff --git a/CHANGELOG.md b/CHANGELOG.md
index c83a1c876..1b9d50094 100644
--- a/CHANGELOG.md
+++ b/CHANGELOG.md
@@ -32,6 +32,7 @@ Removed / Fixed / Security。
### 修复
+- **采集**:云下载入库后的整理不再因为一个资料站限流或拒绝访问就整条失败、文件留在云下载目录:其余资料已经取到时照常整理,任务详情写明哪项等来源恢复后再采集。有码作品在片商官网已经给出标签时,JavDB 拒绝访问也不再算问题,先用官方标签(如 `MIAB-086`)。用户脚本可以直接重试失败的整理。
- **采集**:用户脚本浮卡标题的人物头像,在素人作品入库后不再变成两个人:馆藏里已经按资料站记下真名(如 `390JAC-059` 的夏希栗)时,详情页上的店铺艺名(れいか)不再另算一人;只有馆藏和资料都没有人物时才用页面上的出演者名。
- **桌面**:本机代理、加速器或安全软件改写了请求地址,或浏览器发出空来源时,首次设置不再报「请从 Peach 设置页提交」,配置页的保存也不再报「请从 Peach 配置页提交」;判断改以浏览器自己标注的同源信息为准,别的网站发来的提交照旧拒收。仍被拒绝时,诊断包会记下来源对不上的方式、浏览器标识、系统代理开关和默认浏览器,便于定位。
- **关注**:rule34video 作品里站方单列在 Characters 一组的角色(如 `harry potter (harry potter)`)记成角色,归到题材一排,不再和 `sex`、`doggystyle position` 混在内容标签里;站方没单列成角色的标签照旧算内容标签。站方事后把某个标签改成角色时,新抓到的作品一记上,已入库作品里的同名标签跟着改。已入库的条目用 `scripts/backfill_rule34video_characters.py` 重读详情页补上。
diff --git a/docs/JAV_BROWSER.md b/docs/JAV_BROWSER.md
index 6fa8ac808..73128aee6 100644
--- a/docs/JAV_BROWSER.md
+++ b/docs/JAV_BROWSER.md
@@ -44,6 +44,8 @@ Peach 配置页通过同源桥接页检测脚本版本和是否已为当前地
`GET /api/jav-browser/active` 无需番号,一次返回所有进行中的任务:浏览器队列里排队或搜索中的番号,以及带番号、仍在云下载或入库后整理未结束的下载任务,不论从哪里添加。最近 10 分钟内结束的任务带着终态保留在列表里,便于看到完成或失败。每项与状态接口同一结构,最多 200 项。
+`POST /api/jav-browser/postprocess` 接收 `{"code": "..."}`,重试这个番号入库后失败的整理,与任务中心的「重试整理」同一入口,返回状态接口同一结构;没有失败的整理时返回 400。
+
脚本通过专用令牌向 `POST /api/jav-browser/errors` 写入请求超时、连接失败、HTTP 拒绝和无效响应记录。记录只含发生时间、事件标识、脚本版本、站点标识、番号、操作类型、耗时和 HTTP 状态,不含令牌、账号、完整来源地址、页面正文或原始异常。每批最多 10 条、16 KiB,服务端每分钟最多接收 20 条并按事件标识去重;仅写本机 `errors-*.log`,随导出诊断包提供。脚本管理器暂存最多 20 条、保留 7 天,后续请求成功时按一分钟限频向原 Peach 地址补报;记录失败不重试添加,也不递归生成错误。
## 配置来源与显示条件
diff --git a/docs/OPERATIONS.md b/docs/OPERATIONS.md
index dd8982531..8cb9d7077 100644
--- a/docs/OPERATIONS.md
+++ b/docs/OPERATIONS.md
@@ -635,7 +635,7 @@ PikPak 官方核验通道使用「推送发现」中该媒体根对应的唯一
| 仅采集资料 | 检查已有证据 → 读取配套资料 → 重判 → 联网采集;不读取视频或抽帧 |
| 手动整理、维护脚本 | 执行整理和生成九宫格前检查;独立探测脚本在探测前后检查;整理预览与只读盘点保持只读 |
-探测沿用来源的计费与代理保护,不为垃圾检查额外读取媒体。探测后先接回能确定归属的个人记录,再重判垃圾。没有有效时长的视频只进复核。仅补预览限定本地来源;完整处理在关闭视频预览时跳过抽帧。失败任务保留检查点与问题记录,重试复用已登记资产、测量值与整理日志;资料或整理失败时不派发该下载的后继任务。
+探测沿用来源的计费与代理保护,不为垃圾检查额外读取媒体。探测后先接回能确定归属的个人记录,再重判垃圾。没有有效时长的视频只进复核。仅补预览限定本地来源;完整处理在关闭视频预览时跳过抽帧。失败任务保留检查点与问题记录,重试复用已登记资产、测量值与整理日志;资料或整理失败时不派发该下载的后继任务。资料采集的问题全是来源限流或拒绝访问时,其余资料已落库,文件照常整理,任务记为完成并在详情里写明哪项等来源恢复后重新采集;混有其他问题时照旧失败。有码作品的 JavDB 标签只用来换更细的类别:来源链这一趟已给出标签时,JavDB 取不到不算问题。
- 判断为垃圾的文件只会被移入回收站,不会直接删除。
- 点「不是垃圾」会记下这个文件的判断(可以撤销),它会出现在「已排除」视图里。这个判断只针对这一个文件,不会把整个域名或来源列入白名单。
diff --git a/docs/ROUTES.md b/docs/ROUTES.md
index d3a4ee2e0..3a74b5f07 100644
--- a/docs/ROUTES.md
+++ b/docs/ROUTES.md
@@ -114,7 +114,7 @@
设置分区可直接打开、刷新和用浏览器前进后退。偏好面板从当前页面打开时保留背景;配置分区复用配置页及其权限检查。配置分类导航停在搜索栏下方,切换分类时显示所选分区的开头。
-用户脚本通过专用令牌调用 `POST /api/jav-browser/errors`,仅接收白名单错误字段并写入本机日志;批次、体积、限频与诊断包范围见 [浏览器添加 JAV](JAV_BROWSER.md)。状态接口 `GET /api/jav-browser` 同时投影真实下载与整理进度,`GET /api/jav-browser/active` 以同一结构列出进行中与最近结束的任务,均不授予配置、账号或账本写入权限。
+用户脚本通过专用令牌调用 `POST /api/jav-browser/errors`,仅接收白名单错误字段并写入本机日志;批次、体积、限频与诊断包范围见 [浏览器添加 JAV](JAV_BROWSER.md)。状态接口 `GET /api/jav-browser` 同时投影真实下载与整理进度,`GET /api/jav-browser/active` 以同一结构列出进行中与最近结束的任务,均不授予配置、账号或账本写入权限。`POST /api/jav-browser/postprocess` 只能重试该番号已失败的整理,走任务中心同一入口。
`GET /api/client-updates` 要求应用鉴权,返回运行版本与构建标记、发行版检查结果、安装状态、用户脚本版本和自动补修状态,不触发外部检查。`GET /api/jav-browser/updates` 使用用户脚本专用令牌,无需番号,返回运行与发行版、脚本版本快照,不暴露补修明细。`POST /api/configuration/upgrade-repairs/retry` 限本机同源请求,重试失败项;`GET /api/configuration/upgrade-repairs/review` 限本机管理权限,下载 JSON 复核记录,无记录时返回 404。
diff --git a/src/peach/download_postprocess.py b/src/peach/download_postprocess.py
index 3128fa3d8..575608cf6 100644
--- a/src/peach/download_postprocess.py
+++ b/src/peach/download_postprocess.py
@@ -117,7 +117,12 @@ def _collect(contract, main: int, handle) -> dict:
current=int(state.get("checked") or 0), total=int(state.get("total") or 0),
label=str(state.get("stage") or TASK_LABEL)))
if state.get("status") == "failed":
- raise RuntimeError(str(state.get("error") or "资料采集失败"))
+ # 问题全是来源限流或拒绝访问时,其余资料已经落库,等的是那一站放开;文件照常整理,
+ # 不为一项暂缺的资料把整条下载卡在云下载目录里。
+ issues, paused = int(state.get("issue_count") or 0), int(state.get("paused_count") or 0)
+ if not issues or paused < issues:
+ raise RuntimeError(str(state.get("error") or "资料采集失败"))
+ state = {**state, "paused_pending": [str(row.get("message") or "") for row in state.get("issue_preview") or ()]}
return state
@@ -193,10 +198,12 @@ def run(contract, key: str, handle) -> dict:
store.postprocess(task_id, POSTPROCESS_FAILED,
detail=f"{type(error).__name__}: {error}")
raise
- store.postprocess(task_id, POSTPROCESS_COMPLETE,
- detail=(f"正片已绑定,资料已采集;整理跳过:{organized['skipped']}"
- if organized.get('skipped') else "正片已绑定,资料已采集并完成整理"),
- finished=iso(time.time()))
+ detail = (f"正片已绑定,资料已采集;整理跳过:{organized['skipped']}"
+ if organized.get('skipped') else "正片已绑定,资料已采集并完成整理")
+ pending = metadata.get('paused_pending')
+ if pending:
+ detail += ";部分资料等来源恢复后重新采集:" + ";".join(filter(None, pending))[:300]
+ store.postprocess(task_id, POSTPROCESS_COMPLETE, detail=detail, finished=iso(time.time()))
contract.cache_bust()
return {"task_id": task_id, "asset_id": main, "ads_isolated": isolated, 'probed': probed,
"metadata_candidates": int(metadata.get("candidates") or 0),
diff --git a/src/peach/jav_browser.py b/src/peach/jav_browser.py
index ec9fa2ba2..19b88111a 100644
--- a/src/peach/jav_browser.py
+++ b/src/peach/jav_browser.py
@@ -297,6 +297,15 @@ class JavBrowser:
"stage": "submitting" if code in self._submitting else state,
"message": row.get("message") or MESSAGES[state]}
+ def retry_postprocess(self, value: object) -> dict:
+ """重试这个番号入库后失败的整理,与任务中心的「重试整理」同一入口。"""
+ status = self.status(value)
+ task_id = status.get("task_id")
+ if not task_id or status["state"] != "ingested" or status.get("download", {}).get("postprocess_state") != "failed":
+ raise ValueError("这个番号没有失败的整理可以重试")
+ self.downloads.retry_postprocess(int(task_id))
+ return self.status(value)
+
def active(self) -> dict:
"""进行中与最近结束的任务,供用户脚本的各个窗口共享同一份进度。
diff --git a/src/peach/library_processing.py b/src/peach/library_processing.py
index 5da722154..4af812118 100644
--- a/src/peach/library_processing.py
+++ b/src/peach/library_processing.py
@@ -1754,12 +1754,16 @@ class _RemoteSession:
payload = self.provider().query(code, source, deadline=deadline)
except Exception as error:
_raise_task_failure(error)
+ # 链上官方来源这一趟已经给了标签时,JavDB 只是换一批更细的类别;取不到就先用官方标签,
+ # 和其他已有标签、不再问 JavDB 的作品一样,不算这部片的问题。
+ settled = 'tags' in _given_fields(entries)
if isinstance(error, DeadlineExceeded):
self.reset()
- issue(row, 'JavDB 标签在预算时间内未取得', action='querying_metadata', retryable=True)
+ if not settled:
+ issue(row, 'JavDB 标签在预算时间内未取得', action='querying_metadata', retryable=True)
elif is_missing(error):
self._record_miss(source, code)
- else:
+ elif not settled:
issue(row, 'JavDB 标签未取得:' + describe_failure(error),
action='querying_metadata', retryable=True, paused=source_paused(error),
diagnostics=_source_failure_details(error, code, 'querying_metadata', source=source))
diff --git a/src/peach/routes_jav_browser.py b/src/peach/routes_jav_browser.py
index d57d74df1..d195864cc 100644
--- a/src/peach/routes_jav_browser.py
+++ b/src/peach/routes_jav_browser.py
@@ -65,6 +65,13 @@ def people(request: Request, codes: str, performers: list[str] = Query(default=[
raise HTTPException(400, str(error)) from None
+def retry_postprocess(body: dict = Body(...), service=Depends(browser_client)):
+ try:
+ return JSONResponse(service.retry_postprocess(body.get("code")), headers={"Cache-Control": "no-store"})
+ except ValueError as error:
+ raise HTTPException(400, str(error)) from None
+
+
def add(body: dict = Body(...), service=Depends(browser_client)):
try:
return JSONResponse(service.add(body), headers={"Cache-Control": "no-store"})
@@ -107,6 +114,7 @@ def create_router(local_only) -> APIRouter:
router.add_api_route("/api/jav-browser/updates", updates, methods=["GET"])
router.add_api_route("/api/jav-browser/people", people, methods=["GET"])
router.add_api_route("/api/jav-browser", add, methods=["POST"])
+ router.add_api_route("/api/jav-browser/postprocess", retry_postprocess, methods=["POST"])
router.add_api_route("/api/jav-browser/errors", errors, methods=["POST"])
permissions = [Depends(require_auth), Depends(local_only)]
router.add_api_route("/api/configuration/jav-browser", settings, methods=["GET"], dependencies=permissions)
diff --git a/tests/test_downloads_jav_browser.py b/tests/test_downloads_jav_browser.py
index 982f2d83e..375faec1d 100644
--- a/tests/test_downloads_jav_browser.py
+++ b/tests/test_downloads_jav_browser.py
@@ -315,6 +315,25 @@ class BrowserTests(unittest.TestCase):
self.downloads.store.save(task)
self.assertEqual(self.status().json()["cause"], "magnet")
+ def test_script_can_retry_a_failed_organization_but_nothing_else(self):
+ self.add()
+ self.service.process_one()
+ task = self.downloads.store.get(self.status().json()["task_id"])
+ task.state, task.asset_id = dl.INGESTED, 42
+ self.downloads.store.save(task)
+ retry = lambda headers=None: self.client.post("/api/jav-browser/postprocess", json={"code": "ABC-123"},
+ headers=self.script_headers if headers is None else headers)
+ self.assertEqual(retry().status_code, 400)
+ self.downloads.store.postprocess(task.id, dl.POSTPROCESS_FAILED, detail="文件整理未完成")
+ self.assertEqual(retry({}).status_code, 401)
+ # 派发后继由任务中心同一入口负责,这里只核对交给了它。
+ with patch.object(self.downloads, "_dispatch_postprocess") as dispatch:
+ response = retry()
+ self.assertEqual(response.status_code, 200, response.text)
+ self.assertEqual(response.json()["state"], "ingested")
+ self.assertEqual(response.json()["download"]["postprocess_state"], dl.POSTPROCESS_PENDING)
+ self.assertEqual(dispatch.call_args.args[0].id, task.id)
+
def test_cloud_failure_is_visible_and_a_manual_retry_uses_existing_task(self):
self.remote.submit.side_effect = dl.DownloadError("config", "请更新网盘账号")
self.add()
diff --git a/tests/test_downloads_postprocess.py b/tests/test_downloads_postprocess.py
index 9c10eaf10..6ba46d106 100644
--- a/tests/test_downloads_postprocess.py
+++ b/tests/test_downloads_postprocess.py
@@ -54,6 +54,7 @@ class DownloadPostprocessTests(unittest.TestCase):
self.plan = patch.object(post.organize, 'build_plan', return_value=plan)
self.plan.start()
self.addCleanup(self.plan.stop)
+ self.collect_source = post._collect
collect = patch.object(post, '_collect', return_value={'candidates': 0})
collect.start()
self.addCleanup(collect.stop)
@@ -161,6 +162,30 @@ class DownloadPostprocessTests(unittest.TestCase):
self.assertEqual((task.postprocess_state, task.postprocess_detail), ('queued', '等待扫描与采集完成后继续'))
self.contract.task_runs.enqueue_followups.assert_not_called()
+ def test_collection_held_only_by_paused_sources_still_organizes_the_file(self):
+ """MIAB-086:其余资料已落库,只差一站拒绝访问;文件照常整理,详情写明哪项等来源恢复。"""
+ held = {'status': 'failed', 'error': '1 项都卡在来源限流上,等一会儿再跑一次。',
+ 'issue_count': 1, 'paused_count': 1,
+ 'issue_preview': [{'message': 'JavDB 标签未取得:来源拒绝访问'}]}
+ # 账本就在临时根下,配置的各目录都指回它。
+ config = SimpleNamespace(configured=True, directory=lambda name: self.root)
+ self.contract.cover_root = self.root / 'covers'
+ with patch.object(post.settings_file, 'active', return_value=config), \
+ patch.object(post, 'process_library', return_value=held):
+ state = self.collect_source(self.contract, self.asset_id, self.handle)
+ self.assertEqual(state['paused_pending'], ['JavDB 标签未取得:来源拒绝访问'])
+ with patch.object(post, '_collect', return_value=state):
+ result = self.run_task()
+ self.assertEqual(result['moved'], 1)
+ task = self.store.get(self.task.id)
+ self.assertEqual(task.postprocess_state, 'complete')
+ self.assertIn('JavDB 标签未取得:来源拒绝访问', task.postprocess_detail)
+ # 混有来源限流以外的问题时照旧失败,等人处理。
+ with patch.object(post.settings_file, 'active', return_value=config), \
+ patch.object(post, 'process_library', return_value={**held, 'issue_count': 2}):
+ with self.assertRaisesRegex(RuntimeError, '来源限流'):
+ self.collect_source(self.contract, self.asset_id, self.handle)
+
def test_metadata_or_organization_failure_never_dispatches_followups(self):
self.handle.run_id = 123
self.contract.task_runs = Mock()
diff --git a/tests/test_fastapi_api.py b/tests/test_fastapi_api.py
index 700391eac..fe52520cb 100644
--- a/tests/test_fastapi_api.py
+++ b/tests/test_fastapi_api.py
@@ -4185,6 +4185,7 @@ class RouteAuthContractTests(unittest.TestCase):
("GET", "/api/jav-browser/people"): routes_jav_browser.browser_client,
("POST", "/api/jav-browser"): routes_jav_browser.browser_client,
("POST", "/api/jav-browser/errors"): routes_jav_browser.browser_client,
+ ("POST", "/api/jav-browser/postprocess"): routes_jav_browser.browser_client,
}
cls.routes = {(",".join(sorted(route.methods)), route.path):
{dependency.call for dependency in route.dependant.dependencies}
diff --git a/tests/test_metadata_library.py b/tests/test_metadata_library.py
index ce7c8aa49..7deb99d63 100644
--- a/tests/test_metadata_library.py
+++ b/tests/test_metadata_library.py
@@ -2247,6 +2247,28 @@ class LibraryNfoTests(unittest.TestCase):
finally:
session.close()
+ def test_a_refused_javdb_tag_request_is_no_issue_when_the_chain_already_gave_tags(self):
+ """MIAB-086:片商官网这一趟已给标签,JavDB 拒绝访问只是换不到更细的类别,不记成问题。"""
+ from peach.library_processing import _MissCache, _RemoteSession, misses_path
+ from peach.scraping_access import SourcePaused
+ config = PeachConfig(self.root, self.root / 'config.toml', present=True)
+ provider = Mock()
+ provider.query.side_effect = SourcePaused('来源拒绝访问,暂停向它请求一段时间')
+ session = _RemoteSession(config, Mock(return_value=provider),
+ _MissCache(misses_path(config)), retrying=False)
+ issue = Mock()
+ options = dict(update=Mock(), issue=issue, deadline=time.monotonic() + 60)
+ official = [('makers', {'id': 'MIAB-086', 'genres': ['痴女', '护士']}, None)]
+ try:
+ self.assertEqual(session._preferred_tags({}, 'MIAB-086', ['tags'], ('makers', 'javdb'),
+ official, set(), **options), [])
+ issue.assert_not_called()
+ # 链上没给标签时照旧记成限流问题。
+ session._preferred_tags({}, 'MIAB-086', ['tags'], ('makers', 'javdb'), [], set(), **options)
+ self.assertTrue(issue.call_args.kwargs['paused'])
+ finally:
+ session.close()
+
@windows_ledger_roots
def test_a_cached_product_page_still_sends_the_row_to_the_mirror_for_its_cast(self):
"""缓存里只有官方商品页、那一页没有演员栏:这一行缺的演员照样去镜像站要,官方页不再问。"""