Skip to content

armgit / peach

Public Imported from GitHub
0

Peach: Local-first video metadata scraper and media manager.

feat(jav-browser): 浏览器添加的任务结束后留在任务列表里,直到脚本确认

longmeidaob6876a6310ba
diff --git a/CHANGELOG.md b/CHANGELOG.md
index 402061243..f3d594648 100644
--- a/CHANGELOG.md
+++ b/CHANGELOG.md
@@ -27,6 +27,7 @@ Removed / Fixed / Security。
- **关注**:JAV 订阅多了 DMM / FANZA 这一路。订阅的女优在 DMM 有编号(刮削时由 DMM 或 r18.dev 记下)的,除 JavDB 演员页外还会按编号列她在 DMM 的片单,预购的作品也会出现在新作里;两边报的同一部只算一部,几十人的合集不列。订阅源列表里这类叫「JAV 订阅 · DMM」,可以单独停用;JavDB 上没有演员页、只有 DMM 编号的女优也能订阅。已在订阅的女优在下一轮检查时自动补上。
- **采集**:补女优资料时,如果 minnano-av 上找不到她,就从 avbase 女优页补生日、身高、三围、罩杯,以及站上填了的出身地、血型和趣味,人物页页头不再空着。已有 minnano-av 资料或人工资料的只核对、不覆盖;她之后出现在 minnano-av 上,资料会换成那边的。
- **采集**:新增命令 `peach check-sources`,装好、换网络或改代理后,可以一次检查各资料源与图片 CDN 能不能连上,分清连不上、被拒绝、要登录和正在冷却;只读检查,不改设置也不清冷却(#382)。
+- **采集**:用户脚本添加的任务结束后,完成或失败会一直留在浮卡的「其他任务」里,直到在脚本里标为已读;窗口全关时结束的,下次打开也能看到,失败的也能在脚本里直接重试。需要用户脚本 0.7.2 起的版本;任务中心、想要清单等别处提交的仍只显示 10 分钟。
### 变更
diff --git a/docs/JAV_BROWSER.md b/docs/JAV_BROWSER.md
index 73128aee6..f7dffade1 100644
--- a/docs/JAV_BROWSER.md
+++ b/docs/JAV_BROWSER.md
@@ -42,7 +42,9 @@ Peach 配置页通过同源桥接页检测脚本版本和是否已为当前地
添加请求只校验本机配置并保存队列;云盘能力探测与提交由后台执行,状态查询不等待远端提交。脚本单次请求上限为 60 秒,超时不表示下载失败,也不会自动重复添加。状态接口的可选 `download` 字段仅投影任务状态、标签、当前阶段 `phase`、下载进度、整理状态及更新时间;下载进度来自后台最近一次网盘对账,整体阶段来自任务里程碑。连接异常保留最近一次确认的阶段;未请求的整理显示跳过。
-`GET /api/jav-browser/active` 无需番号,一次返回所有进行中的任务:浏览器队列里排队或搜索中的番号,以及带番号、仍在云下载或入库后整理未结束的下载任务,不论从哪里添加。最近 10 分钟内结束的任务带着终态保留在列表里,便于看到完成或失败。每项与状态接口同一结构,最多 200 项。
+`GET /api/jav-browser/active` 无需番号,一次返回所有进行中的任务:浏览器队列里排队或搜索中的番号,以及带番号、仍在云下载或入库后整理未结束的下载任务,不论从哪里添加。最近 10 分钟内结束的任务带着终态保留在列表里,便于看到完成或失败。由浏览器添加的任务结束后一直保留,直到在脚本里标为已读,窗口全关时结束的也能在下次打开时看到;从任务中心、想要清单等别处提交的只保留 10 分钟。结束的项多带 `ended_key`(任务编号@结束时间)与 `dismissed`;确认过的项在 10 分钟内仍列出,只标 `dismissed`。每项与状态接口同一结构,最多 200 项。没有生成下载任务的搜索失败不在列表里。
+
+`POST /api/jav-browser/dismiss` 确认已结束的任务:`{"keys": [...]}` 逐条确认 `ended_key`,`{"all": true}` 确认此刻之前结束的全部,返回新的任务列表。重试整理等让任务再次结束时,结束时间变了,会重新列出。确认记录存在本机状态目录的 `jav-browser-ended.json`;首次启用时从 10 分钟前起算,之前早已结束的任务不会补列。
`POST /api/jav-browser/postprocess` 接收 `{"code": "..."}`,重试这个番号入库后失败的整理,与任务中心的「重试整理」同一入口,返回状态接口同一结构;没有失败的整理时返回 400。
diff --git a/docs/ROUTES.md b/docs/ROUTES.md
index 3a74b5f07..e6151a430 100644
--- a/docs/ROUTES.md
+++ b/docs/ROUTES.md
@@ -114,7 +114,7 @@
设置分区可直接打开、刷新和用浏览器前进后退。偏好面板从当前页面打开时保留背景;配置分区复用配置页及其权限检查。配置分类导航停在搜索栏下方,切换分类时显示所选分区的开头。
-用户脚本通过专用令牌调用 `POST /api/jav-browser/errors`,仅接收白名单错误字段并写入本机日志;批次、体积、限频与诊断包范围见 [浏览器添加 JAV](JAV_BROWSER.md)。状态接口 `GET /api/jav-browser` 同时投影真实下载与整理进度,`GET /api/jav-browser/active` 以同一结构列出进行中与最近结束的任务,均不授予配置、账号或账本写入权限。`POST /api/jav-browser/postprocess` 只能重试该番号已失败的整理,走任务中心同一入口。
+用户脚本通过专用令牌调用 `POST /api/jav-browser/errors`,仅接收白名单错误字段并写入本机日志;批次、体积、限频与诊断包范围见 [浏览器添加 JAV](JAV_BROWSER.md)。状态接口 `GET /api/jav-browser` 同时投影真实下载与整理进度,`GET /api/jav-browser/active` 以同一结构列出进行中与最近结束的任务,均不授予配置、账号或账本写入权限。`POST /api/jav-browser/postprocess` 只能重试该番号已失败的整理,走任务中心同一入口。`POST /api/jav-browser/dismiss` 只记下脚本确认过哪些已结束的任务,不改任务与账本。
`GET /api/client-updates` 要求应用鉴权,返回运行版本与构建标记、发行版检查结果、安装状态、用户脚本版本和自动补修状态,不触发外部检查。`GET /api/jav-browser/updates` 使用用户脚本专用令牌,无需番号,返回运行与发行版、脚本版本快照,不暴露补修明细。`POST /api/configuration/upgrade-repairs/retry` 限本机同源请求,重试失败项;`GET /api/configuration/upgrade-repairs/review` 限本机管理权限,下载 JSON 复核记录,无记录时返回 404。
diff --git a/src/peach/jav_browser.py b/src/peach/jav_browser.py
index 19b88111a..6adaf53eb 100644
--- a/src/peach/jav_browser.py
+++ b/src/peach/jav_browser.py
@@ -34,6 +34,11 @@ ACTIVE = {"queued", "searching"}
#: 共享进度列表的上限,与持久队列同为 200;结束的任务保留 10 分钟,供各窗口看到完成。
ACTIVE_LIMIT = 200
RECENT_SECONDS = 600
+#: 浏览器添加的任务结束后一直留在列表里,直到用户在脚本里标为已读;键是「任务编号@结束时间」。
+ENDED_KEY = re.compile(r"^[1-9][0-9]{0,11}@[0-9T:+.\-]{19,32}$")
+ENDED_DISMISSED_LIMIT = 1000
+#: 结束时间:整理完成的取整理时间,失败、取消、停滞取结束时间;停滞复查只改 updated_at,不让任务重新冒出来。
+ENDED_AT = "coalesce(nullif(postprocessed_at,''), nullif(finished_at,''), updated_at)"
MESSAGES = {
"idle": "可以加入 Peach 馆藏", "queued": "等待搜索磁力", "searching": "正在搜索磁力",
"submitted": "云下载进行中", "ingested": "已加入 Peach 馆藏", "owned": "馆藏已有该番号影片",
@@ -150,6 +155,7 @@ class JavBrowser:
self.downloads = contract.downloads
self.credentials = self.downloads.credentials
self.path = Path(contract.follow_state_root) / "jav-browser-queue.json"
+ self.ended_path = Path(contract.follow_state_root) / "jav-browser-ended.json"
self.search = search
self._lock = threading.RLock()
self._wake = threading.Event()
@@ -159,6 +165,7 @@ class JavBrowser:
from .jav_browser_diagnostics import BrowserDiagnostics
self.diagnostics = BrowserDiagnostics()
self.rows = self._load()
+ self.ended = self._load_ended()
def _load(self) -> dict:
if not self.path.exists():
@@ -181,6 +188,40 @@ class JavBrowser:
def _save(self):
atomic_write_text(self.path, json.dumps(self.rows, ensure_ascii=False, indent=2) + "\n")
+ def _load_ended(self) -> dict:
+ """结束留存的确认记录:`since` 之前结束的都算确认过,之后的逐条记在 `dismissed` 里。
+
+ 文件不存在时从 10 分钟前起算并立即落盘,启用之前早已结束的任务不会一下子涌进浮卡。
+ """
+ try:
+ payload = json.loads(self.ended_path.read_text(encoding="utf-8"))
+ since, dismissed = payload["since"], payload["dismissed"]
+ if (not isinstance(since, str) or not isinstance(dismissed, list)
+ or not all(isinstance(key, str) and ENDED_KEY.match(key) for key in dismissed)):
+ raise ValueError
+ return {"since": since, "dismissed": dismissed[-ENDED_DISMISSED_LIMIT:]}
+ except FileNotFoundError:
+ ended = {"since": iso(time.time() - RECENT_SECONDS), "dismissed": []}
+ except (ValueError, KeyError, TypeError):
+ LOGGER.warning("浏览器添加的结束确认记录无法读取,从现在起重新计")
+ ended = {"since": iso(time.time()), "dismissed": []}
+ atomic_write_text(self.ended_path, json.dumps(ended, ensure_ascii=False, indent=2) + "\n")
+ return ended
+
+ def dismiss(self, body: dict) -> dict:
+ """确认已结束的任务:`all` 确认到此刻为止结束的全部,`keys` 逐条确认 `active()` 给出的键。"""
+ keys = body.get("keys", [])
+ if body.get("all") not in (None, False, True) or not isinstance(keys, list) or len(keys) > ACTIVE_LIMIT \
+ or not all(isinstance(key, str) and ENDED_KEY.match(key) for key in keys):
+ raise ValueError("确认参数无效")
+ with self._lock:
+ since = iso(time.time()) if body.get("all") is True else self.ended["since"]
+ dismissed = [key for key in dict.fromkeys([*self.ended["dismissed"], *keys])
+ if key.split("@", 1)[1] >= since]
+ self.ended = {"since": since, "dismissed": dismissed[-ENDED_DISMISSED_LIMIT:]}
+ atomic_write_text(self.ended_path, json.dumps(self.ended, ensure_ascii=False, indent=2) + "\n")
+ return self.active()
+
def _config(self) -> dict:
credential = self.credentials.load(CREDENTIAL)
return dict(credential.values) if credential else {}
@@ -311,17 +352,22 @@ class JavBrowser:
进行中与脚本 `tracking()` 同一判据:排队、搜索、云下载,或已入库但整理未结束。
最近 `RECENT_SECONDS` 内结束的任务带着终态留在列表里,脚本据此看到「进行中 → 完成」。
+ 浏览器添加(来处 `browser:`)的任务结束后一直留着,直到 `dismiss()` 确认。结束项带 `ended_key`
+ 与 `dismissed`:确认过的在 10 分钟内仍然列出、只标 `dismissed`,各窗口的本页状态照旧读得到。
"""
cutoff = iso(time.time() - RECENT_SECONDS)
tracked = sorted(TRACKED_STATES)
organizing = (POSTPROCESS_PENDING, POSTPROCESS_QUEUED, POSTPROCESS_RUNNING)
+ with self._lock:
+ since, dismissed = self.ended["since"], set(self.ended["dismissed"])
with self.contract.database.read_connection() as connection:
codes = [row[0] for row in connection.execute(
"SELECT normalise_code_key(code) AS key FROM download_task WHERE code IS NOT NULL AND code<>'' AND ("
f"state IN ({','.join('?' * len(tracked))}) OR (state=? AND postprocess_state IN (?,?,?)) "
- "OR max(updated_at, coalesce(postprocessed_at,''), coalesce(finished_at,''))>=?) "
+ "OR max(updated_at, coalesce(postprocessed_at,''), coalesce(finished_at,''))>=? "
+ f"OR (origin LIKE 'browser:%' AND {ENDED_AT}>=?)) "
"GROUP BY key ORDER BY max(id) DESC LIMIT ?",
- (*tracked, INGESTED, *organizing, cutoff, ACTIVE_LIMIT))]
+ (*tracked, INGESTED, *organizing, cutoff, since, ACTIVE_LIMIT))]
with self._lock:
queued = [code for code, row in self.rows.items() if row["state"] in ACTIVE or code in self._submitting]
items = []
@@ -330,8 +376,19 @@ class JavBrowser:
status = self.status(code)
except ValueError:
continue
- if status["state"] != "idle":
- items.append(status)
+ if status["state"] == "idle":
+ continue
+ task = self.downloads.store.get(status["task_id"]) if status.get("task_id") else None
+ if task is not None and task.state not in TRACKED_STATES and not (
+ task.state == INGESTED and task.postprocess_state in organizing):
+ ended_at = task.postprocessed_at or task.finished_at or task.updated_at
+ key = f"{task.id}@{ended_at}"
+ acknowledged = ended_at < since or key in dismissed
+ recent = max(task.updated_at or "", task.postprocessed_at or "", task.finished_at or "") >= cutoff
+ if not recent and (acknowledged or not (task.origin or "").startswith("browser:")):
+ continue
+ status.update(ended_key=key, dismissed=acknowledged)
+ items.append(status)
return {"ok": True, "items": items[:ACTIVE_LIMIT]}
def add(self, body: dict) -> dict:
diff --git a/src/peach/routes_jav_browser.py b/src/peach/routes_jav_browser.py
index d195864cc..d75a4ec64 100644
--- a/src/peach/routes_jav_browser.py
+++ b/src/peach/routes_jav_browser.py
@@ -72,6 +72,13 @@ def retry_postprocess(body: dict = Body(...), service=Depends(browser_client)):
raise HTTPException(400, str(error)) from None
+def dismiss(body: dict = Body(...), service=Depends(browser_client)):
+ try:
+ return JSONResponse(service.dismiss(body), headers={"Cache-Control": "no-store"})
+ except ValueError as error:
+ raise HTTPException(400, str(error)) from None
+
+
def add(body: dict = Body(...), service=Depends(browser_client)):
try:
return JSONResponse(service.add(body), headers={"Cache-Control": "no-store"})
@@ -115,6 +122,7 @@ def create_router(local_only) -> APIRouter:
router.add_api_route("/api/jav-browser/people", people, methods=["GET"])
router.add_api_route("/api/jav-browser", add, methods=["POST"])
router.add_api_route("/api/jav-browser/postprocess", retry_postprocess, methods=["POST"])
+ router.add_api_route("/api/jav-browser/dismiss", dismiss, methods=["POST"])
router.add_api_route("/api/jav-browser/errors", errors, methods=["POST"])
permissions = [Depends(require_auth), Depends(local_only)]
router.add_api_route("/api/configuration/jav-browser", settings, methods=["GET"], dependencies=permissions)
diff --git a/tests/test_downloads_jav_browser.py b/tests/test_downloads_jav_browser.py
index 375faec1d..1846d7e9f 100644
--- a/tests/test_downloads_jav_browser.py
+++ b/tests/test_downloads_jav_browser.py
@@ -418,6 +418,50 @@ class BrowserTests(unittest.TestCase):
self.assertEqual(listed(), {})
self.assertEqual(self.client.get("/api/jav-browser/active").status_code, 401)
+ def test_finished_browser_tasks_stay_listed_until_dismissed(self):
+ def listed():
+ response = self.client.get("/api/jav-browser/active", headers=self.script_headers)
+ self.assertEqual(response.status_code, 200, response.text)
+ return {item["code"]: item for item in response.json()["items"]}
+
+ def dismiss(body):
+ return self.client.post("/api/jav-browser/dismiss", json=body, headers=self.script_headers)
+
+ self.add()
+ self.service.process_one()
+ task = self.downloads.store.get(self.status().json()["task_id"])
+ self.assertTrue(task.origin.startswith("browser:"))
+ self.service.ended["since"] = "2026-01-01T00:00:00+00:00"
+ # 结束早已超过 10 分钟,没确认就一直列出。
+ task.state, task.postprocess_state = dl.INGESTED, dl.POSTPROCESS_COMPLETE
+ task.updated_at = task.postprocessed_at = "2026-06-01T00:00:00+00:00"
+ self.downloads.store.save(task)
+ item = listed()["ABC-123"]
+ self.assertEqual((item["ended_key"], item["dismissed"]), (f"{task.id}@2026-06-01T00:00:00+00:00", False))
+ # 之后又改了 updated_at(如停滞复查),结束键不变。
+ task.updated_at = dl.iso(time.time() - 3600)
+ self.downloads.store.save(task)
+ self.assertEqual(listed()["ABC-123"]["ended_key"], item["ended_key"])
+ self.assertEqual(dismiss({"keys": ["../ABC-123"]}).status_code, 400)
+ self.assertEqual(dismiss({"keys": [item["ended_key"]]}).status_code, 200)
+ self.assertEqual(listed(), {})
+ # 重试整理后再次结束是新的结束键,重新列出。
+ task.postprocessed_at = "2026-07-01T00:00:00+00:00"
+ self.downloads.store.save(task)
+ self.assertFalse(listed()["ABC-123"]["dismissed"])
+ response = dismiss({"all": True})
+ self.assertEqual((response.status_code, response.json()["items"]), (200, []))
+ self.assertEqual(json.loads(self.service.ended_path.read_text(encoding="utf-8"))["dismissed"], [])
+ # 刚结束、已被别的窗口确认的仍列出 10 分钟,只标 dismissed,本页状态照旧读得到。
+ task.postprocessed_at = task.updated_at = dl.iso(time.time() - 5)
+ self.downloads.store.save(task)
+ self.assertTrue(listed()["ABC-123"]["dismissed"])
+ # 不是浏览器添加的任务结束后不留存。
+ self.service.ended["since"] = "2026-01-01T00:00:00+00:00"
+ task.origin, task.postprocessed_at, task.updated_at = "wishlist:1", "2026-08-01T00:00:00+00:00", "2026-08-01T00:00:00+00:00"
+ self.downloads.store.save(task)
+ self.assertEqual(listed(), {})
+
def test_disable_and_rotation_revoke_tokens(self):
rotated = self.configure("rotate").json()["token"]
self.assertEqual(self.status().status_code, 401)
diff --git a/tests/test_fastapi_api.py b/tests/test_fastapi_api.py
index 6c499f76f..dd1ab7719 100644
--- a/tests/test_fastapi_api.py
+++ b/tests/test_fastapi_api.py
@@ -4224,6 +4224,7 @@ class RouteAuthContractTests(unittest.TestCase):
("POST", "/api/jav-browser"): routes_jav_browser.browser_client,
("POST", "/api/jav-browser/errors"): routes_jav_browser.browser_client,
("POST", "/api/jav-browser/postprocess"): routes_jav_browser.browser_client,
+ ("POST", "/api/jav-browser/dismiss"): routes_jav_browser.browser_client,
}
cls.routes = {(",".join(sorted(route.methods)), route.path):
{dependency.call for dependency in route.dependant.dependencies}