Skip to content

armgit / peach

Public Imported from GitHub
0

Peach: Local-first video metadata scraper and media manager.

8.4 KB
Raw Blame
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
r"""
广告文件识别 —— 找出盗版组塞进资源包里的推广视频,出清单供人工处置。

不删任何东西,只出 CSV。判据来自实际样本 B:\创作者\BNST033\aaxv.xyz-BNST033\:
正片 BNST033.mp4 有 3.2 GB,旁边躺着一堆 10.9 MB / 37.40 秒**逐字节等长等时**的
"催眠(1..N).mp4",外加 論壇文宣\ 和 1024\ 两个子目录。

五条判据,各自独立记分,命中越多越可信:
  A 目录名自曝:文宣 / 宣傳 / 廣告 / 1024 / 論壇 等
  B 同目录内体积与时长完全相同的一组小短片(正片不会出现这种整齐的重复)
  C 文件名里的手游推广词与推广站域名
  D 小且短的文件名带任意站点域名(存疑,交人工)
  E 目录名是「域名+番号」的推广打包(bbsxv.xyz-DOCP-324 形态)

B 是主力:它不依赖任何关键词,纯靠"广告是同一个文件复制多份"的结构特征。

用法:
    python scripts/find_ads.py [--min-group 3]
输出:
    R:\peach-data\generated\ad-candidates.csv
"""
from __future__ import annotations

import collections
import argparse
import re
import sys
from pathlib import Path, PureWindowsPath

PROJECT_ROOT = Path(__file__).resolve().parent.parent
SRC_DIR = PROJECT_ROOT / "src"
if str(SRC_DIR) not in sys.path:
    sys.path.insert(0, str(SRC_DIR))

from peach.review_csv import write_rows
from peach.scripting import open_readonly
from peach.config import DATABASE_PATH, GENERATED_DIR

DEFAULT_OUTPUT = GENERATED_DIR / "ad-candidates.csv"

# A:目录名自曝。整段路径分量匹配,不做子串 ——
# "1024" 当子串会吃掉 FC2-PPV-1381024 这种正片番号(实测误伤 970 MB 一条)。
RE_ADDIR = re.compile(r"(論壇文宣|论坛文宣|文宣|宣傳|宣传|廣告|广告|推廣|推广|"
                      r"發佈頁|发布页|禮包碼|礼包码|地址发布|免费预览)", re.I)
RE_ADDIR_EXACT = re.compile(r"^(1024|論壇|论坛|廣告|广告|文宣)$", re.I)

# C:只认推广站域名。"成人游戏""加微信"这类词单独出现不算 ——
# 实测正片标题里就有("兄妹成人游戏" 9.98 GB、"花了三萬加微信約出來的女主播"),
# 拿它当判据会把正片当广告删掉。
RE_ADNAME = re.compile(
    r"([0-9a-z]{1,8}\.(?:18my|gm\d?|gg\d?|hgame\d?)\.(?:cc|xyz|com|net|app)|"
    r"\b(?:18my|hgame\d?|[0-9a-z]{2,6}(?:gm|gg))\.(?:cc|xyz|com|net|app)|"
    r"(?:全網最火爆|全网最火爆|開後宮|开后宫)[^.]{0,12}(?:遊戲|游戏|手遊|手游))", re.I)

# D:文件名里带任意站点域名。真广告全是又小又短的,所以必须叠加体积时长门槛。
RE_ANYDOMAIN = re.compile(
    r"\b[0-9a-z][-0-9a-z]{1,20}\.(?:cc|xyz|com|net|la|me|top|vip|club|app|cn|pw|tv|gg)\b", re.I)
# 域名旁边有没有推广文案,是"广告"和"正片被打了站点水印"的分界线。
# 实测 jitumi.pw(1).avi 抽帧是体操服正片,光有裸域名不能判广告。
RE_ADCOPY = re.compile(
    r"(手遊|手游|遊戲大全|游戏大全|在線觀看|在线观看|在線視頻|在线视频|賭場|赌场|"
    r"約炮|约炮|女神檔案|女神档案|精彩直播|大秀直播|禮包碼|礼包码|"
    r"最新地址|開車地址|开车地址|徵信|征信|借貸|借贷)", re.I)

# E:目录名是「域名+番号」的推广打包,如 B:\云下载\bbsxv.xyz-DOCP-324\。
# 实测该包内两条小视频(28 秒 / 91 秒)文件名干净、无等长重复,只有目录暴露身份。
# 注意裸域名水印目录(www.98T.la@账号、huachishe.com@系列)是转载来源标注,
# 不是广告;所以必须「域名紧贴番号」才命中,不能只看有域名。
RE_DIRPACK = re.compile(
    r"[0-9a-z][-0-9a-z]{1,20}\.[a-z]{2,10}[ \-_]+\[?[A-Za-z]{2,6}-?\d{2,5}", re.I)

def ledger_dir(path: str) -> str:
    """取账本路径的目录部分。

    账本里的路径永远是 Windows 口径(`B:\\云下载\\...`),而 `os.path.dirname` 在 macOS 上
    不认反斜杠,整条路径会被当成单个文件名、目录返回空串。后果不只是判据 A/E 失效:
    判据 B 用「同目录 + 同体积 + 同时长」分组,目录恒为空就等于跨整个库比对。
    `PureWindowsPath` 两种分隔符都认,两个平台结果一致。
    """
    return str(PureWindowsPath(path).parent)


# B 的边界:只有"小且短"的整齐重复才算广告,避免误伤分集正片
MAX_AD_MB = 80
MAX_AD_SEC = 180
# D 的边界:正片再短也很少低于这个量级
DOMAIN_AD_SEC = 150
DOMAIN_AD_MB = 220

FIELDS = ["id", "location", "dir", "name", "size_mb", "duration",
          "confidence", "score", "hits", "group_n"]


def find_candidates(db_path: Path | str, min_group: int = 3) -> tuple[list[dict], int]:
    """只读 ledger 并返回复核候选;不写数据库或文件。"""
    db_path = Path(db_path)
    conn = open_readonly(db_path)
    rows = conn.execute(
        "SELECT id, location, path, name, size, duration FROM asset "
        "WHERE medium='video'").fetchall()
    conn.close()
    # B:同目录内 (size, duration) 完全相同的成组小短片
    buckets: dict[tuple[str, int, str], list] = collections.defaultdict(list)
    for aid, loc, path, name, size, duration in rows:
        if not size or not duration:
            continue
        if size > MAX_AD_MB * 1048576 or duration > MAX_AD_SEC:
            continue
        key = (ledger_dir(path).lower(), size, f"{duration:.3f}")
        buckets[key].append((aid, loc, path, name, size, duration))
    grouped = {}
    for items in buckets.values():
        if len(items) >= min_group:
            for it in items:
                grouped[it[0]] = len(items)

    plan = []
    for aid, loc, path, name, size, duration in rows:
        directory = ledger_dir(path)
        parts = PureWindowsPath(path).parent.parts
        hits = []
        if RE_ADDIR.search(directory) or any(RE_ADDIR_EXACT.match(p) for p in parts):
            hits.append("目录名")
        if RE_ADNAME.search(name) or RE_ADNAME.search(directory):
            hits.append("推广词")
        if aid in grouped:
            hits.append(f"等长重复x{grouped[aid]}")
        small = (size or 0) <= DOMAIN_AD_MB * 1048576
        short = duration is not None and 0 < duration <= DOMAIN_AD_SEC
        if RE_ANYDOMAIN.search(name) and small and short:
            hits.append("域名+文案" if RE_ADCOPY.search(name) else "裸域名")
        elif RE_DIRPACK.search(directory) and small and short:
            hits.append("推广目录")
        if not hits:
            continue
        # 只有裸域名、没有任何其它佐证的,交人工看一眼再定
        solid = [h for h in hits if h != "裸域名"]
        plan.append({
            "id": aid, "location": loc, "dir": directory, "name": name,
            "size_mb": round((size or 0) / 1048576, 1),
            "duration": round(duration, 1) if duration else "",
            "confidence": "确认" if solid else "存疑",
            "score": len(hits), "hits": "+".join(hits),
            "group_n": grouped.get(aid, ""),
        })

    plan.sort(key=lambda r: (r["confidence"] != "确认", -r["score"], r["dir"]))
    return plan, len(rows)


def write_candidates(output: Path | str, plan: list[dict]) -> None:
    output = Path(output)
    write_rows(output, FIELDS, plan)


def build_parser() -> argparse.ArgumentParser:
    parser = argparse.ArgumentParser(description="生成广告文件人工复核清单")
    parser.add_argument("--db", type=Path, default=DATABASE_PATH)
    parser.add_argument("--output", type=Path, default=DEFAULT_OUTPUT)
    parser.add_argument("--min-group", type=int, default=3)
    return parser


def main(argv: list[str] | None = None) -> int:
    args = build_parser().parse_args(argv)
    if args.min_group < 2:
        raise SystemExit("--min-group 必须至少为 2")
    plan, scanned = find_candidates(args.db, args.min_group)
    print(f"扫描 {scanned} 条视频")
    write_candidates(args.output, plan)

    print(f"命中 {len(plan)} 条,合计 {sum(r['size_mb'] for r in plan)/1024:.1f} GB")
    for level in ("确认", "存疑"):
        sub = [r for r in plan if r["confidence"] == level]
        print(f"  {level}: {len(sub):>4} 条  {sum(r['size_mb'] for r in sub)/1024:>6.2f} GB")
    print(f"\n判据分布: {collections.Counter(r['hits'] for r in plan).most_common(6)}")
    print(f"→ {args.output}(仅清单,未删任何文件)")
    return 0


if __name__ == "__main__":
    raise SystemExit(main())