知らない分野を、原文にたどりつくまで芋づる式に掘る Claude Code のスキル
Python
fetch: 和文が3割を超えるPDFは下限を1,000字にする
Kent Howserf9c453d22d2c
diff --git a/skills/imozuru/SKILL.md b/skills/imozuru/SKILL.mdindex 88a2e56..43cc6b0 100644--- a/skills/imozuru/SKILL.md+++ b/skills/imozuru/SKILL.md@@ -225,7 +225,7 @@ map.md を下の書式で作り、**問い**と、答えるのに要る**主張*スクリプトは Python 3.10 以上の標準ライブラリだけで動く。外部コマンドは、あれば使う(無いときの動きは各行に書いた)。-- `scripts/fetch.py <sources_dir> <name> <url>` — ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。404・ログインの要求・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す+- `scripts/fetch.py <sources_dir> <name> <url>` — ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。404・ログインの要求・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。短さの下限は PDF が 3,000字、HTML が 1,000字で、和文の字が3割を超える PDF は HTML と同じ 1,000字で判定する。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す- 動画の場所は行番号の代わりに時刻で指す(`sources/x.md [12:34]`)- `scripts/report.py <topic_dir> [--check]` — extracts.json の抜き書きを原文と照合し、合えば report.html にする。`--check` は照合だけ- `scripts/watch.py add|list|check` — 見張り。RSS / Atom を引いて前回からの新着を出す。検索を使わないので費用はかからず結果も揺れない。DOCTYPE・ENTITY を含むフィードは安全のため読まないdiff --git a/skills/imozuru/references/theory.md b/skills/imozuru/references/theory.mdindex 306958f..b84c704 100644--- a/skills/imozuru/references/theory.md+++ b/skills/imozuru/references/theory.md@@ -55,4 +55,5 @@ SKILL.md の各決まりが、どの原文のどこから来たか。原文は 2- 論文の多い分野では chain.py が古い論文に効き、新しい論文(出て1年ほど)には効かない- 個人の発信の分野では chain.py も DOI も使えず、道具は fetch.py と WebSearch だけ。standard の検索はほぼ空振りで extended で一斉に出た。大事な中身は X・pixiv・小紅書のログインの壁の向こうに集まる- 日本語の記事は短くても本物(2,904字)。英語の論文向けの下限 3,000 字では落ちる+- PDF でも同じ。和文の字が3割を超える PDF は HTML と同じ 1,000 字で判定する- 検索役の報告は検索結果の抜粋がもと。Type-R の説明が原文と違っていたdiff --git a/skills/imozuru/scripts/fetch.py b/skills/imozuru/scripts/fetch.pyindex 86592e4..b521ef9 100755--- a/skills/imozuru/scripts/fetch.py+++ b/skills/imozuru/scripts/fetch.py@@ -32,6 +32,11 @@ from pathlib import Path# (大陸塗りの試しで 2,904 字の本物の記事が 3,000 の下限で落ちた)。MIN_TEXT_CHARS = 3000MIN_HTML_CHARS = 1000+# 和文(日本語・中国語)の PDF は、英語より少ない字数で中身がある。+# 本文の空白以外の字のうち和文の字がこの割合を超える PDF は、HTML と同じ下限で判定する。+CJK_RATIO_FOR_PDF = 0.3+# 和文の字=かな・漢字・全角の英数字と記号+_CJK = re.compile(r"[\u3000-\u30ff\u3400-\u9fff\uf900-\ufaff\uff00-\uffef]")MAX_BYTES = 40_000_000# 本文ではなく壁に当たったと分かる言い回し。小文字で照合する。WALL_PATTERNS = (@@ -109,6 +114,12 @@ def decode_text(body: bytes, ctype: str = "") -> str:return min((body.decode(c, errors="replace") for c in candidates), key=lambda t: t.count("�"))+def mostly_cjk(text: str) -> bool:+ """本文の空白以外の字のうち、和文の字の割合が CJK_RATIO_FOR_PDF を超えるか。"""+ chars = re.sub(r"\s", "", text)+ return bool(chars) and len(_CJK.findall(chars)) / len(chars) > CJK_RATIO_FOR_PDF++def missing(*commands: str) -> list[str]:"""手元に無い外部コマンドの名前を返す。無いまま呼ぶと FileNotFoundError で止まるため。"""return [c for c in commands if shutil.which(c) is None]@@ -458,7 +469,8 @@ def fetch_source(sources: Path, name: str, url: str, destination: Path) -> int:kept = saved = sources / f"{name}.md"text = html_to_md(f"https://arxiv.org/html/{arxiv_id.group(1)}", kept)- floor = MIN_TEXT_CHARS if saved.suffix == ".pdf" else MIN_HTML_CHARS+ # PDF は英語の論文を基準に高い下限。和文の PDF だけは HTML と同じ下限にする+ floor = MIN_TEXT_CHARS if saved.suffix == ".pdf" and not mostly_cjk(text) else MIN_HTML_CHARShead = text[:4000].lower()wall = next((p for p in WALL_PATTERNS if p in head), None)if len(text) < floor or (wall and len(text) < MIN_TEXT_CHARS * 4):diff --git a/tests/test_fetch.py b/tests/test_fetch.pyindex 6ff7519..b860716 100644--- a/tests/test_fetch.py+++ b/tests/test_fetch.py@@ -255,5 +255,51 @@ class YoutubeCaptionTests(unittest.TestCase):self.assertIn("字幕: 手動 v.ja.vtt", self.out.read_text(encoding="utf-8"))+class CjkPdfFloorTests(unittest.TestCase):+ """和文の PDF は 3,000 字に届かなくても、HTML と同じ下限を超えていれば残す。"""++ def setUp(self):+ tmp = tempfile.TemporaryDirectory()+ self.addCleanup(tmp.cleanup)+ self.sources = Path(tmp.name) / "sources"+ self.sources.mkdir()+ stack = contextlib.ExitStack()+ self.addCleanup(stack.close)+ stack.enter_context(contextlib.redirect_stdout(io.StringIO()))+ stack.enter_context(patch.object(fetch, "missing", return_value=[]))++ def fetch_pdf(self, text):+ def convert(pdf):+ pdf.with_suffix(".txt").write_text(text, encoding="utf-8")+ return text+ argv = [str(SCRIPT), str(self.sources), "paper", "https://example.test/paper.pdf"]+ with patch.object(sys, "argv", argv), \+ patch.object(fetch, "download", return_value=(b"%PDF-1.4\nshort", "application/pdf")), \+ patch.object(fetch, "pdf_to_text", side_effect=convert):+ return fetch.main()++ def test_short_japanese_pdf_is_kept(self):+ text = "日本語の本文です。\n" * 150 # 1,500字+ self.assertLess(len(text), fetch.MIN_TEXT_CHARS)+ self.assertEqual(self.fetch_pdf(text), 0)+ self.assertEqual((self.sources / "paper.txt").read_text(encoding="utf-8"), text)++ def test_short_english_pdf_still_fails(self):+ text = "English body text.\n" * 120 # 2,280字+ self.assertGreater(len(text), fetch.MIN_HTML_CHARS)+ self.assertEqual(self.fetch_pdf(text), 1)+ self.assertEqual(list(self.sources.iterdir()), [])++ def test_very_short_japanese_pdf_still_fails(self):+ text = "日本語。\n" * 150 # 750字+ self.assertEqual(self.fetch_pdf(text), 1)+ self.assertEqual(list(self.sources.iterdir()), [])++ def test_english_pdf_with_japanese_heading_is_not_cjk(self):+ text = "日本語の見出し\n" + "English body text.\n" * 100+ self.assertFalse(fetch.mostly_cjk(text))+ self.assertTrue(fetch.mostly_cjk("全角の123"))++if __name__ == "__main__":unittest.main()