知らない分野を、原文にたどりつくまで芋づる式に掘る Claude Code のスキル
Python
fetch: OCR の言語を言語データから選び、意味のない読み取りを FAIL にする(#11)
MaryCacheecb82c71b611
diff --git a/README.en.md b/README.en.mdindex 867144d..7ff4dac 100644--- a/README.en.md+++ b/README.en.md@@ -80,6 +80,7 @@ The scripts run on the Python 3.10+ standard library alone, and use the followin|---|---|---|| `pdftotext` (poppler or Xpdf) | Extracting text from PDFs | The PDF text cannot be read and the fetch reports `FAIL` || `pdftoppm` (poppler or Xpdf) and `tesseract` | OCR for old PDFs with no text layer | That PDF reports `FAIL` |+| `tesseract` language data `jpn` and `jpn_vert` | Reading Japanese scans, both horizontal and vertical (used automatically when installed; set `IMOZURU_OCR_LANG`, e.g. `jpn+eng`, to choose) | OCR runs in English only; a Japanese PDF reports `FAIL` because the recognition confidence is low || `yt-dlp` | Downloading YouTube captions | Videos report `FAIL` || [ax](https://github.com/yusukebe/ax) | Turning HTML into Markdown | Falls back to the standard library and extracts the text only (ax keeps headings and tables better) |diff --git a/README.md b/README.mdindex 61e3b1c..a58696e 100644--- a/README.md+++ b/README.md@@ -76,6 +76,7 @@ npx skills add MaryCache/imozuru|---|---|---|| `pdftotext`(popplerかXpdf) | PDFから本文を取り出す | PDFの本文が取れず `FAIL` になる || `pdftoppm`(popplerかXpdf)と `tesseract` | 文字の層がない古いPDFをOCRにかける | そのPDFは `FAIL` になる |+| `tesseract` の言語データ `jpn` と `jpn_vert` | 日本語のスキャンPDFを、横書きも縦書きも読む(入っていれば自動で使う。環境変数 `IMOZURU_OCR_LANG` で `jpn+eng` のように指定もできる) | 英語だけで読む。日本語のPDFは読み取りの確信度が低いので `FAIL` になる || `yt-dlp` | YouTubeの字幕を取得する | 動画は `FAIL` になる || [ax](https://github.com/yusukebe/ax) | HTMLをmarkdownにする | 標準ライブラリで文字だけを取り出す(見出しや表の形はaxのほうがよく残る) |diff --git a/skills/imozuru/SKILL.md b/skills/imozuru/SKILL.mdindex 5dfe791..782f919 100644--- a/skills/imozuru/SKILL.md+++ b/skills/imozuru/SKILL.md@@ -225,7 +225,7 @@ map.md を下の書式で作り、**問い**と、答えるのに要る**主張*スクリプトは Python 3.10 以上の標準ライブラリだけで動く。外部コマンドは、あれば使う(無いときの動きは各行に書いた)。-- `scripts/fetch.py <sources_dir> <name> <url>` — ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取得はいつも fetch.py 自身が宛先を確かめながら行い、ax には取ってきた HTML を渡して変換だけさせる。HTML のページは、名乗りを変えてもう一度頼み、PDF 本体が返ればそちらを残す(HAL はブラウザの名乗りに閲覧用の HTML を返す)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。404・ログインの要求・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。短さの下限は PDF が 3,000字、HTML が 1,000字で、和文の字が3割を超える PDF は HTML と同じ 1,000字で判定する。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す+- `scripts/fetch.py <sources_dir> <name> <url>` — ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。言語は tesseract の言語データに `jpn`・`jpn_vert` があれば英語に足し、環境変数 `IMOZURU_OCR_LANG` があればそれを使う。読み取りの確信度が低いとき(言語データが合わず意味のない字の列になったとき)と、読めなかったページがあるときは OCR の結果を使わず、理由を添えて `FAIL` する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取得はいつも fetch.py 自身が宛先を確かめながら行い、ax には取ってきた HTML を渡して変換だけさせる。HTML のページは、名乗りを変えてもう一度頼み、PDF 本体が返ればそちらを残す(HAL はブラウザの名乗りに閲覧用の HTML を返す)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。404・ログインの要求・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。短さの下限は PDF が 3,000字、HTML が 1,000字で、和文の字が3割を超える PDF は HTML と同じ 1,000字で判定する。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す- 動画の場所は行番号の代わりに時刻で指す(`sources/x.md [12:34]`)- `scripts/report.py <topic_dir> [--check]` — extracts.json の抜き書きを原文と照合し、合えば report.html にする。`--check` は照合だけ- `scripts/watch.py add|list|check` — 見張り。RSS / Atom を引いて前回からの新着を出す。検索を使わないので費用はかからず結果も揺れない。DOCTYPE・ENTITY を含むフィードは安全のため読まない。フィードの場所にタブや改行が入っていたら足さないdiff --git a/skills/imozuru/scripts/fetch.py b/skills/imozuru/scripts/fetch.pyindex d328f04..4dfb893 100755--- a/skills/imozuru/scripts/fetch.py+++ b/skills/imozuru/scripts/fetch.py@@ -48,6 +48,15 @@ TOOL_TIMEOUT = 300# OCR にかけるページ数の上限。文字の層が無い古い論文は数十ページに収まる。# 何千ページもある PDF で、画像の書き出しが手元のディスクを埋めないようにする。OCR_MAX_PAGES = 60+# OCR の読み取りの確信度(tesseract の 0〜100)の、字数で重みを付けた平均の下限。+# 言語データが合わないと、意味のない英字の列が数千字返って字数の下限を通ってしまう(#11)。+# 2026-10-21 の計測: 和書のスキャンを eng で読むと 18〜25、jpn で読むと 72〜82。+# 英語の古い論文(1987・1993)は 87〜96。合成した縦書き・横書きの和文も同じ分かれ方をした。+OCR_MIN_CONFIDENCE = 50+# 入っていれば自動で足す言語データ。jpn だけでは縦書きが、jpn_vert だけでは横書きが読めない(#11)+OCR_EXTRA_LANGS = ("jpn", "jpn_vert")+# IMOZURU_OCR_LANG で受け付ける形(eng・jpn+eng など)。tesseract の引数に入るので、ほかの字は通さない+OCR_LANG_FORM = re.compile(r"[A-Za-z_]+(\+[A-Za-z_]+)*")# 本文ではなく壁に当たったと分かる言い回し。小文字で照合する。WALL_PATTERNS = ("404 not found",@@ -349,47 +358,96 @@ def pdf_to_text(pdf: Path) -> str:return out.read_text(encoding="utf-8", errors="replace") if out.exists() else ""-def ocr_pdf(pdf: Path) -> str:+def ocr_langs() -> str:+ """tesseract に渡す言語。IMOZURU_OCR_LANG があればそれ、無ければ入っている言語データから選ぶ。++ jpn と jpn_vert が入っていれば eng に足す。英語の論文を3つで読んでも確信度は下がらなかった+ (2026-10-21 の計測)。一覧の読み取りに失敗したら eng だけにする=前と同じ動き。+ 一覧は行ごとに名前と完全に一致するかで見る(「jpn_vert」の行を「jpn」と取り違えない)。+ 古い tesseract は一覧を標準エラーに出すので両方を読む。+ """+ chosen = os.environ.get("IMOZURU_OCR_LANG", "").strip()+ if chosen:+ if OCR_LANG_FORM.fullmatch(chosen):+ return chosen+ print(f"IMOZURU_OCR_LANG の形が違うので使わない: {clean(chosen)}", file=sys.stderr)+ res = run_tool(["tesseract", "--list-langs"], capture_output=True, encoding="utf-8", errors="replace")+ have = set() if res is None else {line.strip() for line in f"{res.stdout}\n{res.stderr}".splitlines()}+ return "+".join([lang for lang in OCR_EXTRA_LANGS if lang in have] + ["eng"])+++def ocr_pdf(pdf: Path) -> tuple[str, str]:"""文字の層が無い PDF(紙を読み取った画像だけの古い論文)を、手元の tesseract で文字にする。Spencer ら 1995 の PDF は取れたのに pdftotext が1文字しか返さなかった(2026-10-10)。- 英語だけ(入っている言語データが eng のみ)。1ページずつ 200dpi の画像にして読む。- OCR_MAX_PAGES を超えるページは起こさない。+ 1ページずつ 200dpi の画像にして、ocr_langs() の言語で読む。OCR_MAX_PAGES を超えるページは起こさない。+ 返すのは (本文, 使わなかった理由)。次のときは本文を空にして理由を返す。+ - 時間切れか失敗で読めなかったページがある。欠けたまま残すと、後半が「原文に無い」と読み違える+ - 確信度の平均が OCR_MIN_CONFIDENCE より低い。言語データが合わず意味のない字の列になっている(#11)pdftoppm か tesseract が無ければ何もせず空を返す(呼び手が FAIL に無いコマンドを書く)。.txt には書かない。書くかどうかは呼び手(ocr_if_longer)が決める。"""if missing("pdftoppm", "tesseract"):- return ""+ return "", ""tmp = pdf.parent / f".{pdf.stem}-ocr"tmp.mkdir(exist_ok=True)- run_tool(["pdftoppm", "-r", "200", "-l", str(OCR_MAX_PAGES), "-png", str(pdf), str(tmp / "p")],- stderr=subprocess.DEVNULL)- pages = []- for img in sorted(tmp.glob("p-*.png")):- res = run_tool(["tesseract", str(img), "-", "-l", "eng"],- capture_output=True, encoding="utf-8", errors="replace")- pages.append(f"=== page {img.stem.split('-')[-1]} ===\n{res.stdout if res else ''}")- img.unlink()- for leftover in tmp.iterdir(): # 時間切れで止めた pdftoppm の書きかけ- leftover.unlink()- tmp.rmdir()- return "\n".join(pages)---def ocr_if_longer(pdf: Path, text: str) -> str:+ try:+ done = run_tool(["pdftoppm", "-r", "200", "-l", str(OCR_MAX_PAGES), "-png", str(pdf), str(tmp / "p")],+ stderr=subprocess.DEVNULL)+ if done is None:+ return "", "PDF を画像にする途中で時間切れ"+ langs = ocr_langs()+ pages, failed, weighted, chars = [], [], 0.0, 0+ for img in sorted(tmp.glob("p-*.png")):+ number = img.stem.split("-")[-1]+ out = tmp / img.stem+ # 字の間の空白を残す設定が無いと、和文の字のあいだに空白が入る(#11)+ res = run_tool(["tesseract", str(img), str(out), "-l", langs,+ "-c", "preserve_interword_spaces=1",+ "-c", "tessedit_create_txt=1", "-c", "tessedit_create_tsv=1"],+ capture_output=True, encoding="utf-8", errors="replace")+ txt, tsv = out.with_suffix(".txt"), out.with_suffix(".tsv")+ if res is None or res.returncode != 0 or not txt.exists():+ failed.append(number)+ continue+ pages.append(f"=== page {number} ===\n{txt.read_text(encoding='utf-8', errors='replace')}")+ # tsv の列: … conf(11列目)・text(12列目)。単語でない行の conf は -1+ for row in tsv.read_text(encoding="utf-8", errors="replace").splitlines()[1:] if tsv.exists() else []:+ cols = row.split("\t")+ if len(cols) >= 12 and cols[11].strip():+ try:+ conf = float(cols[10])+ except ValueError:+ continue+ if conf >= 0:+ weighted += conf * len(cols[11].strip())+ chars += len(cols[11].strip())+ finally:+ for leftover in tmp.iterdir(): # 読み終えた画像と、時間切れで止めた pdftoppm の書きかけ+ leftover.unlink()+ tmp.rmdir()+ if failed:+ return "", f"OCR で読めなかったページがある({','.join(failed)})"+ if chars and weighted / chars < OCR_MIN_CONFIDENCE:+ return "", (f"OCR の確信度が低い(平均 {weighted / chars:.0f}・言語 {langs})。"+ "言語データが合っていないかも(日本語なら tesseract の jpn と jpn_vert)")+ return "\n".join(pages), ""+++def ocr_if_longer(pdf: Path, text: str) -> tuple[str, str]:"""文字の層が薄い PDF を OCR にかけ、OCR のほうが長いときだけ .txt を置き換えて返す。OCR の道具が無いときや起こせなかったときに、pdftotext が取れた分まで空で上書きしていた(2026-10-20 のレビュー)。OCR の誤りは残るので、.txt の先頭に OCR だと書いて、- 読む人が原本と照らせるようにする。+ 読む人が原本と照らせるようにする。返すのは (本文, OCR を使わなかった理由)。"""- ocr = ocr_pdf(pdf)+ ocr, note = ocr_pdf(pdf)if len(ocr.strip()) <= len(text.strip()):- return text+ return text, notepdf.with_suffix(".txt").write_text(f"(OCR で起こした本文。{OCR_MAX_PAGES} ページを超える分は起こしていない。""誤りが残るので、引用は原本の PDF で確かめる)\n\n" + ocr, encoding="utf-8")- return ocr+ return ocr, ""HAS_AX = shutil.which("ax") is not None@@ -694,6 +752,7 @@ def fetch_source(sources: Path, name: str, url: str, destination: Path) -> int:return 1# メディアタイプは大文字と小文字を区別しない。「Text/Plain」で返すサーバーもあるctype = ctype.lower()+ ocr_note = "" # OCR の結果を使わなかった理由。FAIL の理由に添えるif not body.strip():# 中身の無い 200/202 を返すサーバーがある(Cornell の論文置き場・2026-10-10)。@@ -706,7 +765,7 @@ def fetch_source(sources: Path, name: str, url: str, destination: Path) -> int:text = pdf_to_text(saved)kept = saved.with_suffix(".txt")if len(text.strip()) < 200 and not arxiv_id(url):- text = ocr_if_longer(saved, text) # 文字の層が無い PDF。arXiv は下で HTML 版に切り替える+ text, ocr_note = ocr_if_longer(saved, text) # 文字の層が無い PDF。arXiv は下で HTML 版に切り替えるelif ctype.startswith(("text/plain", "text/markdown", "application/json", "text/csv")):# GitHub の README やデータ(raw.githubusercontent.com)はこの形で来る# (和田三造の配色のデータで FAIL した・2026-10-10)。中身をそのまま残す。@@ -727,7 +786,7 @@ def fetch_source(sources: Path, name: str, url: str, destination: Path) -> int:if pdf_save(url, pdf) and pdf.read_bytes()[:5] == b"%PDF-":pdf_text = pdf_to_text(pdf)if len(pdf_text.strip()) < 200:- pdf_text = ocr_if_longer(pdf, pdf_text)+ pdf_text, _ = ocr_if_longer(pdf, pdf_text) # 使えなければ HTML の本文が残るpdf_floor = MIN_HTML_CHARS if mostly_cjk(pdf_text) else MIN_TEXT_CHARS# PDF の本文が下限に届いたときだけ PDF に切り替える。届かないなら HTML の本文を残す。# 先に HTML を消すと、PDF が文字の層の無い画像だったときに両方を失う(2026-10-20 のレビュー)@@ -779,6 +838,8 @@ def fetch_source(sources: Path, name: str, url: str, destination: Path) -> int:lacking = missing("pdftotext", "pdftoppm", "tesseract") if saved.suffix == ".pdf" else []if lacking:reason += f"。{'・'.join(lacking)} が無い"+ elif ocr_note and saved.suffix == ".pdf":+ reason += f"。{ocr_note}"print(f"FAIL\t{name}\t{reason}")return 1diff --git a/tests/test_fetch.py b/tests/test_fetch.pyindex f3b7c61..7ebfa9d 100644--- a/tests/test_fetch.py+++ b/tests/test_fetch.py@@ -163,7 +163,7 @@ class FetchPreservationTests(unittest.TestCase):with patch.object(fetch, "download", side_effect=download), \patch.object(fetch, "html_to_md", side_effect=self.markdown("Article body. " * 200)), \patch.object(fetch, "pdf_to_text", side_effect=self.pdf_text("")), \- patch.object(fetch, "ocr_pdf", return_value=""):+ patch.object(fetch, "ocr_pdf", return_value=("", "")):self.assertEqual(self.run_fetch(), 0)self.assertIn("Article body.", (self.sources / "paper.md").read_text(encoding="utf-8"))self.assertFalse((self.sources / "paper.pdf").exists())diff --git a/tests/test_security.py b/tests/test_security.pyindex 0e41f73..aa1c15b 100644--- a/tests/test_security.py+++ b/tests/test_security.py@@ -216,7 +216,7 @@ class ToolLimitTests(unittest.TestCase):pdf.write_bytes(b"%PDF-1.4")self.assertEqual(fetch.pdf_to_text(pdf), "")self.assertFalse(pdf.with_suffix(".txt").exists())- self.assertEqual(fetch.ocr_pdf(pdf), "")+ self.assertEqual(fetch.ocr_pdf(pdf)[0], "")self.assertEqual(fetch.youtube_to_md("https://youtu.be/a", Path(tmp) / "t.md"), "")with patch.object(fetch, "HAS_AX", True):self.assertEqual(fetch.html_to_md("https://example.test/", Path(tmp) / "h.md",@@ -250,7 +250,7 @@ class ToolLimitTests(unittest.TestCase):patch.object(fetch, "missing", return_value=[]):pdf = Path(tmp) / "a.pdf"pdf.with_suffix(".txt").write_text("short text layer", encoding="utf-8")- self.assertEqual(fetch.ocr_if_longer(pdf, "short text layer"), "short text layer")+ self.assertEqual(fetch.ocr_if_longer(pdf, "short text layer")[0], "short text layer")self.assertEqual(pdf.with_suffix(".txt").read_text(encoding="utf-8"), "short text layer")@@ -619,3 +619,95 @@ class DeepSeekSplitReviewTests(unittest.TestCase):if __name__ == "__main__":unittest.main()+++class OcrLanguageTests(unittest.TestCase):+ """#11: OCR が eng 固定で、日本語のスキャン PDF が意味のない英字の列のまま保存されうる。"""++ @staticmethod+ def listing(*names, stream="stdout"):+ text = 'List of available languages in "/x/tessdata/" (%d):\n' % len(names) + "\n".join(names) + "\n"+ out, err = (text, "") if stream == "stdout" else ("", text)+ return lambda cmd, **kw: subprocess.CompletedProcess(cmd, 0, out, err)++ def langs(self, run, env=None):+ with patch.dict(os.environ, env or {}, clear=False), patch.object(fetch, "run_tool", side_effect=run):+ if not env:+ os.environ.pop("IMOZURU_OCR_LANG", None)+ return fetch.ocr_langs()++ def test_adds_japanese_when_installed(self):+ self.assertEqual(self.langs(self.listing("eng", "jpn", "jpn_vert", "osd")), "jpn+jpn_vert+eng")++ def test_old_tesseract_lists_on_stderr(self):+ self.assertEqual(self.langs(self.listing("eng", "jpn", stream="stderr")), "jpn+eng")++ def test_vertical_alone_is_not_taken_for_jpn(self):+ self.assertEqual(self.langs(self.listing("eng", "jpn_vert")), "jpn_vert+eng")++ def test_listing_failure_falls_back_to_eng(self):+ self.assertEqual(self.langs(lambda cmd, **kw: None), "eng")++ def test_environment_overrides(self):+ never = MagicMock(side_effect=AssertionError("一覧は引かない"))+ self.assertEqual(self.langs(never, {"IMOZURU_OCR_LANG": "jpn+eng"}), "jpn+eng")++ def test_malformed_environment_is_ignored(self):+ for bad in ("eng --psm 0", "-l", "eng;x", "jpn+", "../eng"):+ with self.subTest(bad=bad), contextlib.redirect_stderr(io.StringIO()):+ self.assertEqual(self.langs(self.listing("eng"), {"IMOZURU_OCR_LANG": bad}), "eng")++ def fake_tools(self, conf, fail_page=None):+ """pdftoppm は2ページの画像を、tesseract は txt と tsv を書く偽物。"""+ def run(cmd, **kw):+ if cmd[0] == "pdftoppm":+ for n in ("1", "2"):+ Path(f"{cmd[-1]}-{n}.png").write_bytes(b"png")+ return subprocess.CompletedProcess(cmd, 0)+ if cmd[1] == "--list-langs":+ return subprocess.CompletedProcess(cmd, 0, "eng\n", "")+ if fail_page and cmd[1].endswith(f"-{fail_page}.png"):+ return None+ out = Path(cmd[2])+ out.with_suffix(".txt").write_text("HRIRROVRCA WASORRO " * 50, encoding="utf-8")+ out.with_suffix(".tsv").write_text(+ "level\tpage_num\tblock_num\tpar_num\tline_num\tword_num\tleft\ttop\twidth\theight\tconf\ttext\n"+ "4\t1\t1\t1\t1\t0\t0\t0\t9\t9\t-1\t\n"+ f"5\t1\t1\t1\t1\t1\t0\t0\t9\t9\t{conf}\tHRIRROVRCA\n", encoding="utf-8")+ return subprocess.CompletedProcess(cmd, 0, "", "")+ return run++ def ocr(self, run):+ with tempfile.TemporaryDirectory() as tmp, patch.object(fetch, "run_tool", side_effect=run), \+ patch.object(fetch, "missing", return_value=[]), patch.dict(os.environ, {"IMOZURU_OCR_LANG": ""}):+ pdf = Path(tmp) / "a.pdf"+ result = fetch.ocr_pdf(pdf)+ self.assertFalse((Path(tmp) / ".a-ocr").exists()) # 画像の置き場は残さない+ return result++ def test_low_confidence_text_is_not_used(self):+ text, note = self.ocr(self.fake_tools(conf=18.4))+ self.assertEqual(text, "")+ self.assertIn("確信度が低い", note)++ def test_confident_text_is_used(self):+ text, note = self.ocr(self.fake_tools(conf=90))+ self.assertIn("=== page 2 ===", text)+ self.assertEqual(note, "")++ def test_a_timed_out_page_fails_the_whole_ocr(self):+ text, note = self.ocr(self.fake_tools(conf=90, fail_page="2"))+ self.assertEqual(text, "")+ self.assertIn("読めなかったページ", note)++ def test_fail_line_names_the_ocr_reason(self):+ with tempfile.TemporaryDirectory() as tmp, \+ patch.object(fetch, "download", return_value=(b"%PDF-1.4\nscan", "application/pdf")), \+ patch.object(fetch, "pdf_to_text", return_value=""), \+ patch.object(fetch, "missing", return_value=[]), \+ patch.object(fetch, "ocr_pdf", return_value=("", "OCR の確信度が低い(平均 18・言語 eng)")), \+ patch.object(fetch, "resolve", lambda host: {PUBLIC_IP}), \+ contextlib.redirect_stdout(io.StringIO()) as out:+ with patch.object(sys, "argv", ["fetch.py", tmp, "scan", "https://example.test/scan.pdf"]):+ self.assertEqual(fetch.main(), 1)+ self.assertIn("確信度が低い", out.getvalue())