知らない分野を、原文にたどりつくまで芋づる式に掘る Claude Code のスキル
Python
fetch: pdftotext が無いとき、pdfminer.six があればそれで PDF を文字にする(#15)
MaryCache13cda60be3ef
diff --git a/CHANGELOG.md b/CHANGELOG.mdindex 6dba72f..781868f 100644--- a/CHANGELOG.md+++ b/CHANGELOG.md@@ -13,6 +13,7 @@ imozuruのバージョンごとの変更を記録します。### 追加- Codex CLIでの入れ方と呼び方を、日本語・英語のREADMEに追加しました(#18)。+- `pdftotext` が無い環境で、[pdfminer.six](https://github.com/pdfminer/pdfminer.six) が入っていれば、それでPDFの本文を取り出すようにしました(#15)。popplerを入れられない環境でも、文字の層があるPDFは読めます。`pdftotext` と同じく別の処理として時間の上限つきで動かします。文字の層が無いPDFのOCRには、これまでどおり `pdftoppm` と `tesseract` が要ります。### 修正diff --git a/README.en.md b/README.en.mdindex 8498b38..c5ec293 100644--- a/README.en.md+++ b/README.en.md@@ -119,7 +119,7 @@ The scripts run on the Python 3.10+ standard library alone, and use the followin| Command | Used for | When missing ||---|---|---|-| `pdftotext` (poppler or Xpdf) | Extracting text from PDFs | The PDF text cannot be read and the fetch reports `FAIL` |+| `pdftotext` (poppler or Xpdf) | Extracting text from PDFs | Uses [pdfminer.six](https://github.com/pdfminer/pdfminer.six) instead when it is installed (install it into the Python that runs the scripts with `python3 -m pip install --user pdfminer.six`; for environments where poppler cannot be installed). With neither, the fetch reports `FAIL` || `pdftoppm` (poppler or Xpdf) and `tesseract` | OCR for old PDFs with no text layer | That PDF reports `FAIL` || `tesseract` language data `jpn` and `jpn_vert` | Reading Japanese scans, both horizontal and vertical (used automatically when installed; set `IMOZURU_OCR_LANG`, e.g. `jpn+eng`, to choose) | OCR runs in English only; a Japanese PDF reports `FAIL` because the recognition confidence is low || `yt-dlp` | Downloading YouTube captions | Videos report `FAIL` |diff --git a/README.md b/README.mdindex e24ad57..9f503a9 100644--- a/README.md+++ b/README.md@@ -116,7 +116,7 @@ codex --search exec -s workspace-write -c sandbox_workspace_write.network_access| コマンド | 使う場面 | 入っていない場合 ||---|---|---|-| `pdftotext`(popplerかXpdf) | PDFから本文を取り出す | PDFの本文が取れず `FAIL` になる |+| `pdftotext`(popplerかXpdf) | PDFから本文を取り出す | [pdfminer.six](https://github.com/pdfminer/pdfminer.six) が入っていれば、代わりにそれで取り出す(スクリプトを動かすPythonに `python3 -m pip install --user pdfminer.six` で入れる。popplerを入れられない環境向け)。どちらも無ければ `FAIL` になる || `pdftoppm`(popplerかXpdf)と `tesseract` | 文字の層がない古いPDFをOCRにかける | そのPDFは `FAIL` になる || `tesseract` の言語データ `jpn` と `jpn_vert` | 日本語のスキャンPDFを、横書きも縦書きも読む(入っていれば自動で使う。環境変数 `IMOZURU_OCR_LANG` で `jpn+eng` のように指定もできる) | 英語だけで読む。日本語のPDFは読み取りの確信度が低いので `FAIL` になる || `yt-dlp` | YouTubeの字幕を取得する | 動画は `FAIL` になる |diff --git a/skills/imozuru/SKILL.md b/skills/imozuru/SKILL.mdindex 4bcab2a..1f9b5ae 100644--- a/skills/imozuru/SKILL.md+++ b/skills/imozuru/SKILL.md@@ -272,7 +272,7 @@ map.md を下の書式で作り、**問い**と、答えるのに要る**論点*スクリプトは Python 3.10 以上の標準ライブラリだけで動く。外部コマンドはあれば使う(無いときの動きは各行に書いた)。-- `scripts/fetch.py <sources_dir> <name> <url>`: ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。言語は tesseract の言語データに `jpn`・`jpn_vert` があれば英語に足し、環境変数 `IMOZURU_OCR_LANG` があればそれを使う。読み取りの確信度が低いとき(言語データが合わず意味のない字の列になったとき)と、読めなかったページがあるときは OCR の結果を使わず、理由を添えて `FAIL` する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取得はいつも fetch.py 自身が宛先を確かめながら行い、ax には取ってきた HTML を渡して変換だけさせる。HTML のページは、名乗りを変えてもう一度頼み、PDF 本体が返ればそちらを残す(HAL はブラウザの名乗りに閲覧用の HTML を返す)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。PMC(pmc.ncbi.nlm.nih.gov)の記事ページは captcha で取れないので、同じ本文を Europe PMC の全文 XML から取り、見出し・段落・図表の説明・文献を1つずつ1行にした .md にする(題名と書誌は頭の数行。Europe PMC に全文が無ければ `FAIL`)。404・ログインの要求・ボット確認のページ・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。短さの下限は PDF が 3,000字、HTML が 1,000字で、和文の字が3割を超える PDF は HTML と同じ 1,000字で判定する。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す+- `scripts/fetch.py <sources_dir> <name> <url>`: ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf。無ければ pdfminer.six)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。言語は tesseract の言語データに `jpn`・`jpn_vert` があれば英語に足し、環境変数 `IMOZURU_OCR_LANG` があればそれを使う。読み取りの確信度が低いとき(言語データが合わず意味のない字の列になったとき)と、読めなかったページがあるときは OCR の結果を使わず、理由を添えて `FAIL` する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取得はいつも fetch.py 自身が宛先を確かめながら行い、ax には取ってきた HTML を渡して変換だけさせる。HTML のページは、名乗りを変えてもう一度頼み、PDF 本体が返ればそちらを残す(HAL はブラウザの名乗りに閲覧用の HTML を返す)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。PMC(pmc.ncbi.nlm.nih.gov)の記事ページは captcha で取れないので、同じ本文を Europe PMC の全文 XML から取り、見出し・段落・図表の説明・文献を1つずつ1行にした .md にする(題名と書誌は頭の数行。Europe PMC に全文が無ければ `FAIL`)。404・ログインの要求・ボット確認のページ・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。短さの下限は PDF が 3,000字、HTML が 1,000字で、和文の字が3割を超える PDF は HTML と同じ 1,000字で判定する。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す- 動画の場所は行番号の代わりに時刻で指す(`sources/x.md [12:34]`)- `scripts/report.py <topic_dir> [--check]`: extracts.json の抜き書きを原文と照合し、合えば report.html にする。`--check` は照合だけ- `scripts/digest.py add <topic_dir> [--round N] [--by 誰]`: 標準入力の JSON(検索語ごとのヒット)を queries.jsonl に足す。`scripts/digest.py <topic_dir> [--check]` は、digest.json の解説の引用を原文と照合し、合えば検索の記録と合わせて digest.html にするdiff --git a/skills/imozuru/scripts/fetch.py b/skills/imozuru/scripts/fetch.pyindex 40e3e27..67d9ab8 100755--- a/skills/imozuru/scripts/fetch.py+++ b/skills/imozuru/scripts/fetch.py@@ -19,6 +19,7 @@import codecsimport contextlib+import functoolsimport http.clientimport ioimport ipaddress@@ -467,17 +468,50 @@ def _kill_tree(proc: subprocess.Popen) -> None:proc.wait()-def pdf_to_text(pdf: Path) -> str:- """pdftotext で段組みを保ったまま文字にする。行番号で原文を指せるように -layout を使う。+# pdfminer.six で PDF を文字にする小さなプログラム。pdftotext と同じく別の処理で動かし、時間の上限で止められるようにする+PDFMINER = ("import sys\nfrom pdfminer.high_level import extract_text\n"+ "with open(sys.argv[2], 'w', encoding='utf-8', newline='\\n') as f:\n"+ " f.write(extract_text(sys.argv[1]))\n")++[email protected]_cache(maxsize=None)+def has_pdfminer() -> bool:+ """文字にするときと同じ子の処理で、pdfminer.six を読み込めるか。+ この処理の中で調べると、-I で動かしたときに pip install --user で入れたものが見えない"""+ done = run_tool([sys.executable, "-c", "import pdfminer.high_level"], stdout=subprocess.DEVNULL,+ stderr=subprocess.DEVNULL, cwd=Path(__file__).resolve().parent)+ return done is not None and done.returncode == 0- Xpdf の pdftotext(Git for Windows に入っている)は既定で Latin-1 を出すので、- -enc UTF-8 で出力の文字コードを決める。poppler の pdftotext も同じ引数を受け付ける(#3)。++def pdf_text_command(pdf: Path, out: Path) -> list[str] | None:+ """PDF を文字にするコマンド。pdftotext が無ければ pdfminer.six を使う。どちらも無ければ None。++ poppler を入れられない環境(sudo が使えない WSL など)でも、pip で入る pdfminer.six なら+ 文字の層がある PDF まで読める(#15)。行の切れ方は pdftotext と違うが、抜き書きの照合は+ 同じ .txt に対して行うので困らない。文字の層が無い PDF の OCR は pdftoppm が要るまま"""- if missing("pdftotext"):- return ""+ if not missing("pdftotext"):+ # Xpdf の pdftotext(Git for Windows に入っている)は既定で Latin-1 を出すので、+ # -enc UTF-8 で出力の文字コードを決める。poppler の pdftotext も同じ引数を受け付ける(#3)+ return ["pdftotext", "-layout", "-enc", "UTF-8", str(pdf), str(out)]+ if has_pdfminer():+ # 子の処理の作業フォルダは、取ってきたファイルの無いこのスクリプトの置き場にする。+ # python -c は作業フォルダから先に読み込むので、ダウンロードの隣で動かさない+ return [sys.executable, "-c", PDFMINER, str(pdf), str(out)]+ # pipx などで、コマンドだけ PATH にある。Windows は .py を直接は動かせないので使わない+ if os.name != "nt" and not missing("pdf2txt.py"):+ return ["pdf2txt.py", "-o", str(out), str(pdf)]+ return None+++def pdf_to_text(pdf: Path) -> str:+ """PDF を、行番号で原文を指せる文字にする。pdftotext なら段組みを保つ -layout を使う。"""out = pdf.with_suffix(".txt")- done = run_tool(["pdftotext", "-layout", "-enc", "UTF-8", str(pdf), str(out)],- stderr=subprocess.DEVNULL)+ # 子の処理は別の作業フォルダで動かすので、ファイルは絶対パスで渡す+ cmd = pdf_text_command(pdf.resolve(), out.resolve())+ if cmd is None:+ return ""+ done = run_tool(cmd, stderr=subprocess.DEVNULL, cwd=Path(__file__).resolve().parent)# 時間切れの書きかけ、途中で失敗した書きかけ、圧縮を解くと何 GB にもなる PDF の文字は使わない。# 書きかけを使うと、後半を引用できないのに「原文に無い」と読み違えるif done is None or done.returncode != 0 or (out.exists() and out.stat().st_size > MAX_BYTES):@@ -1200,6 +1234,8 @@ def verify_and_save(name: str, text: str, saved: Path, kept: Path, destination:reason = f"壁に当たった({wall})" if wall else f"本文が短すぎる({len(text)}文字)"# PDF の文字起こしに要るコマンドが欠けていたなら、短い理由はたいていそれlacking = missing("pdftotext", "pdftoppm", "tesseract") if saved.suffix == ".pdf" else []+ if "pdftotext" in lacking and pdf_text_command(saved, kept) is not None:+ lacking.remove("pdftotext") # 代わりの pdfminer.six で文字の層は読んだ。足りないのは OCR の道具if lacking:reason += f"。{'・'.join(lacking)} が無い"elif ocr_note and saved.suffix == ".pdf":diff --git a/tests/test_portability.py b/tests/test_portability.pyindex 63ceb7a..3a47a84 100644--- a/tests/test_portability.py+++ b/tests/test_portability.py@@ -6,6 +6,7 @@ import http.serverimport importlib.utilimport ioimport locale+import osimport subprocessimport sysimport tempfile@@ -91,6 +92,61 @@ class PdfToTextTests(unittest.TestCase):self.assertEqual(args[args.index("-enc") + 1], "UTF-8")self.assertEqual(text, "Schizophrénie\n")+ def test_pdfminer_is_used_without_pdftotext(self):+ """pdftotext が無く pdfminer.six があれば、別の処理で pdfminer.six を動かす(#15)。+ 本物の代わりに extract_text だけの pdfminer を置き、子の処理が .txt を UTF-8 で書くところまで見る"""+ with tempfile.TemporaryDirectory() as tmp:+ fake = Path(tmp) / "lib" / "pdfminer"+ fake.mkdir(parents=True)+ (fake / "__init__.py").write_text("", encoding="utf-8")+ (fake / "high_level.py").write_text(+ "def extract_text(path):\n return 'Schizophrénie\\n' + open(path, 'rb').read()[:8].decode()\n",+ encoding="utf-8")+ pdf = Path(tmp) / "paper.pdf"+ pdf.write_bytes(b"%PDF-1.4")+ seen = []++ def spy(cmd, **kwargs):+ seen.append((cmd, kwargs.get("cwd")))+ return real_run_tool(cmd, **kwargs)++ real_run_tool = fetch.run_tool+ with patch.object(fetch, "missing", side_effect=lambda *c: list(c)), \+ patch.object(fetch, "has_pdfminer", return_value=True), \+ patch.object(fetch, "run_tool", side_effect=spy), \+ patch.dict(os.environ, {"PYTHONPATH": str(fake.parent)}):+ text = fetch.pdf_to_text(pdf)+ self.assertEqual(text, "Schizophrénie\n%PDF-1.4")+ cmd, cwd = seen[0]+ self.assertEqual(cmd[:2], [sys.executable, "-c"])+ self.assertEqual(Path(cwd), SCRIPTS) # 取ってきたファイルの隣では動かさない++ def test_has_pdfminer_probes_in_child(self):+ """pdfminer.six の有無は子の処理で調べる。-I で動かした親からは見えない場所に入っていても見つける。"""+ with tempfile.TemporaryDirectory() as tmp:+ fetch.has_pdfminer.cache_clear()+ self.addCleanup(fetch.has_pdfminer.cache_clear)+ with patch.dict(os.environ, {"PYTHONPATH": tmp}):+ self.assertFalse(fetch.has_pdfminer())+ fake = Path(tmp) / "pdfminer"+ fake.mkdir()+ (fake / "__init__.py").write_text("", encoding="utf-8")+ (fake / "high_level.py").write_text("", encoding="utf-8")+ fetch.has_pdfminer.cache_clear()+ self.assertTrue(fetch.has_pdfminer())++ def test_pdf2txt_command_and_no_tool(self):+ """pdfminer.six を読み込めなくても PATH に pdf2txt.py があれば使う。何も無ければ動かさない。"""+ pdf, out = Path("/x/a.pdf"), Path("/x/a.txt")+ expected = None if os.name == "nt" else ["pdf2txt.py", "-o", str(out), str(pdf)] # Windows は .py を動かせない+ with patch.object(fetch, "has_pdfminer", return_value=False):+ with patch.object(fetch, "missing", side_effect=lambda *c: [x for x in c if x != "pdf2txt.py"]):+ self.assertEqual(fetch.pdf_text_command(pdf, out), expected)+ with patch.object(fetch, "missing", side_effect=lambda *c: list(c)), \+ patch.object(fetch, "run_tool") as run:+ self.assertEqual(fetch.pdf_to_text(Path("a.pdf")), "")+ run.assert_not_called()+class _Redirects(http.server.BaseHTTPRequestHandler):def do_GET(self):@@ -201,8 +257,9 @@ class MissingCommandTests(unittest.TestCase):self.stack = contextlib.ExitStack()self.addCleanup(self.stack.close)self.stack.enter_context(contextlib.redirect_stdout(self.stdout))- # どのコマンドも無い環境+ # どのコマンドも無い環境(pdfminer.six も無い)self.stack.enter_context(patch.object(fetch, "missing", side_effect=lambda *c: list(c)))+ self.stack.enter_context(patch.object(fetch, "has_pdfminer", return_value=False))def run_fetch(self, url):with patch.object(sys, "argv", ["fetch.py", str(self.sources), "paper", url]):@@ -214,6 +271,14 @@ class MissingCommandTests(unittest.TestCase):self.assertIn("pdftotext・pdftoppm・tesseract が無い", self.stdout.getvalue())self.assertEqual(list(self.sources.iterdir()), [])+ def test_pdf_with_pdfminer_names_only_ocr_tools(self):+ """pdfminer.six で文字の層を読めたなら、FAIL の理由に pdftotext を挙げない(#15)。"""+ with patch.object(fetch, "has_pdfminer", return_value=True), \+ patch.object(fetch, "run_tool", return_value=subprocess.CompletedProcess([], 0)), \+ patch.object(fetch, "download", return_value=(b"%PDF-1.4\nscan", "application/pdf")):+ self.assertEqual(self.run_fetch("https://example.test/scan.pdf"), 1)+ self.assertIn("。pdftoppm・tesseract が無い", self.stdout.getvalue())+def test_youtube_without_ytdlp_fails_with_reason(self):self.assertEqual(self.run_fetch("https://www.youtube.com/watch?v=example"), 1)self.assertIn("yt-dlp が無い", self.stdout.getvalue())