Skip to content

知らない分野を、原文にたどりつくまで芋づる式に掘る Claude Code のスキル

Python

fetch: pdftotext が無いとき、pdfminer.six があればそれで PDF を文字にする(#15)

MaryCache13cda60be3ef
diff --git a/CHANGELOG.md b/CHANGELOG.md
index 6dba72f..781868f 100644
--- a/CHANGELOG.md
+++ b/CHANGELOG.md
@@ -13,6 +13,7 @@ imozuruのバージョンごとの変更を記録します。
### 追加
- Codex CLIでの入れ方と呼び方を、日本語・英語のREADMEに追加しました(#18)。
+- `pdftotext` が無い環境で、[pdfminer.six](https://github.com/pdfminer/pdfminer.six) が入っていれば、それでPDFの本文を取り出すようにしました(#15)。popplerを入れられない環境でも、文字の層があるPDFは読めます。`pdftotext` と同じく別の処理として時間の上限つきで動かします。文字の層が無いPDFのOCRには、これまでどおり `pdftoppm` と `tesseract` が要ります。
### 修正
diff --git a/README.en.md b/README.en.md
index 8498b38..c5ec293 100644
--- a/README.en.md
+++ b/README.en.md
@@ -119,7 +119,7 @@ The scripts run on the Python 3.10+ standard library alone, and use the followin
| Command | Used for | When missing |
|---|---|---|
-| `pdftotext` (poppler or Xpdf) | Extracting text from PDFs | The PDF text cannot be read and the fetch reports `FAIL` |
+| `pdftotext` (poppler or Xpdf) | Extracting text from PDFs | Uses [pdfminer.six](https://github.com/pdfminer/pdfminer.six) instead when it is installed (install it into the Python that runs the scripts with `python3 -m pip install --user pdfminer.six`; for environments where poppler cannot be installed). With neither, the fetch reports `FAIL` |
| `pdftoppm` (poppler or Xpdf) and `tesseract` | OCR for old PDFs with no text layer | That PDF reports `FAIL` |
| `tesseract` language data `jpn` and `jpn_vert` | Reading Japanese scans, both horizontal and vertical (used automatically when installed; set `IMOZURU_OCR_LANG`, e.g. `jpn+eng`, to choose) | OCR runs in English only; a Japanese PDF reports `FAIL` because the recognition confidence is low |
| `yt-dlp` | Downloading YouTube captions | Videos report `FAIL` |
diff --git a/README.md b/README.md
index e24ad57..9f503a9 100644
--- a/README.md
+++ b/README.md
@@ -116,7 +116,7 @@ codex --search exec -s workspace-write -c sandbox_workspace_write.network_access
| コマンド | 使う場面 | 入っていない場合 |
|---|---|---|
-| `pdftotext`(popplerかXpdf) | PDFから本文を取り出す | PDFの本文が取れず `FAIL` になる |
+| `pdftotext`(popplerかXpdf) | PDFから本文を取り出す | [pdfminer.six](https://github.com/pdfminer/pdfminer.six) が入っていれば、代わりにそれで取り出す(スクリプトを動かすPythonに `python3 -m pip install --user pdfminer.six` で入れる。popplerを入れられない環境向け)。どちらも無ければ `FAIL` になる |
| `pdftoppm`(popplerかXpdf)と `tesseract` | 文字の層がない古いPDFをOCRにかける | そのPDFは `FAIL` になる |
| `tesseract` の言語データ `jpn` と `jpn_vert` | 日本語のスキャンPDFを、横書きも縦書きも読む(入っていれば自動で使う。環境変数 `IMOZURU_OCR_LANG` で `jpn+eng` のように指定もできる) | 英語だけで読む。日本語のPDFは読み取りの確信度が低いので `FAIL` になる |
| `yt-dlp` | YouTubeの字幕を取得する | 動画は `FAIL` になる |
diff --git a/skills/imozuru/SKILL.md b/skills/imozuru/SKILL.md
index 4bcab2a..1f9b5ae 100644
--- a/skills/imozuru/SKILL.md
+++ b/skills/imozuru/SKILL.md
@@ -272,7 +272,7 @@ map.md を下の書式で作り、**問い**と、答えるのに要る**論点*
スクリプトは Python 3.10 以上の標準ライブラリだけで動く。外部コマンドはあれば使う(無いときの動きは各行に書いた)。
-- `scripts/fetch.py <sources_dir> <name> <url>`: ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。言語は tesseract の言語データに `jpn`・`jpn_vert` があれば英語に足し、環境変数 `IMOZURU_OCR_LANG` があればそれを使う。読み取りの確信度が低いとき(言語データが合わず意味のない字の列になったとき)と、読めなかったページがあるときは OCR の結果を使わず、理由を添えて `FAIL` する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取得はいつも fetch.py 自身が宛先を確かめながら行い、ax には取ってきた HTML を渡して変換だけさせる。HTML のページは、名乗りを変えてもう一度頼み、PDF 本体が返ればそちらを残す(HAL はブラウザの名乗りに閲覧用の HTML を返す)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。PMC(pmc.ncbi.nlm.nih.gov)の記事ページは captcha で取れないので、同じ本文を Europe PMC の全文 XML から取り、見出し・段落・図表の説明・文献を1つずつ1行にした .md にする(題名と書誌は頭の数行。Europe PMC に全文が無ければ `FAIL`)。404・ログインの要求・ボット確認のページ・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。短さの下限は PDF が 3,000字、HTML が 1,000字で、和文の字が3割を超える PDF は HTML と同じ 1,000字で判定する。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す
+- `scripts/fetch.py <sources_dir> <name> <url>`: ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf。無ければ pdfminer.six)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。言語は tesseract の言語データに `jpn`・`jpn_vert` があれば英語に足し、環境変数 `IMOZURU_OCR_LANG` があればそれを使う。読み取りの確信度が低いとき(言語データが合わず意味のない字の列になったとき)と、読めなかったページがあるときは OCR の結果を使わず、理由を添えて `FAIL` する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取得はいつも fetch.py 自身が宛先を確かめながら行い、ax には取ってきた HTML を渡して変換だけさせる。HTML のページは、名乗りを変えてもう一度頼み、PDF 本体が返ればそちらを残す(HAL はブラウザの名乗りに閲覧用の HTML を返す)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。PMC(pmc.ncbi.nlm.nih.gov)の記事ページは captcha で取れないので、同じ本文を Europe PMC の全文 XML から取り、見出し・段落・図表の説明・文献を1つずつ1行にした .md にする(題名と書誌は頭の数行。Europe PMC に全文が無ければ `FAIL`)。404・ログインの要求・ボット確認のページ・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。短さの下限は PDF が 3,000字、HTML が 1,000字で、和文の字が3割を超える PDF は HTML と同じ 1,000字で判定する。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す
- 動画の場所は行番号の代わりに時刻で指す(`sources/x.md [12:34]`)
- `scripts/report.py <topic_dir> [--check]`: extracts.json の抜き書きを原文と照合し、合えば report.html にする。`--check` は照合だけ
- `scripts/digest.py add <topic_dir> [--round N] [--by 誰]`: 標準入力の JSON(検索語ごとのヒット)を queries.jsonl に足す。`scripts/digest.py <topic_dir> [--check]` は、digest.json の解説の引用を原文と照合し、合えば検索の記録と合わせて digest.html にする
diff --git a/skills/imozuru/scripts/fetch.py b/skills/imozuru/scripts/fetch.py
index 40e3e27..67d9ab8 100755
--- a/skills/imozuru/scripts/fetch.py
+++ b/skills/imozuru/scripts/fetch.py
@@ -19,6 +19,7 @@
import codecs
import contextlib
+import functools
import http.client
import io
import ipaddress
@@ -467,17 +468,50 @@ def _kill_tree(proc: subprocess.Popen) -> None:
proc.wait()
-def pdf_to_text(pdf: Path) -> str:
- """pdftotext で段組みを保ったまま文字にする。行番号で原文を指せるように -layout を使う。
+# pdfminer.six で PDF を文字にする小さなプログラム。pdftotext と同じく別の処理で動かし、時間の上限で止められるようにする
+PDFMINER = ("import sys\nfrom pdfminer.high_level import extract_text\n"
+ "with open(sys.argv[2], 'w', encoding='utf-8', newline='\\n') as f:\n"
+ " f.write(extract_text(sys.argv[1]))\n")
+
+
[email protected]_cache(maxsize=None)
+def has_pdfminer() -> bool:
+ """文字にするときと同じ子の処理で、pdfminer.six を読み込めるか。
+ この処理の中で調べると、-I で動かしたときに pip install --user で入れたものが見えない"""
+ done = run_tool([sys.executable, "-c", "import pdfminer.high_level"], stdout=subprocess.DEVNULL,
+ stderr=subprocess.DEVNULL, cwd=Path(__file__).resolve().parent)
+ return done is not None and done.returncode == 0
- Xpdf の pdftotext(Git for Windows に入っている)は既定で Latin-1 を出すので、
- -enc UTF-8 で出力の文字コードを決める。poppler の pdftotext も同じ引数を受け付ける(#3)。
+
+def pdf_text_command(pdf: Path, out: Path) -> list[str] | None:
+ """PDF を文字にするコマンド。pdftotext が無ければ pdfminer.six を使う。どちらも無ければ None。
+
+ poppler を入れられない環境(sudo が使えない WSL など)でも、pip で入る pdfminer.six なら
+ 文字の層がある PDF まで読める(#15)。行の切れ方は pdftotext と違うが、抜き書きの照合は
+ 同じ .txt に対して行うので困らない。文字の層が無い PDF の OCR は pdftoppm が要るまま
"""
- if missing("pdftotext"):
- return ""
+ if not missing("pdftotext"):
+ # Xpdf の pdftotext(Git for Windows に入っている)は既定で Latin-1 を出すので、
+ # -enc UTF-8 で出力の文字コードを決める。poppler の pdftotext も同じ引数を受け付ける(#3)
+ return ["pdftotext", "-layout", "-enc", "UTF-8", str(pdf), str(out)]
+ if has_pdfminer():
+ # 子の処理の作業フォルダは、取ってきたファイルの無いこのスクリプトの置き場にする。
+ # python -c は作業フォルダから先に読み込むので、ダウンロードの隣で動かさない
+ return [sys.executable, "-c", PDFMINER, str(pdf), str(out)]
+ # pipx などで、コマンドだけ PATH にある。Windows は .py を直接は動かせないので使わない
+ if os.name != "nt" and not missing("pdf2txt.py"):
+ return ["pdf2txt.py", "-o", str(out), str(pdf)]
+ return None
+
+
+def pdf_to_text(pdf: Path) -> str:
+ """PDF を、行番号で原文を指せる文字にする。pdftotext なら段組みを保つ -layout を使う。"""
out = pdf.with_suffix(".txt")
- done = run_tool(["pdftotext", "-layout", "-enc", "UTF-8", str(pdf), str(out)],
- stderr=subprocess.DEVNULL)
+ # 子の処理は別の作業フォルダで動かすので、ファイルは絶対パスで渡す
+ cmd = pdf_text_command(pdf.resolve(), out.resolve())
+ if cmd is None:
+ return ""
+ done = run_tool(cmd, stderr=subprocess.DEVNULL, cwd=Path(__file__).resolve().parent)
# 時間切れの書きかけ、途中で失敗した書きかけ、圧縮を解くと何 GB にもなる PDF の文字は使わない。
# 書きかけを使うと、後半を引用できないのに「原文に無い」と読み違える
if done is None or done.returncode != 0 or (out.exists() and out.stat().st_size > MAX_BYTES):
@@ -1200,6 +1234,8 @@ def verify_and_save(name: str, text: str, saved: Path, kept: Path, destination:
reason = f"壁に当たった({wall})" if wall else f"本文が短すぎる({len(text)}文字)"
# PDF の文字起こしに要るコマンドが欠けていたなら、短い理由はたいていそれ
lacking = missing("pdftotext", "pdftoppm", "tesseract") if saved.suffix == ".pdf" else []
+ if "pdftotext" in lacking and pdf_text_command(saved, kept) is not None:
+ lacking.remove("pdftotext") # 代わりの pdfminer.six で文字の層は読んだ。足りないのは OCR の道具
if lacking:
reason += f"。{'・'.join(lacking)} が無い"
elif ocr_note and saved.suffix == ".pdf":
diff --git a/tests/test_portability.py b/tests/test_portability.py
index 63ceb7a..3a47a84 100644
--- a/tests/test_portability.py
+++ b/tests/test_portability.py
@@ -6,6 +6,7 @@ import http.server
import importlib.util
import io
import locale
+import os
import subprocess
import sys
import tempfile
@@ -91,6 +92,61 @@ class PdfToTextTests(unittest.TestCase):
self.assertEqual(args[args.index("-enc") + 1], "UTF-8")
self.assertEqual(text, "Schizophrénie\n")
+ def test_pdfminer_is_used_without_pdftotext(self):
+ """pdftotext が無く pdfminer.six があれば、別の処理で pdfminer.six を動かす(#15)。
+ 本物の代わりに extract_text だけの pdfminer を置き、子の処理が .txt を UTF-8 で書くところまで見る"""
+ with tempfile.TemporaryDirectory() as tmp:
+ fake = Path(tmp) / "lib" / "pdfminer"
+ fake.mkdir(parents=True)
+ (fake / "__init__.py").write_text("", encoding="utf-8")
+ (fake / "high_level.py").write_text(
+ "def extract_text(path):\n return 'Schizophrénie\\n' + open(path, 'rb').read()[:8].decode()\n",
+ encoding="utf-8")
+ pdf = Path(tmp) / "paper.pdf"
+ pdf.write_bytes(b"%PDF-1.4")
+ seen = []
+
+ def spy(cmd, **kwargs):
+ seen.append((cmd, kwargs.get("cwd")))
+ return real_run_tool(cmd, **kwargs)
+
+ real_run_tool = fetch.run_tool
+ with patch.object(fetch, "missing", side_effect=lambda *c: list(c)), \
+ patch.object(fetch, "has_pdfminer", return_value=True), \
+ patch.object(fetch, "run_tool", side_effect=spy), \
+ patch.dict(os.environ, {"PYTHONPATH": str(fake.parent)}):
+ text = fetch.pdf_to_text(pdf)
+ self.assertEqual(text, "Schizophrénie\n%PDF-1.4")
+ cmd, cwd = seen[0]
+ self.assertEqual(cmd[:2], [sys.executable, "-c"])
+ self.assertEqual(Path(cwd), SCRIPTS) # 取ってきたファイルの隣では動かさない
+
+ def test_has_pdfminer_probes_in_child(self):
+ """pdfminer.six の有無は子の処理で調べる。-I で動かした親からは見えない場所に入っていても見つける。"""
+ with tempfile.TemporaryDirectory() as tmp:
+ fetch.has_pdfminer.cache_clear()
+ self.addCleanup(fetch.has_pdfminer.cache_clear)
+ with patch.dict(os.environ, {"PYTHONPATH": tmp}):
+ self.assertFalse(fetch.has_pdfminer())
+ fake = Path(tmp) / "pdfminer"
+ fake.mkdir()
+ (fake / "__init__.py").write_text("", encoding="utf-8")
+ (fake / "high_level.py").write_text("", encoding="utf-8")
+ fetch.has_pdfminer.cache_clear()
+ self.assertTrue(fetch.has_pdfminer())
+
+ def test_pdf2txt_command_and_no_tool(self):
+ """pdfminer.six を読み込めなくても PATH に pdf2txt.py があれば使う。何も無ければ動かさない。"""
+ pdf, out = Path("/x/a.pdf"), Path("/x/a.txt")
+ expected = None if os.name == "nt" else ["pdf2txt.py", "-o", str(out), str(pdf)] # Windows は .py を動かせない
+ with patch.object(fetch, "has_pdfminer", return_value=False):
+ with patch.object(fetch, "missing", side_effect=lambda *c: [x for x in c if x != "pdf2txt.py"]):
+ self.assertEqual(fetch.pdf_text_command(pdf, out), expected)
+ with patch.object(fetch, "missing", side_effect=lambda *c: list(c)), \
+ patch.object(fetch, "run_tool") as run:
+ self.assertEqual(fetch.pdf_to_text(Path("a.pdf")), "")
+ run.assert_not_called()
+
class _Redirects(http.server.BaseHTTPRequestHandler):
def do_GET(self):
@@ -201,8 +257,9 @@ class MissingCommandTests(unittest.TestCase):
self.stack = contextlib.ExitStack()
self.addCleanup(self.stack.close)
self.stack.enter_context(contextlib.redirect_stdout(self.stdout))
- # どのコマンドも無い環境
+ # どのコマンドも無い環境(pdfminer.six も無い)
self.stack.enter_context(patch.object(fetch, "missing", side_effect=lambda *c: list(c)))
+ self.stack.enter_context(patch.object(fetch, "has_pdfminer", return_value=False))
def run_fetch(self, url):
with patch.object(sys, "argv", ["fetch.py", str(self.sources), "paper", url]):
@@ -214,6 +271,14 @@ class MissingCommandTests(unittest.TestCase):
self.assertIn("pdftotext・pdftoppm・tesseract が無い", self.stdout.getvalue())
self.assertEqual(list(self.sources.iterdir()), [])
+ def test_pdf_with_pdfminer_names_only_ocr_tools(self):
+ """pdfminer.six で文字の層を読めたなら、FAIL の理由に pdftotext を挙げない(#15)。"""
+ with patch.object(fetch, "has_pdfminer", return_value=True), \
+ patch.object(fetch, "run_tool", return_value=subprocess.CompletedProcess([], 0)), \
+ patch.object(fetch, "download", return_value=(b"%PDF-1.4\nscan", "application/pdf")):
+ self.assertEqual(self.run_fetch("https://example.test/scan.pdf"), 1)
+ self.assertIn("。pdftoppm・tesseract が無い", self.stdout.getvalue())
+
def test_youtube_without_ytdlp_fails_with_reason(self):
self.assertEqual(self.run_fetch("https://www.youtube.com/watch?v=example"), 1)
self.assertIn("yt-dlp が無い", self.stdout.getvalue())