知らない分野を、原文にたどりつくまで芋づる式に掘る Claude Code のスキル
Python
Merge pull request #12: PMC は Europe PMC の全文 XML から取る
MaryCacheb9d91d512c00
diff --cc skills/imozuru/SKILL.mdindex 738a355,c0968a7..9df94a2--- a/skills/imozuru/SKILL.md+++ b/skills/imozuru/SKILL.md@@@ -263,13 -225,11 +263,13 @@@ map.md を下の書式で作り、**問スクリプトは Python 3.10 以上の標準ライブラリだけで動く。外部コマンドは、あれば使う(無いときの動きは各行に書いた)。- - `scripts/fetch.py <sources_dir> <name> <url>` — ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。言語は tesseract の言語データに `jpn`・`jpn_vert` があれば英語に足し、環境変数 `IMOZURU_OCR_LANG` があればそれを使う。読み取りの確信度が低いとき(言語データが合わず意味のない字の列になったとき)と、読めなかったページがあるときは OCR の結果を使わず、理由を添えて `FAIL` する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取得はいつも fetch.py 自身が宛先を確かめながら行い、ax には取ってきた HTML を渡して変換だけさせる。HTML のページは、名乗りを変えてもう一度頼み、PDF 本体が返ればそちらを残す(HAL はブラウザの名乗りに閲覧用の HTML を返す)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。404・ログインの要求・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。短さの下限は PDF が 3,000字、HTML が 1,000字で、和文の字が3割を超える PDF は HTML と同じ 1,000字で判定する。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す+ - `scripts/fetch.py <sources_dir> <name> <url>` — ダウンロードして本物か確かめる。PDF は .pdf と .txt(`pdftotext -layout`・poppler か Xpdf)、HTML は .md、YouTube は字幕を `[分:秒] 文` の .md(`yt-dlp`・動画は保存しない)。文字の層が無い PDF は `pdftoppm` と `tesseract` で OCR する。言語は tesseract の言語データに `jpn`・`jpn_vert` があれば英語に足し、環境変数 `IMOZURU_OCR_LANG` があればそれを使う。読み取りの確信度が低いとき(言語データが合わず意味のない字の列になったとき)と、読めなかったページがあるときは OCR の結果を使わず、理由を添えて `FAIL` する。要るコマンドが無いときは、無いコマンドの名前を書いて `FAIL` する。HTML は [ax](https://github.com/yusukebe/ax) があれば ax で、無ければ標準ライブラリで本文を文字にする(見出しや表の形は ax のほうが残る)。取得はいつも fetch.py 自身が宛先を確かめながら行い、ax には取ってきた HTML を渡して変換だけさせる。HTML のページは、名乗りを変えてもう一度頼み、PDF 本体が返ればそちらを残す(HAL はブラウザの名乗りに閲覧用の HTML を返す)。取ってきたものは作業用のフォルダで検査し、通ったものだけを sources_dir へ移す。PMC(pmc.ncbi.nlm.nih.gov)の記事ページは captcha で取れないので、同じ本文を Europe PMC の全文 XML から取り、見出し・段落・図表の説明・文献を1つずつ1行にした .md にする(題名と書誌は頭の数行。Europe PMC に全文が無ければ `FAIL`)。404・ログインの要求・ボット確認のページ・短すぎる本文は `FAIL`(同じ名前の原文がすでにあれば、そのまま残る)。短さの下限は PDF が 3,000字、HTML が 1,000字で、和文の字が3割を超える PDF は HTML と同じ 1,000字で判定する。X は本文が取れないので取りに行かず `FAIL`=URL と、検索役が拾った抜粋を(未確認)で map.md に残す- 動画の場所は行番号の代わりに時刻で指す(`sources/x.md [12:34]`)- `scripts/report.py <topic_dir> [--check]` — extracts.json の抜き書きを原文と照合し、合えば report.html にする。`--check` は照合だけ+- `scripts/digest.py add <topic_dir> [--round N] [--by 誰]` — 標準入力の JSON(検索語ごとのヒット)を queries.jsonl に足す。`scripts/digest.py <topic_dir> [--check]` — digest.json の解説の引用を原文と照合し、合えば検索の記録と合わせて digest.html にする+- `scripts/dashboard.py [research_dir] [--runs runs.md]` — 調査の置き場(既定 `~/research`)を走査して、調べものの履歴のページ `index.html` を作る。ホームに区切った理由・原文を取得した媒体・たどった周の数の集計、左の一覧から各調査の詳細(論点・周・原文・文書へのリンク)。数字はフォルダの記録から数え、記録の無い所は「記録なし」と出す- `scripts/watch.py add|list|check` — 見張り。RSS / Atom を引いて前回からの新着を出す。検索を使わないので費用はかからず結果も揺れない。DOCTYPE・ENTITY を含むフィードは安全のため読まない。フィードの場所にタブや改行が入っていたら足さない-- `scripts/chain.py find|refs|cites|author` — OpenAlex で引用と著者をたどる。1日 1,000 回まで無料の枠で、プリペイド残高が 0 なら超えても止まるだけ。**API キーや支払いの登録はしない**。古めの論文に強く、新しい論文と同名の多い著者に弱い(author は名前の検索の1位を使うので、同名の別人の論文を返すことがある。出力の「# 別の候補」に別人の ID が並ぶので、所属と論文数で確かめ、違えば `chain.py author A…` で引き直す。ただし OpenAlex の著者の記録は、古い論文ほど当てにならない。著者の欄に ID が無い論文や、同名の何人もの論文を1人にまとめた記録がある(試行では、情報探索の Ellis の 1989 年の論文には ID が無く、1993 年の論文は所属が国際ポテトセンターで論文289本の記録に入っていた)。著者で追うときは、所属先や本人のページにある論文の一覧を検索役に探させ、chain.py author の結果はその一覧と突き合わせる)+- `scripts/chain.py find|refs|cites|author [--log <topic_dir> --round N]` — OpenAlex で引用と著者をたどる。`--log` を付けると出した一覧を queries.jsonl に足す。1日 1,000 回まで無料の枠で、プリペイド残高が 0 なら超えても止まるだけ。**API キーや支払いの登録はしない**。古めの論文に強く、新しい論文と同名の多い著者に弱い(author は名前の検索の1位を使うので、同名の別人の論文を返すことがある。出力の「# 別の候補」に別人の ID が並ぶので、所属と論文数で確かめ、違えば `chain.py author A…` で引き直す。ただし OpenAlex の著者の記録は、古い論文ほど当てにならない。著者の欄に ID が無い論文や、同名の何人もの論文を1人にまとめた記録がある(試行では、情報探索の Ellis の 1989 年の論文には ID が無く、1993 年の論文は所属が国際ポテトセンターで論文289本の記録に入っていた)。著者で追うときは、所属先や本人のページにある論文の一覧を検索役に探させ、chain.py author の結果はその一覧と突き合わせる)- ファイル名は `<著者>-<年>-<短い題>`、arXiv は `arxiv-<番号>-<短い題>`## 境界