知らない分野を、原文にたどりつくまで芋づる式に掘る Claude Code のスキル
Python
report: 表に無い原文は、取得の記録(fetch-log.jsonl)の URL で元のページへのリンクを付ける
MaryCache96381ae4752e
diff --git a/CHANGELOG.md b/CHANGELOG.mdindex 9b14e3b..3daf89c 100644--- a/CHANGELOG.md+++ b/CHANGELOG.md@@ -15,7 +15,7 @@ mainにコミットが入るたびに、使っている人へ更新が届きま- 文書を開けなかったときは、札に理由と次の行動を出します。理由は「サーバーが止まっている」「PCに届かない」「合言葉を確かめられない」「文書が見つからない」に分けます。札のボタンで読み直せます。- 10秒を超えても読み終わらないときは、サーバーが動いているかを確かめてから、まだ読み込んでいるのか止まっているのかを札に出します。- サーバーに届かないときの代わりの画面を、端末に置くようにしました。配信した画面(`--serve`)を一度開くとservice workerが入り、次からはサーバーが止まっていても白い画面にならず、理由の札を出します。札は5秒ごとにサーバーを確かめ、戻ったら自動で開き直します。端末に置くのは代わりの画面だけで、調査の中身は置きません。-- 抜き書きと詳細レポートの引用に、元のページへのリンク「元のページを開く」を付けるようにしました(#16、yuki-kogetsuさんの報告と案)。URLはmap.mdの「原文(sources/)」の表の「元の URL」の列から引き、`http://`か`https://`で始まる完全なURLだけをリンクにします。「ファイル」の列は、読点・カンマ・中黒・全角の「/」で並べた書き方、`a.pdf/.txt`のようにPDFとその文字起こしを1つに書いた書き方、括弧の注記、`sources/`付きの書き方を読み分けます。1行にURLが複数あってファイルの数と合わないときは、リンクを付けません。抜き書きの`url`で、表に無い原文にもリンクを付けられます。+- 抜き書きと詳細レポートの引用に、元のページへのリンク「元のページを開く」を付けるようにしました(#16、yuki-kogetsuさんの報告と案)。URLはmap.mdの「原文(sources/)」の表の「元の URL」の列から引き、`http://`か`https://`で始まる完全なURLだけをリンクにします。「ファイル」の列は、読点・カンマ・中黒・全角の「/」で並べた書き方、`a.pdf/.txt`のようにPDFとその文字起こしを1つに書いた書き方、括弧の注記、`sources/`付きの書き方を読み分けます。1行にURLが複数あってファイルの数と合わないときは、リンクを付けません。表に無い原文は、取得の記録(fetch-log.jsonl)で取得に成功したURLを使います。抜き書きの`url`で、どちらにも無い原文にもリンクを付けられます。### 修正diff --git a/skills/imozuru/SKILL.md b/skills/imozuru/SKILL.mdindex ab376e5..4bcab2a 100644--- a/skills/imozuru/SKILL.md+++ b/skills/imozuru/SKILL.md@@ -153,7 +153,7 @@ map.md を下の書式で作り、**問い**と、答えるのに要る**論点*原文を何十本も保存しただけでは読まれない(英語の PDF や1時間の字幕のまま)。かといって要約すると、早すぎる結論を招く。だから止めたら、**抜き書き**(Ellis の extracting)でページを作り、それを最初に渡す。-1. `<topic_dir>/extracts.json` を書く。調査の論点ごとに節を立て、原文から**そのまま切り出した文**を並べる(ファイル・行・必要なら `end`)。英語には `ja` に訳を添える(訳だと分かる印がページに付く)。印(〔本人〕自動字幕 など)は `mark` に。元のページへのリンクは、map.md の「原文(sources/)」の表の「元の URL」から自動で付く(http(s) の完全な URL だけ)。表に無い原文に付けたいときだけ `url` に書く。2段組の PDF のように左右の段が1行に混ざる所は、抜き書きを「…」で区切ると区切りごとに順に照合される(省いたことはページにも「…」で見える)。食い違いは `disagreements` に並べるだけで、どれが正しいかは書かない。届かなかったものは `unreached` に。形の手本はリポジトリの `examples/demo/extracts.json`+1. `<topic_dir>/extracts.json` を書く。調査の論点ごとに節を立て、原文から**そのまま切り出した文**を並べる(ファイル・行・必要なら `end`)。英語には `ja` に訳を添える(訳だと分かる印がページに付く)。印(〔本人〕自動字幕 など)は `mark` に。元のページへのリンクは、map.md の「原文(sources/)」の表の「元の URL」から、表に無ければ取得の記録(fetch-log.jsonl)から自動で付く(http(s) の完全な URL だけ)。どちらにも無い原文に付けたいときだけ `url` に書く。2段組の PDF のように左右の段が1行に混ざる所は、抜き書きを「…」で区切ると区切りごとに順に照合される(省いたことはページにも「…」で見える)。食い違いは `disagreements` に並べるだけで、どれが正しいかは書かない。届かなかったものは `unreached` に。形の手本はリポジトリの `examples/demo/extracts.json`形は report.py の冒頭と同じ(`?` は省いてよい)。```{"title", "question", "stopped",diff --git a/skills/imozuru/scripts/report.py b/skills/imozuru/scripts/report.pyindex bdf5bce..331b018 100644--- a/skills/imozuru/scripts/report.py+++ b/skills/imozuru/scripts/report.py@@ -19,7 +19,7 @@ extracts.json の形(例はリポジトリの examples/demo/extracts.json):"quotes": [{"file", "line", "end"?, "text", "ja"?, "mark"?, "context_note"?, "url"?}]}],"disagreements"?: [{"topic", "quotes": [{..., "who"}]}],"unreached"?: ["..."]}-引用の元のページへのリンクは "url" か、無ければ map.md の「原文(sources/)」の表の「元の URL」から付ける。+引用の元のページへのリンクは "url" か、無ければ map.md の「原文(sources/)」の表の「元の URL」か取得の記録(fetch-log.jsonl)から付ける。"""import fnmatch@@ -184,24 +184,65 @@ def _source_rows(map_path: str, _mtime: int) -> tuple:return tuple(rows)+@lru_cache(maxsize=64)+def _fetched(log_path: str, _mtime: int) -> tuple[dict, dict]:+ """取得の記録(fetch-log.jsonl)から、取得に成功した原文の URL を引く表を作る。(ファイル名→URL, 保存名→URL)。+ fetch.py は status と sources/ の中の名前を、ほかの取得の道具は result と sources/ 付きの名前を書いていた。+ 同じ原文を取り直した行は、あとの行(いちばん新しい取得)を使う"""+ by_file, by_stem = {}, {}+ try:+ lines = Path(log_path).read_text(encoding="utf-8", errors="replace").splitlines()+ except OSError:+ return by_file, by_stem+ for line in lines:+ try:+ r = json.loads(line)+ except ValueError:+ continue+ if not isinstance(r, dict) or "OK" not in (r.get("status"), r.get("result")):+ continue+ url = link_url(r.get("url"))+ if not url:+ continue+ file = r.get("file")+ if isinstance(file, str) and file:+ file = re.sub(r"^sources/", "", file)+ by_file[file] = by_file[Path(file).name] = url+ by_stem[Path(file).stem] = url+ if isinstance(r.get("name"), str) and r["name"]:+ by_stem[r["name"]] = url+ return by_file, by_stem++def source_url(src_dir: Path, file: str) -> str:- """引用の原文(sources/ からの相対)の元の URL を、map.md の「原文(sources/)」の表から引く。見つからなければ空"""- map_path = Path(src_dir).parent / "map.md"+ """引用の原文(sources/ からの相対)の元の URL を引く。見つからなければ空。+ map.md の「原文(sources/)」の表を先に見て、無ければ取得の記録(fetch-log.jsonl)を見る。+ 手元では、引用された原文 765 本のうち表から引けるのは 418 本で、取得の記録も見ると 509 本になった。+ 表は書き手が整えたものなので、名前がそのまま合う行を表・記録の順に探し、拡張子だけが違う行は最後に表・記録の順に探す"""+ topic = Path(src_dir).parent+ rows, (log_file, log_stem) = (), ({}, {})try:- mtime = map_path.stat().st_mtime_ns+ rows = _source_rows(str(topic / "map.md"), (topic / "map.md").stat().st_mtime_ns)except OSError:- return ""- rows = _source_rows(str(map_path), mtime)+ pass+ try:+ log_file, log_stem = _fetched(str(topic / "fetch-log.jsonl"), (topic / "fetch-log.jsonl").stat().st_mtime_ns)+ except OSError:+ passwanted = {file, Path(file).name}for names, url in rows:if any(n in wanted or ("*" in n and fnmatch.fnmatchcase(Path(file).name, n)) for n in names):return url- # 名前が合う行が無いときだけ、拡張子を除いた名前で照合する。表に a.md と書いて、実物は文字起こしの a.txt という行があった+ for n in (file, Path(file).name):+ if n in log_file:+ return log_file[n]+ # 名前が合う行が無いときだけ、拡張子を除いた名前で照合する。表に a.md と書いて実物は文字起こしの a.txt という行や、+ # 記録には取った a.pdf だけがあって引用は文字起こしの a.txt という行があったstem = Path(file).stemfor names, url in rows:if any("*" not in n and Path(n).stem == stem for n in names):return url- return ""+ return log_stem.get(stem, "")# 外へ出るリンクの印。ほかの印と同じく文字ではなく線の絵にするdiff --git a/tests/test_report_links.py b/tests/test_report_links.pyindex 33c8bc1..65876bc 100644--- a/tests/test_report_links.py+++ b/tests/test_report_links.py@@ -109,6 +109,51 @@ class SourceUrlTests(unittest.TestCase):self.assertEqual(self.url("a-paper.txt"), "")+class FetchLogTests(unittest.TestCase):+ """表から引けない原文は、取得の記録(fetch-log.jsonl)の URL を使う"""++ LOG = [+ {"url": "https://example.org/old", "name": "p-post", "status": "OK", "file": "p-post.md"},+ {"url": "https://example.org/p", "name": "p-post", "status": "OK", "file": "p-post.md"},+ {"url": "https://example.org/q", "name": "q-post", "status": "FAIL", "reason": "403"},+ {"time": "2026-10-24T22:21:13", "name": "r-post", "url": "https://example.org/r", "result": "OK", "file": "sources/r-post.md"},+ {"url": "https://example.org/s.pdf", "name": "s-paper", "status": "OK", "file": "s-paper.pdf"},+ {"url": "javascript:alert(1)", "name": "t-post", "status": "OK", "file": "t-post.md"},+ {"url": "https://example.org/log-a", "name": "a-paper", "status": "OK", "file": "a-paper.txt"},+ ]++ def setUp(self):+ tmp = tempfile.TemporaryDirectory()+ self.addCleanup(tmp.cleanup)+ self.topic = Path(tmp.name)+ (self.topic / "sources").mkdir()+ (self.topic / "map.md").write_text(MAP, encoding="utf-8")+ (self.topic / "fetch-log.jsonl").write_text(+ "\n".join(report.json.dumps(r) for r in self.LOG) + "\n壊れた行\n", encoding="utf-8")+ self.src = self.topic / "sources"++ def url(self, file):+ return report.source_url(self.src, file)++ def test_latest_successful_fetch_is_used(self):+ self.assertEqual(self.url("p-post.md"), "https://example.org/p")+ self.assertEqual(self.url("r-post.md"), "https://example.org/r")++ def test_failed_or_unsafe_fetches_are_not_linked(self):+ self.assertEqual(self.url("q-post.md"), "")+ self.assertEqual(self.url("t-post.md"), "")++ def test_text_file_of_a_fetched_pdf_matches_by_stem(self):+ self.assertEqual(self.url("s-paper.txt"), "https://example.org/s.pdf")++ def test_table_wins_over_the_log(self):+ self.assertEqual(self.url("a-paper.txt"), "https://example.org/a.pdf")++ def test_without_map_the_log_is_still_used(self):+ (self.topic / "map.md").unlink()+ self.assertEqual(self.url("a-paper.txt"), "https://example.org/log-a")++class QuoteHtmlTests(SourceUrlTests):def quote(self, **q):q = {"file": "a-paper.txt", "line": 1, "text": "x", **q}