知らない分野を、原文にたどりつくまで芋づる式に掘る Claude Code のスキル
Python
2回目のレビューの指摘を直す
MaryCache2fcbac8655b1
diff --git a/CHANGELOG.md b/CHANGELOG.mdindex b2f5c48..526162b 100644--- a/CHANGELOG.md+++ b/CHANGELOG.md@@ -18,9 +18,9 @@ imozuruのバージョンごとの変更を記録します。### 修正- AIエージェント向けのスキルなどを管理する [APM(Agent Package Manager)](https://github.com/microsoft/apm) で、不可視文字の検出によりインストールが止まる問題を直しました。原文のファイル名を検査する正規表現の双方向制御文字を Unicode エスケープで表記し、危険な名前を拒否する動作を変えずに、`--force` なしでインストールできるようにしました。-- 原文の行頭の負号を落とした抜き書きが「照合 OK」になる問題を直しました(#19)。`text/plain` で取ってきた原文は `.md` で保存されるため、2.1.0では箇条書きの印と一緒に負号も消していました。数字の前の行頭の `- ` は消さず、負号の直後から始まる抜き書きは通しません。1行目の負号を落とした抜き書きが通る問題は2.1.0より前からあり、これも直しました。負号として扱う字は `-`・`−`(U+2212)・`-`(全角)・`–`(en dash)です。英数字の直後のハイフン(`COVID-19`・`18-65`・2段組のPDFで行末で切った語)は語の一部として扱い、その後ろから写した抜き書きはこれまでどおり通ります。数で始まるMarkdownの項目は、`- ` ごと写したときだけ照合が通ります。照合が通らないときは、負号ごと写すよう案内を出します。+- 原文の行頭の負号を落とした抜き書きが「照合 OK」になる問題を直しました(#19)。`text/plain` で取ってきた原文は `.md` で保存されるため、2.1.0では箇条書きの印と一緒に負号も消していました。数字の前の行頭の `- ` は消さず、負号の直後から始まる抜き書きは通しません。1行目の負号を落とした抜き書きが通る問題は2.1.0より前からあり、これも直しました。負号として扱う字は `-`・`−`(U+2212)・`-`(全角)・`–`(en dash)です。英数字や `%` の直後のハイフン(`COVID-19`・`18-65`・`50%-60%`・2段組のPDFで行末で切った語)と、空白をはさむ en dash(`2019 – 2020`)は負号として扱わず、その後ろから写した抜き書きはこれまでどおり通ります。数で始まる箇条書きの項目は、`- ` ごと写したときだけ照合が通ります。照合が通らないときは、負号ごと写すよう案内を出します。2.1.0で作った調査の抜き書きを照合し直すと、数で始まる箇条書きの項目を `- ` なしで写したものはNGになります(手元の調査では2,053件中4件)。`- ` ごと写し直してください。-- ダッシュボードの一覧で、同じ日に始めた調査が新しい順に並ばない問題を直しました。日付が同じときは調査の名前の逆順で並んでいました。取得の記録(`fetch-log.jsonl`)に時刻を残すようにし、最初に取得した時刻で新しい調査を上に並べます。時刻の無い前の調査は、最初に保存した原文のファイルの時刻を使います。+- ダッシュボードの一覧で、同じ日に始めた調査が新しい順に並ばない問題を直しました。日付が同じときは調査の名前の逆順で並んでいました。取得の記録(`fetch-log.jsonl`)に時刻を残すようにし、最初に取得した時刻で新しい調査を上に並べます。時刻の無い前の記録は、最初に保存した原文のファイルの時刻で補います。- 検索や取得の記録に、オブジェクトでない行が1行でもあると、ダッシュボードの一覧が開けなくなる問題を直しました。読めない行と同じく飛ばします。## [2.1.0] - 2026-10-26diff --git a/skills/imozuru/SKILL.md b/skills/imozuru/SKILL.mdindex b4af7b8..0c4e2ec 100644--- a/skills/imozuru/SKILL.md+++ b/skills/imozuru/SKILL.md@@ -153,7 +153,7 @@ map.md を下の書式で作り、**問い**と、答えるのに要る**論点*原文を何十本も保存しただけでは読まれない(英語の PDF や1時間の字幕のまま)。かといって要約すると、早すぎる結論を招く。だから止めたら、**抜き書き**(Ellis の extracting)でページを作り、それを最初に渡す。-1. `<topic_dir>/extracts.json` を書く。調査の論点ごとに節を立て、原文から**そのまま切り出した文**を並べる(ファイル・行・必要なら `end`)。英語には `ja` に訳を添える(訳だと分かる印がページに付く)。印(〔本人〕自動字幕 など)は `mark` に。元のページへのリンクは、map.md の「原文(sources/)」の表の「元の URL」から、表に無ければ取得の記録(fetch-log.jsonl)から自動で付く(http(s) の完全な URL だけ)。どちらにも無い原文に付けたいときだけ `url` に書く。2段組の PDF のように左右の段が1行に混ざる所は、抜き書きを「…」で区切ると区切りごとに順に照合される(省いたことはページにも「…」で見える)。数で始まる所を写すとき、原文でその直前に負号(-・−・-・–)があれば負号ごと写す。数で始まる箇条書きの項目も「- 」ごと写す(負号と見分けられないので、落とすと照合で止まる)。食い違いは `disagreements` に並べるだけで、どれが正しいかは書かない。届かなかったものは `unreached` に。形の手本はリポジトリの `examples/demo/extracts.json`+1. `<topic_dir>/extracts.json` を書く。調査の論点ごとに節を立て、原文から**そのまま切り出した文**を並べる(ファイル・行・必要なら `end`)。英語には `ja` に訳を添える(訳だと分かる印がページに付く)。印(〔本人〕自動字幕 など)は `mark` に。元のページへのリンクは、map.md の「原文(sources/)」の表の「元の URL」から、表に無ければ取得の記録(fetch-log.jsonl)から自動で付く(http(s) の完全な URL だけ)。どちらにも無い原文に付けたいときだけ `url` に書く。2段組の PDF のように左右の段が1行に混ざる所は、抜き書きを「…」で区切ると区切りごとに順に照合される(省いたことはページにも「…」で見える)。数で始まる所を写すとき、原文でその直前に負号やダッシュ(-・−・-・–)があれば、その記号ごと写す。数で始まる箇条書きの項目も「- 」ごと写す(負号と見分けられないので、落とすと照合で止まる)。食い違いは `disagreements` に並べるだけで、どれが正しいかは書かない。届かなかったものは `unreached` に。形の手本はリポジトリの `examples/demo/extracts.json`形は report.py の冒頭と同じ(`?` は省いてよい)。```{"title", "question", "stopped",diff --git a/skills/imozuru/scripts/dashboard.py b/skills/imozuru/scripts/dashboard.pyindex 5871d2f..1863b91 100644--- a/skills/imozuru/scripts/dashboard.py+++ b/skills/imozuru/scripts/dashboard.py@@ -471,17 +471,18 @@ def serve(root: Path, runs: list[dict], port: int) -> int:def started_at(d: Path) -> float:- """調査を始めた時刻の目安。取得の記録(fetch-log.jsonl)に時刻があれば一番早いもの。- 2.2.0 より前の記録には時刻が無いので、sources/ で一番古いファイル(最初に保存した原文)、無ければ map.md・log.md の古いほう。- ファイルの時刻は clone やコピーで変わるので、記録の時刻を先に使う。リンクはたどらない。何も無ければ 0"""- times = [t for f in load_jsonl(d / "fetch-log.jsonl") if (t := _epoch(f.get("at"))) is not None]- if times:- return min(times)+ """調査を始めた時刻の目安。取得の記録(fetch-log.jsonl)の時刻と、sources/ で一番古いファイル(最初に保存した原文)の+ 早いほう。どちらも無ければ map.md・log.md の古いほう。リンクはたどらない。何も無ければ 0。+ ファイルの時刻は clone やコピーで新しくなるだけなので、早いほうを取れば記録の時刻が勝つ。+ 2.2.0 より前の記録には時刻が無く、2.1.0 で始めて続きを取った調査はファイルの時刻のほうが早い"""+ logged = [t for f in load_jsonl(d / "fetch-log.jsonl") if (t := _epoch(f.get("at"))) is not None]+ times = []try:with os.scandir(d / "sources") as it:times = [e.stat(follow_symlinks=False).st_mtime for e in it if e.is_file(follow_symlinks=False)]except OSError:pass+ times += loggedif not times:for name in ("map.md", "log.md"):try:diff --git a/skills/imozuru/scripts/report.py b/skills/imozuru/scripts/report.pyindex 9b69c22..d6c2b3d 100644--- a/skills/imozuru/scripts/report.py+++ b/skills/imozuru/scripts/report.py@@ -46,11 +46,11 @@ CONTEXT_LINES = 6MINUS = ("-", "\u2212", "\uff0d", "\u2013")# 符号つきの数の始まり。「.」だけでは数にしない(「- .NET 8」の「.NET」を負号の後ろと見なさない)SIGNED_NUMBER = re.compile(r"[..]?\d")-# 負号の直前にこの字があれば、語の中のハイフン(COVID-19・18-65・行末で切った「period-」)として扱う。+# 負号の直前にこの字があれば、語の中のハイフンか範囲(COVID-19・18-65・50%–60%・行末で切った「period-」)として扱う。# 和文の「気温は-5度」を通さないよう、仮名や漢字は含めない-WORD_CHAR = re.compile(r"[A-Za-z0-90-9A-Za-z]")+WORD_CHAR = re.compile(r"[A-Za-z0-90-9A-Za-z%%°]")# 照合に落ちたときの案内。行番号のずれと思って行を直しても通らないので、負号の決まりをここで知らせる-MINUS_HINT = ("数で始まる抜き書きは、原文でその直前に負号(-・−・-・–)があれば負号ごと写す。"+MINUS_HINT = ("数で始まる抜き書きは、原文でその直前に負号やダッシュ(-・−・-・–)があれば、その記号ごと写す。""数で始まる箇条書きの項目も「- 」ごと写す(負号と見分けられないため)")@@ -128,7 +128,13 @@ def _in_order(pieces: list[str], region: str) -> bool:def _after_minus(region: str, at: int) -> bool:"""region の at の直前(空白を除く)が負号か。英数字の直後のハイフンは語の一部なので負号にしない"""head = region[:at].rstrip()- return head.endswith(MINUS) and not WORD_CHAR.fullmatch(head[-2:-1] or " ")+ if not head.endswith(MINUS):+ return False+ # 空白をはさむ en dash は範囲(2019 – 2020)か挿入のダッシュ。負号の en dash は数に接する(–0.5)。+ # ハイフンは空白があっても負号とする(Markdown の「- 5 mg」・#19)+ if head.endswith("\u2013") and len(head) != at:+ return False+ return not WORD_CHAR.fullmatch(head[-2:-1] or " ")def esc(s: str) -> str:@@ -354,18 +360,20 @@ def main() -> int:data = json.loads((topic / "extracts.json").read_text(encoding="utf-8"))src = topic / "sources"- bad, rendered = [], {}+ bad, rendered, signed_bad = [], {}, Falsegroups = [("claims", c) for c in data["claims"]] + [("dis", d) for d in data.get("disagreements", [])]for _, g in groups:for q in g.get("quotes", []):ok, ctx, c0, _ = verify(src, q)if not ok:bad.append(f"{q['file']}:{q['line']} 「{q['text'][:40]}…」")+ signed_bad = signed_bad or any(SIGNED_NUMBER.match(norm(p)) for p in q["text"].split("…"))rendered[id(q)] = (ctx, c0)if bad:print("原文に見つからない抜き書きがある(言い換えか、行番号のずれ):")print("\n".join(" " + b for b in bad))- print(MINUS_HINT)+ if signed_bad: # 行番号のずれや言い換えで落ちたときにまで出すと、原因を取り違える+ print(MINUS_HINT)return 1total = sum(len(g.get("quotes", [])) for _, g in groups)print(f"照合 OK: 抜き書き {total} 件がすべて原文のとおり")diff --git a/tests/test_dashboard.py b/tests/test_dashboard.pyindex 94d1c28..2f1ee34 100644--- a/tests/test_dashboard.py+++ b/tests/test_dashboard.py@@ -300,13 +300,17 @@ class DashboardTests(unittest.TestCase):os.utime(t / "sources" / name, (stamp, stamp))order = [t["slug"] for t in dash.collect(self.root, []) if t["date"] == "2026-10-28"]self.assertEqual(order, ["a-late", "m-noon", "z-early"])- # 取得の記録に時刻があれば、ファイルの時刻より先に使う(clone やコピーでファイルの時刻は変わる)- log = self.root / "z-early" / "fetch-log.jsonl"- # base は 2027-01-15T08:00Z。記録の時刻 base+22時間は a-late の原文(base+20時間)より後- log.write_text('{"status": "OK", "at": "2027-01-16T06:00:00+00:00"}\n["not a row"]\n'- '{"status": "FAIL", "at": "broken"}\n', encoding="utf-8")+ # clone やコピーはファイルの時刻を新しくする。取得の記録に時刻があれば、早いほうの記録の時刻で並ぶ+ for name in ("first.md", "second.md"):+ os.utime(self.root / "z-early" / "sources" / name, (base + 30 * 3600, base + 30 * 3600))order = [t["slug"] for t in dash.collect(self.root, []) if t["date"] == "2026-10-28"]- self.assertEqual(order, ["z-early", "a-late", "m-noon"])+ self.assertEqual(order[0], "z-early") # ファイルの時刻だけなら一番上に来る+ # base は 2027-01-15T08:00Z。記録の時刻は base+9時間=元どおり一番下+ (self.root / "z-early" / "fetch-log.jsonl").write_text(+ '{"status": "OK", "at": "2027-01-15T17:00:00+00:00"}\n["not a row"]\n'+ '{"status": "FAIL", "at": "broken"}\n', encoding="utf-8")+ order = [t["slug"] for t in dash.collect(self.root, []) if t["date"] == "2026-10-28"]+ self.assertEqual(order, ["a-late", "m-noon", "z-early"])def test_topic_without_records_is_marked_not_zero(self):t = self.collect()["empty-topic"]diff --git a/tests/test_file_boundaries.py b/tests/test_file_boundaries.pyindex 3f20771..06bdb83 100644--- a/tests/test_file_boundaries.py+++ b/tests/test_file_boundaries.py@@ -175,6 +175,13 @@ class FileBoundaryTests(unittest.TestCase):"気温は-5度だった。\nChange was –3 points.\nSeasons 2019–2020 ended.\n", encoding="utf-8")cases = {(1, "5度だった。"): False, (1, "気温は-5度だった。"): True,(2, "3 points."): False, (3, "2020 ended."): True}+ # 空白をはさむ en dash は範囲か挿入のダッシュ。% の後ろも範囲+ (self.sources / "dashes.txt").write_text(+ "Seasons 2019 \u2013 2020 ended.\nThe rate \u2013 30% of patients \u2013 rose.\nRates rose 50%\u201360% overall.\n",+ encoding="utf-8")+ for line, text in ((1, "2020 ended."), (2, "30% of patients \u2013 rose."), (3, "60% overall.")):+ with self.subTest(text=text):+ self.assertTrue(report.verify(self.sources, {"file": "dashes.txt", "line": line, "text": text})[0])for (line, text), expected in cases.items():with self.subTest(text=text):q = {"file": "signs.txt", "line": line, "text": text}