Skip to content

知らない分野を、原文にたどりつくまで芋づる式に掘る Claude Code のスキル

Python

2回目のレビューの指摘を直す

MaryCache2fcbac8655b1
diff --git a/CHANGELOG.md b/CHANGELOG.md
index b2f5c48..526162b 100644
--- a/CHANGELOG.md
+++ b/CHANGELOG.md
@@ -18,9 +18,9 @@ imozuruのバージョンごとの変更を記録します。
### 修正
- AIエージェント向けのスキルなどを管理する [APM(Agent Package Manager)](https://github.com/microsoft/apm) で、不可視文字の検出によりインストールが止まる問題を直しました。原文のファイル名を検査する正規表現の双方向制御文字を Unicode エスケープで表記し、危険な名前を拒否する動作を変えずに、`--force` なしでインストールできるようにしました。
-- 原文の行頭の負号を落とした抜き書きが「照合 OK」になる問題を直しました(#19)。`text/plain` で取ってきた原文は `.md` で保存されるため、2.1.0では箇条書きの印と一緒に負号も消していました。数字の前の行頭の `- ` は消さず、負号の直後から始まる抜き書きは通しません。1行目の負号を落とした抜き書きが通る問題は2.1.0より前からあり、これも直しました。負号として扱う字は `-`・`−`(U+2212)・`-`(全角)・`–`(en dash)です。英数字の直後のハイフン(`COVID-19`・`18-65`・2段組のPDFで行末で切った語)は語の一部として扱い、その後ろから写した抜き書きはこれまでどおり通ります。数で始まるMarkdownの項目は、`- ` ごと写したときだけ照合が通ります。照合が通らないときは、負号ごと写すよう案内を出します。
+- 原文の行頭の負号を落とした抜き書きが「照合 OK」になる問題を直しました(#19)。`text/plain` で取ってきた原文は `.md` で保存されるため、2.1.0では箇条書きの印と一緒に負号も消していました。数字の前の行頭の `- ` は消さず、負号の直後から始まる抜き書きは通しません。1行目の負号を落とした抜き書きが通る問題は2.1.0より前からあり、これも直しました。負号として扱う字は `-`・`−`(U+2212)・`-`(全角)・`–`(en dash)です。英数字や `%` の直後のハイフン(`COVID-19`・`18-65`・`50%-60%`・2段組のPDFで行末で切った語)と、空白をはさむ en dash(`2019 – 2020`)は負号として扱わず、その後ろから写した抜き書きはこれまでどおり通ります。数で始まる箇条書きの項目は、`- ` ごと写したときだけ照合が通ります。照合が通らないときは、負号ごと写すよう案内を出します。
2.1.0で作った調査の抜き書きを照合し直すと、数で始まる箇条書きの項目を `- ` なしで写したものはNGになります(手元の調査では2,053件中4件)。`- ` ごと写し直してください。
-- ダッシュボードの一覧で、同じ日に始めた調査が新しい順に並ばない問題を直しました。日付が同じときは調査の名前の逆順で並んでいました。取得の記録(`fetch-log.jsonl`)に時刻を残すようにし、最初に取得した時刻で新しい調査を上に並べます。時刻の無い前の調査は、最初に保存した原文のファイルの時刻を使います。
+- ダッシュボードの一覧で、同じ日に始めた調査が新しい順に並ばない問題を直しました。日付が同じときは調査の名前の逆順で並んでいました。取得の記録(`fetch-log.jsonl`)に時刻を残すようにし、最初に取得した時刻で新しい調査を上に並べます。時刻の無い前の記録は、最初に保存した原文のファイルの時刻で補います。
- 検索や取得の記録に、オブジェクトでない行が1行でもあると、ダッシュボードの一覧が開けなくなる問題を直しました。読めない行と同じく飛ばします。
## [2.1.0] - 2026-10-26
diff --git a/skills/imozuru/SKILL.md b/skills/imozuru/SKILL.md
index b4af7b8..0c4e2ec 100644
--- a/skills/imozuru/SKILL.md
+++ b/skills/imozuru/SKILL.md
@@ -153,7 +153,7 @@ map.md を下の書式で作り、**問い**と、答えるのに要る**論点*
原文を何十本も保存しただけでは読まれない(英語の PDF や1時間の字幕のまま)。かといって要約すると、早すぎる結論を招く。だから止めたら、**抜き書き**(Ellis の extracting)でページを作り、それを最初に渡す。
-1. `<topic_dir>/extracts.json` を書く。調査の論点ごとに節を立て、原文から**そのまま切り出した文**を並べる(ファイル・行・必要なら `end`)。英語には `ja` に訳を添える(訳だと分かる印がページに付く)。印(〔本人〕自動字幕 など)は `mark` に。元のページへのリンクは、map.md の「原文(sources/)」の表の「元の URL」から、表に無ければ取得の記録(fetch-log.jsonl)から自動で付く(http(s) の完全な URL だけ)。どちらにも無い原文に付けたいときだけ `url` に書く。2段組の PDF のように左右の段が1行に混ざる所は、抜き書きを「…」で区切ると区切りごとに順に照合される(省いたことはページにも「…」で見える)。数で始まる所を写すとき、原文でその直前に負号(-・−・-・–)があれば負号ごと写す。数で始まる箇条書きの項目も「- 」ごと写す(負号と見分けられないので、落とすと照合で止まる)。食い違いは `disagreements` に並べるだけで、どれが正しいかは書かない。届かなかったものは `unreached` に。形の手本はリポジトリの `examples/demo/extracts.json`
+1. `<topic_dir>/extracts.json` を書く。調査の論点ごとに節を立て、原文から**そのまま切り出した文**を並べる(ファイル・行・必要なら `end`)。英語には `ja` に訳を添える(訳だと分かる印がページに付く)。印(〔本人〕自動字幕 など)は `mark` に。元のページへのリンクは、map.md の「原文(sources/)」の表の「元の URL」から、表に無ければ取得の記録(fetch-log.jsonl)から自動で付く(http(s) の完全な URL だけ)。どちらにも無い原文に付けたいときだけ `url` に書く。2段組の PDF のように左右の段が1行に混ざる所は、抜き書きを「…」で区切ると区切りごとに順に照合される(省いたことはページにも「…」で見える)。数で始まる所を写すとき、原文でその直前に負号やダッシュ(-・−・-・–)があれば、その記号ごと写す。数で始まる箇条書きの項目も「- 」ごと写す(負号と見分けられないので、落とすと照合で止まる)。食い違いは `disagreements` に並べるだけで、どれが正しいかは書かない。届かなかったものは `unreached` に。形の手本はリポジトリの `examples/demo/extracts.json`
形は report.py の冒頭と同じ(`?` は省いてよい)。
```
{"title", "question", "stopped",
diff --git a/skills/imozuru/scripts/dashboard.py b/skills/imozuru/scripts/dashboard.py
index 5871d2f..1863b91 100644
--- a/skills/imozuru/scripts/dashboard.py
+++ b/skills/imozuru/scripts/dashboard.py
@@ -471,17 +471,18 @@ def serve(root: Path, runs: list[dict], port: int) -> int:
def started_at(d: Path) -> float:
- """調査を始めた時刻の目安。取得の記録(fetch-log.jsonl)に時刻があれば一番早いもの。
- 2.2.0 より前の記録には時刻が無いので、sources/ で一番古いファイル(最初に保存した原文)、無ければ map.md・log.md の古いほう。
- ファイルの時刻は clone やコピーで変わるので、記録の時刻を先に使う。リンクはたどらない。何も無ければ 0"""
- times = [t for f in load_jsonl(d / "fetch-log.jsonl") if (t := _epoch(f.get("at"))) is not None]
- if times:
- return min(times)
+ """調査を始めた時刻の目安。取得の記録(fetch-log.jsonl)の時刻と、sources/ で一番古いファイル(最初に保存した原文)の
+ 早いほう。どちらも無ければ map.md・log.md の古いほう。リンクはたどらない。何も無ければ 0。
+ ファイルの時刻は clone やコピーで新しくなるだけなので、早いほうを取れば記録の時刻が勝つ。
+ 2.2.0 より前の記録には時刻が無く、2.1.0 で始めて続きを取った調査はファイルの時刻のほうが早い"""
+ logged = [t for f in load_jsonl(d / "fetch-log.jsonl") if (t := _epoch(f.get("at"))) is not None]
+ times = []
try:
with os.scandir(d / "sources") as it:
times = [e.stat(follow_symlinks=False).st_mtime for e in it if e.is_file(follow_symlinks=False)]
except OSError:
pass
+ times += logged
if not times:
for name in ("map.md", "log.md"):
try:
diff --git a/skills/imozuru/scripts/report.py b/skills/imozuru/scripts/report.py
index 9b69c22..d6c2b3d 100644
--- a/skills/imozuru/scripts/report.py
+++ b/skills/imozuru/scripts/report.py
@@ -46,11 +46,11 @@ CONTEXT_LINES = 6
MINUS = ("-", "\u2212", "\uff0d", "\u2013")
# 符号つきの数の始まり。「.」だけでは数にしない(「- .NET 8」の「.NET」を負号の後ろと見なさない)
SIGNED_NUMBER = re.compile(r"[..]?\d")
-# 負号の直前にこの字があれば、語の中のハイフン(COVID-19・18-65・行末で切った「period-」)として扱う。
+# 負号の直前にこの字があれば、語の中のハイフンか範囲(COVID-19・18-65・50%–60%・行末で切った「period-」)として扱う。
# 和文の「気温は-5度」を通さないよう、仮名や漢字は含めない
-WORD_CHAR = re.compile(r"[A-Za-z0-90-9A-Za-z]")
+WORD_CHAR = re.compile(r"[A-Za-z0-90-9A-Za-z%%°]")
# 照合に落ちたときの案内。行番号のずれと思って行を直しても通らないので、負号の決まりをここで知らせる
-MINUS_HINT = ("数で始まる抜き書きは、原文でその直前に負号(-・−・-・–)があれば負号ごと写す。"
+MINUS_HINT = ("数で始まる抜き書きは、原文でその直前に負号やダッシュ(-・−・-・–)があれば、その記号ごと写す。"
"数で始まる箇条書きの項目も「- 」ごと写す(負号と見分けられないため)")
@@ -128,7 +128,13 @@ def _in_order(pieces: list[str], region: str) -> bool:
def _after_minus(region: str, at: int) -> bool:
"""region の at の直前(空白を除く)が負号か。英数字の直後のハイフンは語の一部なので負号にしない"""
head = region[:at].rstrip()
- return head.endswith(MINUS) and not WORD_CHAR.fullmatch(head[-2:-1] or " ")
+ if not head.endswith(MINUS):
+ return False
+ # 空白をはさむ en dash は範囲(2019 – 2020)か挿入のダッシュ。負号の en dash は数に接する(–0.5)。
+ # ハイフンは空白があっても負号とする(Markdown の「- 5 mg」・#19)
+ if head.endswith("\u2013") and len(head) != at:
+ return False
+ return not WORD_CHAR.fullmatch(head[-2:-1] or " ")
def esc(s: str) -> str:
@@ -354,18 +360,20 @@ def main() -> int:
data = json.loads((topic / "extracts.json").read_text(encoding="utf-8"))
src = topic / "sources"
- bad, rendered = [], {}
+ bad, rendered, signed_bad = [], {}, False
groups = [("claims", c) for c in data["claims"]] + [("dis", d) for d in data.get("disagreements", [])]
for _, g in groups:
for q in g.get("quotes", []):
ok, ctx, c0, _ = verify(src, q)
if not ok:
bad.append(f"{q['file']}:{q['line']} 「{q['text'][:40]}…」")
+ signed_bad = signed_bad or any(SIGNED_NUMBER.match(norm(p)) for p in q["text"].split("…"))
rendered[id(q)] = (ctx, c0)
if bad:
print("原文に見つからない抜き書きがある(言い換えか、行番号のずれ):")
print("\n".join(" " + b for b in bad))
- print(MINUS_HINT)
+ if signed_bad: # 行番号のずれや言い換えで落ちたときにまで出すと、原因を取り違える
+ print(MINUS_HINT)
return 1
total = sum(len(g.get("quotes", [])) for _, g in groups)
print(f"照合 OK: 抜き書き {total} 件がすべて原文のとおり")
diff --git a/tests/test_dashboard.py b/tests/test_dashboard.py
index 94d1c28..2f1ee34 100644
--- a/tests/test_dashboard.py
+++ b/tests/test_dashboard.py
@@ -300,13 +300,17 @@ class DashboardTests(unittest.TestCase):
os.utime(t / "sources" / name, (stamp, stamp))
order = [t["slug"] for t in dash.collect(self.root, []) if t["date"] == "2026-10-28"]
self.assertEqual(order, ["a-late", "m-noon", "z-early"])
- # 取得の記録に時刻があれば、ファイルの時刻より先に使う(clone やコピーでファイルの時刻は変わる)
- log = self.root / "z-early" / "fetch-log.jsonl"
- # base は 2027-01-15T08:00Z。記録の時刻 base+22時間は a-late の原文(base+20時間)より後
- log.write_text('{"status": "OK", "at": "2027-01-16T06:00:00+00:00"}\n["not a row"]\n'
- '{"status": "FAIL", "at": "broken"}\n', encoding="utf-8")
+ # clone やコピーはファイルの時刻を新しくする。取得の記録に時刻があれば、早いほうの記録の時刻で並ぶ
+ for name in ("first.md", "second.md"):
+ os.utime(self.root / "z-early" / "sources" / name, (base + 30 * 3600, base + 30 * 3600))
order = [t["slug"] for t in dash.collect(self.root, []) if t["date"] == "2026-10-28"]
- self.assertEqual(order, ["z-early", "a-late", "m-noon"])
+ self.assertEqual(order[0], "z-early") # ファイルの時刻だけなら一番上に来る
+ # base は 2027-01-15T08:00Z。記録の時刻は base+9時間=元どおり一番下
+ (self.root / "z-early" / "fetch-log.jsonl").write_text(
+ '{"status": "OK", "at": "2027-01-15T17:00:00+00:00"}\n["not a row"]\n'
+ '{"status": "FAIL", "at": "broken"}\n', encoding="utf-8")
+ order = [t["slug"] for t in dash.collect(self.root, []) if t["date"] == "2026-10-28"]
+ self.assertEqual(order, ["a-late", "m-noon", "z-early"])
def test_topic_without_records_is_marked_not_zero(self):
t = self.collect()["empty-topic"]
diff --git a/tests/test_file_boundaries.py b/tests/test_file_boundaries.py
index 3f20771..06bdb83 100644
--- a/tests/test_file_boundaries.py
+++ b/tests/test_file_boundaries.py
@@ -175,6 +175,13 @@ class FileBoundaryTests(unittest.TestCase):
"気温は-5度だった。\nChange was –3 points.\nSeasons 2019–2020 ended.\n", encoding="utf-8")
cases = {(1, "5度だった。"): False, (1, "気温は-5度だった。"): True,
(2, "3 points."): False, (3, "2020 ended."): True}
+ # 空白をはさむ en dash は範囲か挿入のダッシュ。% の後ろも範囲
+ (self.sources / "dashes.txt").write_text(
+ "Seasons 2019 \u2013 2020 ended.\nThe rate \u2013 30% of patients \u2013 rose.\nRates rose 50%\u201360% overall.\n",
+ encoding="utf-8")
+ for line, text in ((1, "2020 ended."), (2, "30% of patients \u2013 rose."), (3, "60% overall.")):
+ with self.subTest(text=text):
+ self.assertTrue(report.verify(self.sources, {"file": "dashes.txt", "line": line, "text": text})[0])
for (line, text), expected in cases.items():
with self.subTest(text=text):
q = {"file": "signs.txt", "line": line, "text": text}