Hypergraph is more powerful. Transform unstructured text into structured knowledge with LLMs. Graphs, hypergraphs, and spatio-temporal extractions — with one command.
feat: 新增 iText2KG 模块及演示,优化知识图谱提取功能
yifanfeng978b8f21d55c45
diff --git a/examples/itext2kg_demo.py b/examples/itext2kg_demo.pynew file mode 100644index 0000000..6f9ce42--- /dev/null+++ b/examples/itext2kg_demo.py@@ -0,0 +1,312 @@+"""+iText2KG 演示:高质量知识图谱提取++这个演示展示了如何使用 iText2KG 从非结构化文本中提取结构化三元组。+iText2KG 采用两阶段提取策略,并强制执行严格的语义 Schema。+"""++import os+import sys++# 添加项目根目录到路径+sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))++from dotenv import load_dotenv+from langchain_openai import ChatOpenAI, OpenAIEmbeddings++from hyperextract.graphs import iText2KG++load_dotenv()++# ==============================================================================+# 示例文本 - 来自真实场景的数据(长版本)+# ==============================================================================++EXAMPLE_TEXT = """+【818】星辰阁公会昨晚解散的真相!团长黑装备还骂人!这简直是最大的内讧事件!++楼主:匿名玩家(ID已隐藏)+发帖时间:今天 23:45++我是星辰阁的一个普通成员,昨晚目睹了整个悲剧的发生。我觉得必须把真相告诉大家。++首先介绍一下我们的团队阵容:+- 会长兼主坦克:雷霆之怒(真实ID:张三,40级战士,装备评分9999)+- 副坦克:坚如磐石(真实ID:李四,38级盾战士,评分8800,人很老实)+- 主奶妈(治疗):小甜甜(真实ID:王五,38级圣骑士,评分8600)+- 副奶妈:月光治愈者(真实ID:赵六,35级德鲁伊,评分7500)+- DPS输出1(弓箭手):暗影刺客(真实ID:孙七,39级猎手,评分9200)+- DPS输出2(法师):火球术一级(真实ID:周八,37级法师,评分8400)+- DPS输出3(剑客):风云剑侠(真实ID:吴九,36级剑士,评分7800)+- 远程法师:冰霜法咒(真实ID:郑十,35级冰法,评分7600)++昨晚晚上8点,我们集合在副本入口。这是星辰阁第三次挑战"深渊魔龙"这个最终BOSS。+前两次都失败了,主要是因为配合不够默契。但是昨晚会长雷霆之怒发誓说一定要拿下这个BOSS。++副本开始,一切似乎很顺利。前5个小怪都被我们轻松秒杀。+然后大家来到了BOSS房间——深渊魔龙的巢穴。这是一个超级庞大的紫龙,满血时候气势相当恐怖。++战斗一开始,雷霆之怒(会长)冲上去拉住了仇恨值。坚如磐石(副坦克)站在侧翼进行补充。+小甜甜不断给雷霆之怒刷HOT(持续恢复)。月光治愈者给坚如磐石加盾。+前期看起来非常完美,大家的DPS输出也打得相当漂亮。++但是,大约打了5分钟,问题出现了。++坚如磐石(副坦克)突然掉线了!这太糟糕了。我们在公会频道里看到他的在线状态变成了灰色。+公会会长雷霆之怒看到这一幕,血压瞬间上升(我可以想象他的脸色)。++为什么副坦会掉线呢?大家后来才明白——坚如磐石的家里停电了。这真的是太不走运了。++没有副坦克的补充,所有的伤害都集中在了雷霆之怒身上。+但是这个时候,事情开始变得诡异。++小甜甜(主奶妈)本应该全力治疗会长,但是我通过伤害统计面板发现,她的治疗量明显不足。+更奇怪的是,她把大量的治疗都给了暗影刺客(弓箭手)。++这很不正常。暗影刺客作为DPS,血量本不应该这么低。我仔细看了一下暗影刺客的走位——+哎哟,这哥们为了最大化伤害输出,站位超级靠前,几乎要贴到BOSS身上了。+结果BOSS的爪子扫过来,一下子就把暗影刺客的血条扫到了20%以下。++关键时刻,小甜甜却把大治疗术给了暗影刺客。这让会长雷霆之怒的血量开始急速下降。++我当时就在YY频道里喊:"小甜甜,快给会长加血!"++月光治愈者也在拼命给会长加盾,但是她的输出能力有限,根本抵挡不住BOSS的伤害。++而且我还发现,月光治愈者的治疗也有一部分莫名其妙地给了其他人。看起来公会里有人在划水。++等等,我再看一下。哦天哪,火球术一级(法师)和冰霜法咒在BOSS的AoE范围内站了太长时间,+导致他们频繁掉血。但是,更夸张的是,暗影刺客和小甜甜之间似乎有什么默契——+每当暗影刺客掉血,小甜甜就立马给他加。++这时候,我想到了一个可能性。我在游戏论坛里看过一些帖子,有人提到暗影刺客和小甜甜好像是现实中的情侣!++妈呀,这下问题大了。在这么关键的时刻,小甜甜竟然偏心给她的男朋友加血,而忽视了作为团队大脑的会长!++大约在15分钟的时候,BOSS放出了一个大招——"魔龙吐息"。+这个技能造成的伤害足以秒杀任何一个DPS。但是坦克(雷霆之怒)应该能扛住。++可是,小甜甜的治疗没有及时跟上。雷霆之怒的血条瞬间掉到了0。++会长倒地了!++随后,失去了坦克的护佑,暗影刺客也被BOSS的普通攻击打成了残血,然后被秒杀。+紧接着是风云剑侠,然后是火球术一级。整个团队在短短30秒内全灭了。++副本失败。大家都复活在了副本入口。++这个时候,雷霆之怒(会长)的脾气彻底炸裂了。++他在YY频道里破口大骂:"小甜甜,你是干什么呢?!你是团队奶妈,不是暗影刺客的私人医生!+治疗职业就是要保坦克,你这样的治疗我见过,但从没见过这么烂的!"++小甜甜试图辩解:"我……我只是……"++雷霆之怒直接打断她:"别给我狡辩!我决定了,你从今天起被踢出公会!+而且暗影刺客这个摸鱼的家伙,我也要把他赶出去。两个人都别在星辰阁待着!"++但就在这个时候,事情发生了急转弯。++暗影刺客一句话都没说,只见他的角色突然冲向了BOSS房间。+而就在这时,副本的第二个阶段秘密掉落物品——传说级别的武器"魔龙之牙"出现了!++这是一把超级稀有的武器,全服务器可能只有两三把。价值高达几百万金币。++没等任何人反应过来,暗影刺客就冲上去,一把拿起了"魔龙之牙"!++我们都懵了。"魔龙之牙"本来应该由队长(雷霆之怒)来分配,决定给谁。+但是暗影刺客直接黑吃黑,把这把传说武器直接塞进了自己的背包里!++会长还在语音里骂人,根本没注意到这一幕。++紧接着,更狠的来了——暗影刺客在游戏里按下了"退出公会"的按钮。+他直接,光速,毫不犹豫地退出了星辰阁!++然后他的角色在世界频道发了一句话:"拜拜,各位。我去找个真正尊重我的公会。"++说完,这哥们直接下线了。++我们的公会频道顿时炸锅了。++小甜甜也没做任何辩解,直接退出了公会。她甚至没有说一句话。++会长雷霆之怒这时候才意识到发生了什么。他看到了掉落物品的分配记录——+"魔龙之牙"被暗影刺客拿走了,而不是团队共有。++他疯了。直接在世界频道开始刷屏:+"各位玩家,我要举报星辰阁的暗影刺客和小甜甜这两条狗!他们合谋黑装备!+不要信任他们!全服通缉这两个垃圾!"++火球术一级(法师)现在也开始助威。他在世界频道里连发了十多条信息:+"赞同!这两个人太过分了!狗男女!不要和他们做交易!"++"冰霜法咒在副本里的表现也不太理想,看起来他好像和那对情侣有什么关系,+因为我注意到在暗影刺客掉线的时候,冰霜法咒也莫名其妙地不进行输出了。"++有人开始怀疑冰霜法咒是不是也是那对情侣的朋友。++坚如磐石(副坦)这时候才上线。他看到了聊天记录,一脸懵逼。+他在公会频道里问:"发生什么了?我家里停电了……"++没有人回答他。因为大家都在看这场大戏。++月光治愈者试图调和一下,她说:"大家冷静……这件事可能有误会……"++但是没有人听她的。因为这个时候,世界频道上的玩家也开始评论这件事。++有人说:"这就是为什么我不玩大公会。大公会水太深。"++还有人说:"我早就听说暗影刺客这个人在游戏里名声不太好。多次被指控在副本里贪图装备。"++有人挖出了暗影刺客的历史记录。原来他曾经在另一个公会里,也因为类似的事情被踢出来过。++这哥们简直就是个"装备贪心鬼"。++风云剑侠开始反思:"也许我们团队的问题不只是小甜甜。我们可能选错人了。"++火球术一级继续在世界频道里刷屏:"各位,我建议大家抵制这两个玩家。不要和他们一个队。"++这时候,一个名字叫做"游戏管理员001"的官方账号出现了。+他说:"我们收到了关于玩家暗影刺客的举报。我们正在调查这件事。如果确认违规,将给予封号处理。"++暗影刺客的名字从世界频道消失了——他已经下线了。而且下线之前把"魔龙之牙"从背包里转移到了仓库。+没人知道他把这把武器藏在了哪里。++最后,星辰阁的会长雷霆之怒在公会频道里宣布:+"各位成员,我决定了。星辰阁正式解散。这个公会不适合我继续管理。+我会转移到一个小公会,和志同道合的朋友重新开始。"++很多成员试图挽留他。但是他的决心已定。++现在,星辰阁已经成为了一个"死公会"。只有一些离不开这个ID的成员还在。++这就是昨晚发生的一切。我作为一个旁观者,见证了这场游戏江湖的大戏。++最后的最后,我想说:游戏就是游戏。团队合作最重要。装备是身外之物。+但是,为了装备而背叛队友,这绝对是游戏玩家中最可耻的行为。++希望游戏官方能够严肃处理暗影刺客的违规行为。+也希望星辰阁的所有成员能够吸取教训,在各自的新公会里找到快乐。+"""++# ==============================================================================+# 主程序+# ==============================================================================++def main():+ print("=" * 70)+ print("🎮 iText2KG 演示:结构化实体与关系提取")+ print("=" * 70)+ print()++ # 1. 初始化+ print("📦 初始化组件...")+ llm = ChatOpenAI(model="gpt-4o-mini", temperature=0)+ embedder = OpenAIEmbeddings()++ print("🚀 创建 iText2KG 实例...")+ kg = iText2KG(+ llm_client=llm,+ embedder=embedder,+ verbose=True,+ )++ # 2. 提取+ print(f"\n📄 处理文本(长度:{len(EXAMPLE_TEXT)} 字符)...")+ print("状态: 正在进行两阶段提取 (1. 实体识别 -> 2. 关系建立)...")+ print()+ kg.feed_text(EXAMPLE_TEXT)++ # 4. 显示结果+ print("\n" + "=" * 70)+ print("✅ 提取完成!")+ print("=" * 70)++ # 统计信息+ print(f"\n📊 统计信息:")+ print(f" 节点数量: {len(kg.nodes)}")+ print(f" 关系数量: {len(kg.edges)}")++ # 统计标签分布+ from collections import Counter+ labels = Counter(n.label for n in kg.nodes)+ print(f" 实体类型分布: {dict(labels)}")++ # 显示所有节点+ print("\n" + "-" * 70)+ print(f"🏷️ 提取的实体及其类型 ({len(kg.nodes)} 个):")+ print("-" * 70)+ for i, node in enumerate(kg.nodes, 1):+ print(f" {i:2d}. {node.name:<20} [类型: {node.label}]")++ # 显示所有三元组 - 注意 iText2KG 的 EdgeSchema 使用 startNode, endNode 和 name+ print("\n" + "-" * 70)+ print(f"🔗 提取的关系 ({len(kg.edges)} 个):")+ print("-" * 70)+ for i, edge in enumerate(kg.edges, 1):+ print(f" {i:2d}. {edge.startNode.name} --[{edge.name}]--> {edge.endNode.name}")++ # 按谓词分组显示+ print("\n" + "-" * 70)+ print("📋 按关系类型分类:")+ print("-" * 70)++ from collections import defaultdict+ relations_by_type = defaultdict(list)+ for edge in kg.edges:+ relations_by_type[edge.name].append((edge.startNode.name, edge.endNode.name))++ for pred in sorted(relations_by_type.keys()):+ pairs = relations_by_type[pred]+ print(f"\n ✓ {pred} ({len(pairs)} 条)")+ for s, o in pairs:+ print(f" • {s} -> {o}")++ # 实体连接度分析+ print("\n" + "-" * 70)+ print("⭐ 高关联度实体 (Top 10):")+ print("-" * 70)++ entity_degree = Counter()+ for edge in kg.edges:+ entity_degree[edge.startNode.name] += 1+ entity_degree[edge.endNode.name] += 1++ for entity, count in entity_degree.most_common(10):+ print(f" • {entity}: 参与 {count} 个关系")++ # ============================================================================+ # 保存结果+ # ============================================================================+ print("\n" + "=" * 70)+ print("💾 保存结果...")+ print("=" * 70)++ try:+ output_dir = "temp/itext2kg_demo"+ kg.dump(output_dir)+ print(f"✓ 结果已保存到 {output_dir}/")++ # 列出保存的文件+ import os+ saved_files = []+ if os.path.exists(output_dir):+ for root, dirs, files in os.walk(output_dir):+ for file in files:+ rel_path = os.path.relpath(os.path.join(root, file), output_dir)+ saved_files.append(rel_path)++ if saved_files:+ print("\n 保存的文件:")+ for f in sorted(saved_files):+ print(f" - {f}")+ except Exception as e:+ print(f"⚠ 警告: 无法保存结果: {str(e)}")++ print("\n" + "=" * 70)+ print("✨ 演示完成!")+ print("=" * 70)+++if __name__ == "__main__":+ main()diff --git a/examples/kg_gen_demo.py b/examples/kg_gen_demo.pyindex fe297f1..f993c63 100644--- a/examples/kg_gen_demo.py+++ b/examples/kg_gen_demo.py@@ -23,35 +23,202 @@ load_dotenv()# ==============================================================================EXAMPLE_TEXT = """-【MMORPG 公会纠纷事件】+【818】星辰阁公会昨晚解散的真相!团长黑装备还骂人!这简直是最大的内讧事件!-星辰阁是一个在《永恒之境》游戏中排名前三的公会。公会会长是一位名叫雷霆之怒的资深玩家。-副会长包括坚如磐石和月光治愈者两位。+楼主:匿名玩家(ID已隐藏)+发帖时间:今天 23:45-三年前,雷霆之怒创立了星辰阁。他邀请了许多朋友加入,其中包括主要DPS输出暗影刺客。-暗影刺客以他的高伤害输出而闻名,经常在公会的副本团队中表现突出。+我是星辰阁的一个普通成员,昨晚目睹了整个悲剧的发生。我觉得必须把真相告诉大家。-公会的治疗负责人是一名叫小甜甜的圣骑士,她与暗影刺客是现实中的一对情侣。-这导致了许多问题,因为在关键的BOSS战中,小甜甜会偏心给暗影刺客加血。+首先介绍一下我们的团队阵容:+- 会长兼主坦克:雷霆之怒(真实ID:张三,40级战士,装备评分9999)+- 副坦克:坚如磐石(真实ID:李四,38级盾战士,评分8800,人很老实)+- 主奶妈(治疗):小甜甜(真实ID:王五,38级圣骑士,评分8600)+- 副奶妈:月光治愈者(真实ID:赵六,35级德鲁伊,评分7500)+- DPS输出1(弓箭手):暗影刺客(真实ID:孙七,39级猎手,评分9200)+- DPS输出2(法师):火球术一级(真实ID:周八,37级法师,评分8400)+- DPS输出3(剑客):风云剑侠(真实ID:吴九,36级剑士,评分7800)+- 远程法师:冰霜法咒(真实ID:郑十,35级冰法,评分7600)-最终的冲突发生在深渊魔龙副本中。在这场战斗中:-- 雷霆之怒担任主坦克,吸收大部分伤害-- 坚如磐石作为副坦克进行补充-- 小甜甜负责主要治疗-- 月光治愈者负责辅助治疗-- 暗影刺客、火球术一级、风云剑侠等担任DPS+昨晚晚上8点,我们集合在副本入口。这是星辰阁第三次挑战"深渊魔龙"这个最终BOSS。+前两次都失败了,主要是因为配合不够默契。但是昨晚会长雷霆之怒发誓说一定要拿下这个BOSS。-在战斗中,坚如磐石不幸掉线。此时小甜甜没有全力治疗会长,反而将大部分治疗给了暗影刺客。-结果导致雷霆之怒(会长)血量下降过快,最终倒地。+副本开始,一切似乎很顺利。前5个小怪都被我们轻松秒杀。+然后大家来到了BOSS房间——深渊魔龙的巢穴。这是一个超级庞大的紫龙,满血时候气势相当恐怖。-战斗失败后,雷霆之怒非常愤怒。他当众指责小甜甜的治疗不负责任。-随后,暗影刺客和小甜甜相继退出了公会。+战斗一开始,雷霆之怒(会长)冲上去拉住了仇恨值。坚如磐石(副坦克)站在侧翼进行补充。+小甜甜不断给雷霆之怒刷HOT(持续恢复)。月光治愈者给坚如磐石加盾。+前期看起来非常完美,大家的DPS输出也打得相当漂亮。-更糟糕的是,在战斗中掉落的传说级武器"魔龙之牙"被暗影刺客私吞了。-这个武器本来应该由会长分配给整个公会。+但是,大约打了5分钟,问题出现了。-最终,雷霆之怒宣布星辰阁解散。许多成员转向其他公会,包括火球术一级加入了日月神教。-这个事件成为了游戏社区的一个著名丑闻,许多玩家开始警惕加入有腐败管理的大公会。+坚如磐石(副坦克)突然掉线了!这太糟糕了。我们在公会频道里看到他的在线状态变成了灰色。+公会会长雷霆之怒看到这一幕,血压瞬间上升(我可以想象他的脸色)。++为什么副坦会掉线呢?大家后来才明白——坚如磐石的家里停电了。这真的是太不走运了。++没有副坦克的补充,所有的伤害都集中在了雷霆之怒身上。+但是这个时候,事情开始变得诡异。++小甜甜(主奶妈)本应该全力治疗会长,但是我通过伤害统计面板发现,她的治疗量明显不足。+更奇怪的是,她把大量的治疗都给了暗影刺客(弓箭手)。++这很不正常。暗影刺客作为DPS,血量本不应该这么低。我仔细看了一下暗影刺客的走位——+哎哟,这哥们为了最大化伤害输出,站位超级靠前,几乎要贴到BOSS身上了。+结果BOSS的爪子扫过来,一下子就把暗影刺客的血条扫到了20%以下。++关键时刻,小甜甜却把大治疗术给了暗影刺客。这让会长雷霆之怒的血量开始急速下降。++我当时就在YY频道里喊:"小甜甜,快给会长加血!"++月光治愈者也在拼命给会长加盾,但是她的输出能力有限,根本抵挡不住BOSS的伤害。++而且我还发现,月光治愈者的治疗也有一部分莫名其妙地给了其他人。看起来公会里有人在划水。++等等,我再看一下。哦天哪,火球术一级(法师)和冰霜法咒在BOSS的AoE范围内站了太长时间,+导致他们频繁掉血。但是,更夸张的是,暗影刺客和小甜甜之间似乎有什么默契——+每当暗影刺客掉血,小甜甜就立马给他加。++这时候,我想到了一个可能性。我在游戏论坛里看过一些帖子,有人提到暗影刺客和小甜甜好像是现实中的情侣!++妈呀,这下问题大了。在这么关键的时刻,小甜甜竟然偏心给她的男朋友加血,而忽视了作为团队大脑的会长!++大约在15分钟的时候,BOSS放出了一个大招——"魔龙吐息"。+这个技能造成的伤害足以秒杀任何一个DPS。但是坦克(雷霆之怒)应该能扛住。++可是,小甜甜的治疗没有及时跟上。雷霆之怒的血条瞬间掉到了0。++会长倒地了!++随后,失去了坦克的护佑,暗影刺客也被BOSS的普通攻击打成了残血,然后被秒杀。+紧接着是风云剑侠,然后是火球术一级。整个团队在短短30秒内全灭了。++副本失败。大家都复活在了副本入口。++这个时候,雷霆之怒(会长)的脾气彻底炸裂了。++他在YY频道里破口大骂:"小甜甜,你是干什么呢?!你是团队奶妈,不是暗影刺客的私人医生!+治疗职业就是要保坦克,你这样的治疗我见过,但从没见过这么烂的!"++小甜甜试图辩解:"我……我只是……"++雷霆之怒直接打断她:"别给我狡辩!我决定了,你从今天起被踢出公会!+而且暗影刺客这个摸鱼的家伙,我也要把他赶出去。两个人都别在星辰阁待着!"++但就在这个时候,事情发生了急转弯。++暗影刺客一句话都没说,只见他的角色突然冲向了BOSS房间。+而就在这时,副本的第二个阶段秘密掉落物品——传说级别的武器"魔龙之牙"出现了!++这是一把超级稀有的武器,全服务器可能只有两三把。价值高达几百万金币。++没等任何人反应过来,暗影刺客就冲上去,一把拿起了"魔龙之牙"!++我们都懵了。"魔龙之牙"本来应该由队长(雷霆之怒)来分配,决定给谁。+但是暗影刺客直接黑吃黑,把这把传说武器直接塞进了自己的背包里!++会长还在语音里骂人,根本没注意到这一幕。++紧接着,更狠的来了——暗影刺客在游戏里按下了"退出公会"的按钮。+他直接,光速,毫不犹豫地退出了星辰阁!++然后他的角色在世界频道发了一句话:"拜拜,各位。我去找个真正尊重我的公会。"++说完,这哥们直接下线了。++我们的公会频道顿时炸锅了。++小甜甜也没做任何辩解,直接退出了公会。她甚至没有说一句话。++会长雷霆之怒这时候才意识到发生了什么。他看到了掉落物品的分配记录——+"魔龙之牙"被暗影刺客拿走了,而不是团队共有。++他疯了。直接在世界频道开始刷屏:+"各位玩家,我要举报星辰阁的暗影刺客和小甜甜这两条狗!他们合谋黑装备!+不要信任他们!全服通缉这两个垃圾!"++火球术一级(法师)现在也开始助威。他在世界频道里连发了十多条信息:+"赞同!这两个人太过分了!狗男女!不要和他们做交易!"++"冰霜法咒在副本里的表现也不太理想,看起来他好像和那对情侣有什么关系,+因为我注意到在暗影刺客掉线的时候,冰霜法咒也莫名其妙地不进行输出了。"++有人开始怀疑冰霜法咒是不是也是那对情侣的朋友。++坚如磐石(副坦)这时候才上线。他看到了聊天记录,一脸懵逼。+他在公会频道里问:"发生什么了?我家里停电了……"++没有人回答他。因为大家都在看这场大戏。++月光治愈者试图调和一下,她说:"大家冷静……这件事可能有误会……"++但是没有人听她的。因为这个时候,世界频道上的玩家也开始评论这件事。++有人说:"这就是为什么我不玩大公会。大公会水太深。"++还有人说:"我早就听说暗影刺客这个人在游戏里名声不太好。多次被指控在副本里贪图装备。"++有人挖出了暗影刺客的历史记录。原来他曾经在另一个公会里,也因为类似的事情被踢出来过。++这哥们简直就是个"装备贪心鬼"。++风云剑侠开始反思:"也许我们团队的问题不只是小甜甜。我们可能选错人了。"++火球术一级继续在世界频道里刷屏:"各位,我建议大家抵制这两个玩家。不要和他们一个队。"++这时候,一个名字叫做"游戏管理员001"的官方账号出现了。+他说:"我们收到了关于玩家暗影刺客的举报。我们正在调查这件事。如果确认违规,将给予封号处理。"++暗影刺客的名字从世界频道消失了——他已经下线了。而且下线之前把"魔龙之牙"从背包里转移到了仓库。+没人知道他把这把武器藏在了哪里。++最后,星辰阁的会长雷霆之怒在公会频道里宣布:+"各位成员,我决定了。星辰阁正式解散。这个公会不适合我继续管理。+我会转移到一个小公会,和志同道合的朋友重新开始。"++很多成员试图挽留他。但是他的决心已定。++现在,星辰阁已经成为了一个"死公会"。只有一些离不开这个ID的成员还在。++这就是昨晚发生的一切。我作为一个旁观者,见证了这场游戏江湖的大戏。++最后的最后,我想说:游戏就是游戏。团队合作最重要。装备是身外之物。+但是,为了装备而背叛队友,这绝对是游戏玩家中最可耻的行为。++希望游戏官方能够严肃处理暗影刺客的违规行为。+也希望星辰阁的所有成员能够吸取教训,在各自的新公会里找到快乐。++---++【回复楼层】++1楼:网络大侠+妈呀,这比小说还精彩。我已经截图保存,等着看后续。++2楼:游戏评论家+我注意到"冰霜法咒"在这件事里也有可疑之处。为什么他突然停止输出?+楼主,能不能深入调查一下他和暗影刺客的关系?++3楼:前星辰阁成员(风云剑侠)+我想出来说两句话。昨晚我在现场。+真相是:小甜甜确实有偏心。但是暗影刺客黑装备这件事更过分。+会长的反应虽然情绪化,但也能理解。+我已经离开了星辰阁,现在申请加入"日月神教"这个新兴公会。++4楼:月光治愈者(副奶妈)+我想为自己辩解一下。我在昨晚的治疗中没有任何划水行为。+是小甜甜的治疗分配有问题,不是我。+顺便说一下,我现在还在星辰阁,因为我对公会有感情。+但是我也不太确定会不会继续留下来。++5楼:装备交易商+这就是为什么装备交易需要系统中间作为担保的原因。+建议官方加强对装备分配的监管。++6楼:游戏社区版主+这个帖子已经标记为"关键事件记录"。+我们会持续关注这件事的后续发展。+请各位不要进行人身攻击和骚扰。相关玩家可以选择转服。"""# ==============================================================================diff --git a/hyperextract/graphs/__init__.py b/hyperextract/graphs/__init__.pyindex 51f9393..a505a3e 100644--- a/hyperextract/graphs/__init__.py+++ b/hyperextract/graphs/__init__.py@@ -1,5 +1,6 @@from .base import AutoGraphfrom .kg_gen import KG_Gen+from .itext2kg import iText2KG-__all__ = ["AutoGraph", "KG_Gen"]+__all__ = ["AutoGraph", "KG_Gen", "iText2KG"]diff --git a/hyperextract/graphs/atom.py b/hyperextract/graphs/atom.pynew file mode 100644index 0000000..e69de29diff --git a/hyperextract/graphs/itext2kg.py b/hyperextract/graphs/itext2kg.pynew file mode 100644index 0000000..caa1941--- /dev/null+++ b/hyperextract/graphs/itext2kg.py@@ -0,0 +1,174 @@+"""iText2KG implementation using AutoGraph as the core engine.++This module provides a specialized implementation of the iText2KG algorithm+using the AutoGraph framework, designed for extracting high-quality,+standardized triple-based knowledge graphs.++Prompts and schemas are adapted from the original iText2KG* implementation.+"""++from pydantic import BaseModel, Field+from langchain_core.language_models import BaseChatModel+from langchain_core.embeddings import Embeddings+from ontomem.merger import MergeStrategy++from .base import AutoGraph+from ..utils.logging import logger++# ==============================================================================+# 1. Schema Definition - Consistent with original iText2KG implementation+# ==============================================================================+++class NodeSchema(BaseModel):+ """Knowledge Graph Node: Standard node structure"""++ label: str = Field(+ description=(+ "The semantic category of the entity (e.g., 'Person', 'Event', 'Location', 'Methodology', 'Position'). "+ "Use 'Relationship' objects if the concept is inherently relational or verbal (e.g., 'plans'). "+ "Prefer consistent, single-word categories where possible (e.g., 'Person', not 'Person_Entity'). "+ )+ )+ name: str = Field(+ description=(+ "The unique name or title identifying this entity, representing exactly one concept. "+ "For example, 'Yassir', 'CEO', or 'X'. Avoid combining multiple concepts (e.g., 'CEO of X'), "+ "since linking them should be done via Relationship objects. "+ "Verbs or multi-concept phrases (e.g., 'plans an escape') typically belong in Relationship objects. "+ )+ )+++class EdgeSchema(BaseModel):+ """Knowledge Graph Edge: Standard edge structure representing relationships between nodes"""++ startNode: NodeSchema = Field(+ description=(+ "The 'subject' or source entity of this relationship, which must appear in the known entities."+ )+ )+ endNode: NodeSchema = Field(+ description=(+ "The 'object' or target entity of this relationship, which must also appear in the known entities."+ )+ )+ name: str = Field(+ description=(+ "A single, canonical predicate capturing how the startNode and endNode relate (e.g., 'is_CEO', "+ "'holds_position', 'located_in'). Avoid compound verbs (e.g., 'plans_and_executes'). "+ "AVOID relation names as prepositions 'of', 'in' or similar."+ )+ )+++# ==============================================================================+# 2. Prompt Definition - Adapted from original iText2KG implementation+# ==============================================================================++iText2KG_NODE_EXTRACTION_PROMPT = """+Extract entities from the source text. Each entity encoding exactly one concept+(e.g., Person('Yassir'), Position('CEO'), Organization('X')).+If verbs or actions appear, place them in a Relationship object rather than as an Entity.+For instance, 'haira plans an escape' should yield separate Entities for Person('Haira'), Event('Escape'),+and possibly a Relationship('Haira' -> 'plans' -> 'Escape')."++# DIRECTIVES :+ - Act like an experienced knowledge graph builder.++### Source Text:+"""++iText2KG_EDGE_EXTRACTION_PROMPT = """+Based on the provided entities and context, identify the predicates that define relationships between these entities.+The predicates should be chosen with precision to accurately reflect the expressed relationships.++# DIRECTIVES :+ - Extract relationships between the provided entities based on the context.+ - Adhere completely to the provided entities list.+ - Do not change the name or label of the provided entities list.+ - Do not add any entity outside the provided list.+ - Avoid reflexive relations.+"""+++# ==============================================================================+# 3. iText2KG Implementation - Inherits from AutoGraph+# ==============================================================================+++class iText2KG(AutoGraph[NodeSchema, EdgeSchema]):+ """+ iText2KG: A specialized AutoGraph for extracting high-quality triple-based KGs.++ Features:+ - Fixed Schema (NodeSchema, EdgeSchema) optimized for triple extraction+ - Customized prompts from original iText2KG* implementation+ - Automatic deduplication and consistency checking via AutoGraph's OMem+ - Two-stage extraction: entities first, then relationships++ Example:+ >>> llm = ChatOpenAI(model="gpt-4o-mini", temperature=0)+ >>> embedder = OpenAIEmbeddings()+ >>> kg = iText2KG(llm_client=llm, embedder=embedder)+ >>> kg.feed_text(text)+ >>> print(f"Extracted {len(kg.nodes)} entities and {len(kg.edges)} relationships.")+ """++ def __init__(+ self,+ llm_client: BaseChatModel,+ embedder: Embeddings,+ chunk_size: int = 2000,+ chunk_overlap: int = 200,+ max_workers: int = 10,+ verbose: bool = True,+ ):+ """Initialize iText2KG.++ Args:+ llm_client: Language model for extraction+ embedder: Embedding model for vector indexing+ chunk_size: Characters per chunk+ chunk_overlap: Overlapping characters between chunks+ max_workers: Max concurrent extraction workers+ verbose: Display detailed execution logs and progress information+ """++ # 1. Define Key Extractors (critical for deduplication)+ # Node deduplication: exact match by name+ node_key_fn = lambda x: x.name++ # Edge deduplication: combination of subject-predicate-object triple+ edge_key_fn = lambda x: f"{x.startNode.name}|{x.name}|{x.endNode.name}"++ # 2. Edge consistency check: tell AutoGraph which nodes this edge connects+ nodes_in_edge_fn = lambda x: (x.startNode.name, x.endNode.name)++ # 3. Call parent class initialization+ logger.info("🚀 Initializing iText2KG")+ super().__init__(+ node_schema=NodeSchema,+ edge_schema=EdgeSchema,+ node_key_extractor=node_key_fn,+ edge_key_extractor=edge_key_fn,+ nodes_in_edge_extractor=nodes_in_edge_fn,+ llm_client=llm_client,+ embedder=embedder,+ # Enforce two-stage extraction (nodes first, then edges)+ extraction_mode="two_stage",+ # Inject customized prompts+ prompt_for_node_extraction=iText2KG_NODE_EXTRACTION_PROMPT,+ prompt_for_edge_extraction=iText2KG_EDGE_EXTRACTION_PROMPT,+ # Configure deduplication strategy+ node_strategy_or_merger=MergeStrategy.LLM.BALANCED,+ edge_strategy_or_merger=MergeStrategy.LLM.BALANCED,+ # Optimize indexing: only index name field+ node_fields_for_index=["name", "label"],+ edge_fields_for_index=["startNode", "name", "endNode"],+ # Other parameters+ chunk_size=chunk_size,+ chunk_overlap=chunk_overlap,+ max_workers=max_workers,+ verbose=verbose,+ )diff --git a/hyperextract/graphs/itext2kg_star.py b/hyperextract/graphs/itext2kg_star.pynew file mode 100644index 0000000..e69de29