Skip to content

Self-evolving Context Database for AI Agents. Unify Agent Memory, Knowledge RAG and Skills.

docs: refresh multilingual readmes (#2296)

AlexMae7977aaf0adb
diff --git a/README.md b/README.md
index 8f6730a35..f2f53d46a 100644
--- a/README.md
+++ b/README.md
@@ -29,6 +29,8 @@ English / [中文](README_CN.md) / [日本語](README_JA.md)
***
+✨ **May 2026 Update**: Updated OpenViking benchmark results across User Memory, Agent Memory, and Knowledge Base QA scenarios. → See [Evaluation Highlights](#evaluation-highlights).
+
## Overview
### Challenges in Agent Development
@@ -55,68 +57,6 @@ With OpenViking, developers can build an Agent's brain just like managing local
- **Visualized Retrieval Trajectory** → **Observable Context**: Supports visualization of directory retrieval trajectories, allowing users to clearly observe the root cause of issues and guide retrieval logic optimization.
- **Automatic Session Management** → **Context Self-Iteration**: Automatically compresses content, resource references, tool calls, etc., in conversations, extracting long-term memory, making the Agent smarter with use.
-***
-
-## Evaluation Highlights
-
-OpenViking 1.0 has been evaluated across three scenarios: long-conversation user memory, agent experience memory, and knowledge-base QA.
-
-### 1. User Memory on LoCoMo
-
-On the LoCoMo benchmark, OpenViking improves long-context QA accuracy while reducing both latency and token usage across multiple agent integrations:
-
-| Integration | Accuracy | Avg. Query Time | Total Input Tokens |
-| ----------- | -------- | --------------- | ------------------ |
-| OpenClaw + native memory | 24.20% | 95.14s | 392,559,404 |
-| OpenClaw + OpenViking | **82.08%** | 38.8s | 37,423,456 |
-| Hermes native memory | 33.38% | 82.4s | 79,228,398 |
-| Hermes + OpenViking | **82.86%** | **27.9s** | 52,026,755 |
-| Claude Code auto-memory | 57.21% | 49.1s | 353,306,422 |
-| Claude Code + OpenViking | **80.32%** | **20.4s** | 129,968,899 |
-
-### 1.2 Key Efficiency Improvements
-
-| Agent | Accuracy Improvement | Latency Reduction | Token Reduction |
-| ----- | -------------------- | ----------------- | --------------- |
-| OpenClaw | 24.20% → 82.08% (+3.39×) | -59.22% | **-91.0%** |
-| Hermes | 33.38% → 82.86% (+2.48×) | -66.10% | -34.3% |
-| Claude Code | 57.21% → 80.32% (+1.40×) | -58.45% | -63.2% |
-
-### 2. Agent Experience Memory on tau2-bench
-
-For multi-turn agent tasks on tau2-bench, OpenViking's experience memory improves task success in both retail and airline domains:
-
-| Setting | Retail Accuracy | Airline Accuracy |
-| ------- | --------------- | ---------------- |
-| LLM without memory | 70.94% | 54.38% |
-| LLM + OpenViking experience memory | **77.81%** (+6.87pp) | **66.25%** (+11.87pp) |
-
-### 3. Knowledge Base QA on HotpotQA
-
-On multi-hop RAG tasks from HotpotQA, increasing OpenViking retrieval from top-5 to top-20 delivers the highest accuracy in this comparison while keeping retrieval latency low:
-
-| Method | Retrieval Pattern | Accuracy | Tokens / QA | Latency / QA |
-| ------ | ----------------- | -------- | ----------- | ------------ |
-| Naive RAG | Vector retrieval | 62.50% | 1,290 | **0.11s** |
-| HippoRAG 2 | Vector + knowledge graph | 61.00% | 726 | 20s |
-| LightRAG | Vector + knowledge graph | 89.00% | 28,443 | 75s |
-| LangChain SQL (Agent) | SQL agent | 78.00% | 4,776 | 132s |
-| OpenViking (top-5) | Vector retrieval | 72.75% | 3,154 | 0.22s |
-| OpenViking (top-20) | Vector retrieval | **91.00%** | 12,533 | 0.23s |
-| Nanobot + OpenViking (Agent) | Vector retrieval + Agent | 87.00% | 71,300 | 61.6s |
-
-### 3.2 Single-turn RAG Across 5 Open-source Datasets
-
-| Method | Retrieval Pattern | Average Accuracy | Indexing Tokens | Tokens / QA | Retrieval Latency |
-| ------ | ----------------- | ---------------- | --------------- | ----------- | ----------------- |
-| Naive RAG | Vector retrieval | 53.93% | 2,755,356 | 1,435 | **0.13s** |
-| PageIndex | Vector + tree structure | 36.75% | 5,609,206 | 710,480 | 84.60s |
-| HippoRAG 2 | Vector + knowledge graph | 44.50% | 124,963,618 | **637** | 18.83s |
-| LightRAG | Vector + knowledge graph | **76.00%** | 62,705,469 | 27,035 | 9.19s |
-| **OpenViking** | **Vector retrieval** | **66.87%** | **8,671,538** | **3,060** | **0.19s** |
-
-> Datasets: FinanceBench, NaturalQuestions, ClapNQ, Qasper, and SyllabusQA. OpenViking reaches 66.87% average accuracy with very low retrieval latency (0.19s), while indexing cost is only 13.8% of LightRAG.
-
## Quick Start
### Prerequisites
@@ -665,6 +605,80 @@ To ensure optimal storage performance and data security, we recommend deploying
👉 **[View: Server Deployment & ECS Setup Guide](./docs/en/getting-started/03-quickstart-server.md)**
+---
+
+## Evaluation Highlights
+
+OpenViking 1.0 has been evaluated across three scenarios: long-conversation user memory, agent experience memory, and knowledge-base QA.
+
+### 1. User Memory on LoCoMo
+
+On the LoCoMo benchmark, OpenViking improves long-context QA accuracy while reducing both latency and token usage across multiple agent integrations:
+
+| Integration | Accuracy | Avg. Query Time | Total Input Tokens |
+|:-----------:|---------:|----------------:|-------------------:|
+| OpenClaw + native memory | 24.20% | 95.14s | 392,559,404 |
+| OpenClaw + OpenViking | **82.08%** | 38.8s | 37,423,456 |
+| Hermes native memory | 33.38% | 82.4s | 79,228,398 |
+| Hermes + OpenViking | **82.86%** | **27.9s** | 52,026,755 |
+| Claude Code auto-memory | 57.21% | 49.1s | 353,306,422 |
+| Claude Code + OpenViking | **80.32%** | **20.4s** | 129,968,899 |
+
+#### 1.1 Key Efficiency Improvements
+
+| Agent | Accuracy Improvement | Latency Reduction | Token Reduction |
+|:-----:|---------------------:|------------------:|----------------:|
+| OpenClaw | 24.20% → 82.08% (+3.39×) | -59.22% | **-91.0%** |
+| Hermes | 33.38% → 82.86% (+2.48×) | -66.10% | -34.3% |
+| Claude Code | 57.21% → 80.32% (+1.40×) | -58.45% | -63.2% |
+
+### 2. Agent Experience Memory on tau2-bench
+
+For multi-turn agent tasks on tau2-bench, OpenViking's experience memory improves task success in both retail and airline domains:
+
+| Setting | Retail Accuracy | Airline Accuracy |
+|:-------:|----------------:|-----------------:|
+| LLM without memory | 70.94% | 54.38% |
+| LLM + OpenViking experience memory | **77.81%** (+6.87pp) | **66.25%** (+11.87pp) |
+
+### 3. Knowledge Base QA on HotpotQA
+
+On multi-hop RAG tasks from HotpotQA, increasing OpenViking retrieval from top-5 to top-20 delivers the highest accuracy in this comparison while keeping retrieval latency low:
+
+| Method | Retrieval Pattern | Accuracy | Tokens / QA | Latency / QA |
+|:------:|:-----------------:|---------:|------------:|-------------:|
+| Naive RAG | Vector retrieval | 62.50% | 1,290 | **0.11s** |
+| HippoRAG 2 | Vector + knowledge graph | 61.00% | 726 | 20s |
+| LightRAG | Vector + knowledge graph | 89.00% | 28,443 | 75s |
+| LangChain SQL (Agent) | SQL agent | 78.00% | 4,776 | 132s |
+| OpenViking (top-5) | Vector retrieval | 72.75% | 3,154 | 0.22s |
+| OpenViking (top-20) | Vector retrieval | **91.00%** | 12,533 | 0.23s |
+| Nanobot + OpenViking (Agent) | Vector retrieval + Agent | 87.00% | 71,300 | 61.6s |
+
+#### 3.1 Single-turn RAG Across 5 Open-source Datasets
+
+| Method | Retrieval Pattern | Average Accuracy | Indexing Tokens | Tokens / QA | Retrieval Latency |
+|:------:|:-----------------:|-----------------:|----------------:|------------:|------------------:|
+| Naive RAG | Vector retrieval | 53.93% | 2,755,356 | 1,435 | **0.13s** |
+| PageIndex | Vector + tree structure | 36.75% | 5,609,206 | 710,480 | 84.60s |
+| HippoRAG 2 | Vector + knowledge graph | 44.50% | 124,963,618 | **637** | 18.83s |
+| LightRAG | Vector + knowledge graph | **76.00%** | 62,705,469 | 27,035 | 9.19s |
+| **OpenViking** | **Vector retrieval** | **66.87%** | **8,671,538** | **3,060** | **0.19s** |
+
+> Datasets: FinanceBench, NaturalQuestions, ClapNQ, Qasper, and SyllabusQA. OpenViking reaches 66.87% average accuracy with very low retrieval latency (0.19s), while indexing cost is only 13.8% of LightRAG.
+
+---
+
+## Academic Backing
+
+OpenViking open-sources a subset of the core capabilities described in the `VikingMem` paper, making the context database and memory management ideas accessible to AI agent developers.
+
+> **VikingMem: A Memory Base Management System for Stateful LLM-based Applications**
+> Jiajie Fu, Junwen Chen, Mengzhao Wang, Aoxiang He, Maojia Sheng, Xiangyu Ke, Yifan Zhu, and Yunjun Gao.
+> arXiv:2605.29640, 2026. Accepted by VLDB 2026.
+>
+> 📄 [Read the paper on arXiv](https://arxiv.org/abs/2605.29640)
+
## Core Concepts
After running the first example, let's dive into the design philosophy of OpenViking. These five core concepts correspond one-to-one with the solutions mentioned earlier, together building a complete context management system:
diff --git a/README_CN.md b/README_CN.md
index b032d811c..cc8117f19 100644
--- a/README_CN.md
+++ b/README_CN.md
@@ -27,6 +27,8 @@
---
+✨ **2026年5月更新**:更新 OpenViking 在 User Memory、Agent Memory 和知识库问答三场景上的评测结果。→ 见 [评测结果](#-评测结果)。
+
## 概述
### 智能体开发面临的挑战
@@ -545,25 +547,96 @@ OpenViking 的核心价值主张:**在更高问答准确率的同时,消耗
#### 1.1 各 Agent 基座上的 LOCOMO 测试结果
-| 实验编号 | 方案 | Query 平均耗时 | 问答准确率 | Agent 总输入 Token |
-|---------|------|--------------|-----------|------------------|
-| **OpenClaw 基座** | | | | |
-| 1 | OpenClaw + 原生 memory-core | 95.14s | 24.20% | 392,559,404 |
-| 2 | OpenClaw + Mem0 | **37.6s** | 56.62% | 42,118,285 |
-| 3 | OpenClaw + SuperMemory | 109.3s | 42.99% | 88,304,113 |
-| 4 | OpenClaw + 百炼记忆库 | 41.6s | 39.55% | 35,206,037 |
-| **5** | **OpenClaw + OpenViking** | **38.8s** | **82.08%** | **37,423,456** |
-| **Hermes 基座** | | | | |
-| 6 | Hermes Native Memory | 82.4s (3.57 轮/query) | 33.38% | 79,228,398 |
-| **7** | **Hermes + OpenViking** | **27.9s** (1.55 轮/query) | **82.86%** | **52,026,755** |
-| **Claude Code 基座** | | | | |
-| 8 | Claude Code Auto-Memory | 49.1s (7.2 轮/query) | 57.21% | 353,306,422 |
-| **9** | **Claude Code + OpenViking** | **20.4s** (2.6 轮/query) | **80.32%** | **129,968,899** |
+<table style="width: 100%; table-layout: fixed;">
+ <thead>
+ <tr>
+ <th style="text-align: center; width: 12%;">实验编号</th>
+ <th style="text-align: center; width: 30%;">方案</th>
+ <th style="text-align: center; width: 20%;">Query 平均耗时</th>
+ <th style="text-align: center; width: 14%;">问答准确率</th>
+ <th style="text-align: center; width: 24%;">Agent 总输入 Token</th>
+ </tr>
+ </thead>
+ <tbody>
+ <tr>
+ <td colspan="5" style="text-align: center; font-weight: bold;">OpenClaw 基座</td>
+ </tr>
+ <tr>
+ <td style="text-align: center;">1</td>
+ <td style="text-align: center;">OpenClaw + 原生 memory-core</td>
+ <td style="text-align: right; white-space: nowrap;">95.14s</td>
+ <td style="text-align: right;">24.20%</td>
+ <td style="text-align: right;">392,559,404</td>
+ </tr>
+ <tr>
+ <td style="text-align: center;">2</td>
+ <td style="text-align: center;">OpenClaw + Mem0</td>
+ <td style="text-align: right; white-space: nowrap; font-weight: bold;">37.6s</td>
+ <td style="text-align: right;">56.62%</td>
+ <td style="text-align: right;">42,118,285</td>
+ </tr>
+ <tr>
+ <td style="text-align: center;">3</td>
+ <td style="text-align: center;">OpenClaw + SuperMemory</td>
+ <td style="text-align: right; white-space: nowrap;">109.3s</td>
+ <td style="text-align: right;">42.99%</td>
+ <td style="text-align: right;">88,304,113</td>
+ </tr>
+ <tr>
+ <td style="text-align: center;">4</td>
+ <td style="text-align: center;">OpenClaw + 百炼记忆库</td>
+ <td style="text-align: right; white-space: nowrap;">41.6s</td>
+ <td style="text-align: right;">39.55%</td>
+ <td style="text-align: right;">35,206,037</td>
+ </tr>
+ <tr>
+ <td style="text-align: center; font-weight: bold;">5</td>
+ <td style="text-align: center; font-weight: bold;">OpenClaw + OpenViking</td>
+ <td style="text-align: right; white-space: nowrap; font-weight: bold;">38.8s</td>
+ <td style="text-align: right; font-weight: bold;">82.08%</td>
+ <td style="text-align: right; font-weight: bold;">37,423,456</td>
+ </tr>
+ <tr>
+ <td colspan="5" style="text-align: center; font-weight: bold;">Hermes 基座</td>
+ </tr>
+ <tr>
+ <td style="text-align: center;">6</td>
+ <td style="text-align: center;">Hermes Native Memory</td>
+ <td style="text-align: right; white-space: nowrap;">82.4s (3.57轮/query)</td>
+ <td style="text-align: right;">33.38%</td>
+ <td style="text-align: right;">79,228,398</td>
+ </tr>
+ <tr>
+ <td style="text-align: center; font-weight: bold;">7</td>
+ <td style="text-align: center; font-weight: bold;">Hermes + OpenViking</td>
+ <td style="text-align: right; white-space: nowrap; font-weight: bold;">27.9s (1.55轮/query)</td>
+ <td style="text-align: right; font-weight: bold;">82.86%</td>
+ <td style="text-align: right; font-weight: bold;">52,026,755</td>
+ </tr>
+ <tr>
+ <td colspan="5" style="text-align: center; font-weight: bold;">Claude Code 基座</td>
+ </tr>
+ <tr>
+ <td style="text-align: center;">8</td>
+ <td style="text-align: center;">Claude Code Auto-Memory</td>
+ <td style="text-align: right; white-space: nowrap;">49.1s (7.2轮/query)</td>
+ <td style="text-align: right;">57.21%</td>
+ <td style="text-align: right;">353,306,422</td>
+ </tr>
+ <tr>
+ <td style="text-align: center; font-weight: bold;">9</td>
+ <td style="text-align: center; font-weight: bold;">Claude Code + OpenViking</td>
+ <td style="text-align: right; white-space: nowrap; font-weight: bold;">20.4s (2.6轮/query)</td>
+ <td style="text-align: right; font-weight: bold;">80.32%</td>
+ <td style="text-align: right; font-weight: bold;">129,968,899</td>
+ </tr>
+ </tbody>
+</table>
#### 1.2 关键效率提升汇总
| Agent | 准确率提升 | 时延降低 | Token 消耗降低 |
-|------|-----------|---------|--------------|
+|:-----:|----------:|---------:|--------------:|
| OpenClaw | 24.20% → 82.08% (+3.39×) | -59.22% | **-91.0%** |
| Hermes | 33.38% → 82.86% (+2.48×) | -66.10% | -34.3% |
| Claude Code | 57.21% → 80.32% (+1.40×) | -58.45% | -63.2% |
@@ -577,7 +650,7 @@ OpenViking 的核心价值主张:**在更高问答准确率的同时,消耗
OpenViking 的 Agent Memory 分为两层:
| 层级 | 概念 | 说明 |
-|-----|------|------|
+|:----:|:----:|:----:|
| Layer 1 | **轨迹(Trajectory)** | 每次会话结束后自动提炼,记录"做了什么、怎么做的、结果如何" |
| Layer 2 | **经验(Experience)** | 由多条相关轨迹归纳而来,跨会话可复用的策略性知识,"Situation / Approach / Reflect"三段式 |
@@ -586,7 +659,7 @@ OpenViking 的 Agent Memory 分为两层:
港大数据科学实验室(HKUDS)构建的"实时经济生存 benchmark",Agent 从 $10 起步,每次 LLM 调用自动扣费,收入来自完成专业任务(覆盖 44 个职业、220 个任务)。
| 方案 | 完成 50 个任务后净收入 | 平均每小时 Token 消耗 |
-|-----|-------------------|------------------|
+|:----:|-------------------:|------------------:|
| LLM only | $2,269.77 | 1,030.3K/h |
| **LLM + OpenViking** | **$3,843.74 (+69.34%)** | **872.4K/h (-22.8%)** |
@@ -595,7 +668,7 @@ OpenViking 的 Agent Memory 分为两层:
Sierra AI 发布的对话式 Agent 评测基准,覆盖 Retail 和 Airline 两个领域。
| 方案 | Retail 正确率 | Airline 正确率 |
-|-----|-------------|--------------|
+|:----:|------------:|-------------:|
| LLM 无记忆 | 70.94% | 54.38% |
| **LLM + OpenViking 经验记忆** | **77.81% (+6.87pp)** | **66.25% (+11.87pp)** |
@@ -608,7 +681,7 @@ Sierra AI 发布的对话式 Agent 评测基准,覆盖 Retail 和 Airline 两
#### 3.1 多跳、多路 RAG 测试(HotpotQA 数据集)
| 方案 | 检索范式 | Accuracy | 每 QA Token | 每 QA 耗时 |
-|-----|---------|---------|------------|---------|
+|:----:|:------:|---------:|-----------:|---------:|
| Naive RAG | 向量检索 | 62.50% | 1,290 | **0.11s** |
| HippoRAG 2 | 向量 + 知识图谱 | 61.00% | 726 | 20s |
| LightRAG | 向量 + 知识图谱 | 89.00% | 28,443 | 75s |
@@ -621,7 +694,7 @@ Sierra AI 发布的对话式 Agent 评测基准,覆盖 Retail 和 Airline 两
#### 3.2 单轮 RAG 测试(5 个开源数据集均值)
| 方案 | 检索范式 | 平均 Accuracy | 建库 Token | 每 QA Token | 检索耗时 |
-|-----|---------|-------------|----------|------------|--------|
+|:----:|:------:|-------------:|---------:|-----------:|-------:|
| Naive RAG | 向量检索 | 53.93% | 2,755,356 | 1,435 | **0.13s** |
| PageIndex | 向量 + 树结构 | 36.75% | 5,609,206 | 710,480 | 84.60s |
| HippoRAG 2 | 向量 + 知识图谱 | 44.50% | 124,963,618 | **637** | 18.83s |
@@ -632,6 +705,16 @@ Sierra AI 发布的对话式 Agent 评测基准,覆盖 Retail 和 Airline 两
---
+## 学术背书
+
+OpenViking 开源了论文 `VikingMem` 中描述的部分核心能力,使 AI 智能体开发者可以直接使用其中的上下文数据库与记忆管理理念。
+
+> **VikingMem: A Memory Base Management System for Stateful LLM-based Applications**
+> Jiajie Fu, Junwen Chen, Mengzhao Wang, Aoxiang He, Maojia Sheng, Xiangyu Ke, Yifan Zhu, and Yunjun Gao.
+> arXiv:2605.29640, 2026。已被 VLDB 2026 接收。
+>
+> 📄 [阅读 arXiv 论文](https://arxiv.org/abs/2605.29640)
+
## VikingBot 部署详情
OpenViking 有一个类似 nanobot 的机器人用于交互工作,现已可用。
@@ -786,4 +869,4 @@ OpenViking 项目不同组件采用不同的开源协议:
[github-issues-shield]: https://img.shields.io/github/issues/volcengine/OpenViking?labelColor=black&style=flat-square&color=ff80eb
[github-issues-shield-link]: https://github.com/volcengine/OpenViking/issues
[github-contributors-shield]: https://img.shields.io/github/contributors/volcengine/OpenViking?color=c4f042&labelColor=black&style=flat-square
-[github-contributors-link]: https://github.com/volcengine/OpenViking/graphs/contributors
\ No newline at end of file
+[github-contributors-link]: https://github.com/volcengine/OpenViking/graphs/contributors
diff --git a/README_JA.md b/README_JA.md
index f67fd2d0e..9a1cc974e 100644
--- a/README_JA.md
+++ b/README_JA.md
@@ -29,6 +29,8 @@
---
+✨ **2026年5月アップデート**:OpenViking の User Memory、Agent Memory、ナレッジベースQA 3シナリオにおけるベンチマーク結果を更新しました。→ [評価ハイライト](#評価ハイライト) をご確認ください。
+
## 概要
### エージェント開発における課題
@@ -55,65 +57,6 @@ OpenVikingを使えば、開発者はローカルファイルを管理するよ
- **可視化された検索軌跡** → **観察可能なコンテキスト**: ディレクトリ検索軌跡の可視化をサポートし、ユーザーが問題の根本原因を明確に観察し、検索ロジックの最適化を導くことを可能に。
- **自動セッション管理** → **コンテキストの自己反復**: 会話中のコンテンツ、リソース参照、ツール呼び出しなどを自動的に圧縮し、長期メモリを抽出して、使うほどエージェントを賢く。
----
-
-## 評価ハイライト
-
-OpenVikingの中核的な価値は、**より高い回答精度**を実現しながら、**より少ないトークン消費**と**より低いレイテンシ**を両立することです。以下では、3つの評価シナリオをまとめます。
-
-### 1. ユーザーメモリ評価
-
-**目的**: OpenVikingを各種Agentの外部メモリとして接続したとき、長対話メモリQA(LOCOMO)における精度・Token効率・レイテンシを検証します。
-
-| 構成 | 平均 Query 時間 | 回答精度 | 総入力 Token |
-|------|----------------|---------|-------------|
-| OpenClaw + native memory-core | 95.14s | 24.20% | 392,559,404 |
-| **OpenClaw + OpenViking** | **38.8s** | **82.08%** | **37,423,456** |
-| Hermes Native Memory | 82.4s | 33.38% | 79,228,398 |
-| **Hermes + OpenViking** | **27.9s** | **82.86%** | **52,026,755** |
-| Claude Code Auto-Memory | 49.1s | 57.21% | 353,306,422 |
-| **Claude Code + OpenViking** | **20.4s** | **80.32%** | **129,968,899** |
-
-### 1.2 主要な効率改善
-
-| Agent | 精度向上 | レイテンシ低減 | Token 削減 |
-|------|---------|---------------|-----------|
-| OpenClaw | 24.20% → 82.08% (+3.39×) | -59.22% | **-91.0%** |
-| Hermes | 33.38% → 82.86% (+2.48×) | -66.10% | -34.3% |
-| Claude Code | 57.21% → 80.32% (+1.40×) | -58.45% | -63.2% |
-
-### 2. Agent経験メモリ評価
-
-| 構成 | Retail 正答率 | Airline 正答率 |
-|------|--------------|---------------|
-| LLMのみ | 70.94% | 54.38% |
-| **LLM + OpenViking 経験メモリ** | **77.81% (+6.87pp)** | **66.25% (+11.87pp)** |
-
-### 3. ナレッジベースQA評価
-
-| 手法 | 検索方式 | Accuracy | Token / QA | レイテンシ / QA |
-|------|---------|----------|------------|-----------------|
-| Naive RAG | ベクトル検索 | 62.50% | 1,290 | **0.11s** |
-| HippoRAG 2 | ベクトル + 知識グラフ | 61.00% | 726 | 20s |
-| LightRAG | ベクトル + 知識グラフ | 89.00% | 28,443 | 75s |
-| LangChain SQL (Agent) | SQL + Agent | 78.00% | 4,776 | 132s |
-| OpenViking (top5) | ベクトル検索 | 72.75% | 3,154 | 0.22s |
-| **OpenViking (top20)** | **ベクトル検索** | **91.00%** | **12,533** | **0.23s** |
-
-> この比較では、OpenVikingは HotpotQA の top20 設定で最高精度(91%)を達成し、同時にレイテンシを 0.23s に抑えています。
-
-### 3.2 5つのオープンソースデータセットにおける単一ターンRAG
-
-| 手法 | 検索方式 | 平均 Accuracy | インデックス構築 Token | Token / QA | 検索レイテンシ |
-|------|---------|---------------|------------------------|------------|----------------|
-| Naive RAG | ベクトル検索 | 53.93% | 2,755,356 | 1,435 | **0.13s** |
-| PageIndex | ベクトル + 木構造 | 36.75% | 5,609,206 | 710,480 | 84.60s |
-| HippoRAG 2 | ベクトル + 知識グラフ | 44.50% | 124,963,618 | **637** | 18.83s |
-| LightRAG | ベクトル + 知識グラフ | **76.00%** | 62,705,469 | 27,035 | 9.19s |
-| **OpenViking** | **ベクトル検索** | **66.87%** | **8,671,538** | **3,060** | **0.19s** |
-
-> 対象データセット: FinanceBench、NaturalQuestions、ClapNQ、Qasper、SyllabusQA。OpenViking は非常に低い検索レイテンシ(0.19s)を維持しながら平均 66.87% の精度を達成し、インデックス構築コストは LightRAG の 13.8% にとどまります。
-
## クイックスタート
### 前提条件
@@ -452,6 +395,76 @@ ov chat
👉 **[参照: サーバーデプロイ&ECSセットアップガイド](./docs/en/getting-started/03-quickstart-server.md)**
+---
+
+## 評価ハイライト
+
+OpenViking の中核的な価値は、**より高い回答精度**を実現しながら、**より少ないトークン消費**と**より低いレイテンシ**を両立することです。以下では、3 つの評価シナリオをまとめます。
+
+### 1. ユーザーメモリ評価
+
+**目的**: OpenViking を各種 Agent の外部メモリとして接続したとき、長対話メモリ QA(LOCOMO)における精度・Token 効率・レイテンシを検証します。
+
+| 構成 | 平均 Query 時間 | 回答精度 | 総入力 Token |
+|:----:|----------------:|---------:|-------------:|
+| OpenClaw + native memory-core | 95.14s | 24.20% | 392,559,404 |
+| **OpenClaw + OpenViking** | **38.8s** | **82.08%** | **37,423,456** |
+| Hermes Native Memory | 82.4s | 33.38% | 79,228,398 |
+| **Hermes + OpenViking** | **27.9s** | **82.86%** | **52,026,755** |
+| Claude Code Auto-Memory | 49.1s | 57.21% | 353,306,422 |
+| **Claude Code + OpenViking** | **20.4s** | **80.32%** | **129,968,899** |
+
+#### 1.1 主要な効率改善
+
+| Agent | 精度向上 | レイテンシ低減 | Token 削減 |
+|:-----:|---------:|---------------:|-----------:|
+| OpenClaw | 24.20% → 82.08% (+3.39×) | -59.22% | **-91.0%** |
+| Hermes | 33.38% → 82.86% (+2.48×) | -66.10% | -34.3% |
+| Claude Code | 57.21% → 80.32% (+1.40×) | -58.45% | -63.2% |
+
+### 2. Agent経験メモリ評価
+
+| 構成 | Retail 正答率 | Airline 正答率 |
+|:----:|--------------:|---------------:|
+| LLMのみ | 70.94% | 54.38% |
+| **LLM + OpenViking 経験メモリ** | **77.81% (+6.87pp)** | **66.25% (+11.87pp)** |
+
+### 3. ナレッジベースQA評価
+
+| 手法 | 検索方式 | Accuracy | Token / QA | レイテンシ / QA |
+|:----:|:--------:|---------:|-----------:|----------------:|
+| Naive RAG | ベクトル検索 | 62.50% | 1,290 | **0.11s** |
+| HippoRAG 2 | ベクトル + 知識グラフ | 61.00% | 726 | 20s |
+| LightRAG | ベクトル + 知識グラフ | 89.00% | 28,443 | 75s |
+| LangChain SQL (Agent) | SQL + Agent | 78.00% | 4,776 | 132s |
+| OpenViking (top5) | ベクトル検索 | 72.75% | 3,154 | 0.22s |
+| **OpenViking (top20)** | **ベクトル検索** | **91.00%** | **12,533** | **0.23s** |
+
+> この比較では、OpenViking は HotpotQA の top20 設定で最高精度(91%)を達成し、同時にレイテンシを 0.23s に抑えています。
+
+#### 3.1 5つのオープンソースデータセットにおける単一ターンRAG
+
+| 手法 | 検索方式 | 平均 Accuracy | インデックス構築 Token | Token / QA | 検索レイテンシ |
+|:----:|:--------:|--------------:|-----------------------:|-----------:|---------------:|
+| Naive RAG | ベクトル検索 | 53.93% | 2,755,356 | 1,435 | **0.13s** |
+| PageIndex | ベクトル + 木構造 | 36.75% | 5,609,206 | 710,480 | 84.60s |
+| HippoRAG 2 | ベクトル + 知識グラフ | 44.50% | 124,963,618 | **637** | 18.83s |
+| LightRAG | ベクトル + 知識グラフ | **76.00%** | 62,705,469 | 27,035 | 9.19s |
+| **OpenViking** | **ベクトル検索** | **66.87%** | **8,671,538** | **3,060** | **0.19s** |
+
+> 対象データセット: FinanceBench、NaturalQuestions、ClapNQ、Qasper、SyllabusQA。OpenViking は非常に低い検索レイテンシ(0.19s)を維持しながら平均 66.87% の精度を達成し、インデックス構築コストは LightRAG の 13.8% にとどまります。
+
+---
+
+## 学術的裏付け
+
+OpenViking は、論文 `VikingMem` で述べられている中核能力の一部をオープンソース化したものであり、AI エージェント開発者がそのコンテキストデータベースとメモリ管理の考え方を直接利用できるようにしています。
+
+> **VikingMem: A Memory Base Management System for Stateful LLM-based Applications**
+> Jiajie Fu, Junwen Chen, Mengzhao Wang, Aoxiang He, Maojia Sheng, Xiangyu Ke, Yifan Zhu, and Yunjun Gao.
+> arXiv:2605.29640, 2026. VLDB 2026 に採択。
+>
+> 📄 [arXiv で論文を読む](https://arxiv.org/abs/2605.29640)
## コアコンセプト