Skip to content

一分钟搭建影视站,支持Docker等部署方式

feat(search): 支持配置每个搜索源最大抓取页数

bestZweia01e6bc8c721
diff --git a/README.md b/README.md
index 55903a6..a95af27 100644
--- a/README.md
+++ b/README.md
@@ -42,6 +42,7 @@ PASSWORD=your-password npm start # 监听 8080
| `DEFAULT_SOURCES` | 否 | 预置采集站(JSON 数组),用户端自动出现且默认勾选,详见[配置文档](docs/Configuration.md) |
| `REQUEST_TIMEOUT` | 否 | 代理上游请求超时(毫秒),默认 8000 |
| `MAX_RETRIES` | 否 | 代理请求重试次数,默认 1 |
+| `SEARCH_MAX_PAGES` | 否 | 每个搜索源最多抓取的页数(1-50,默认 5)。第一页会读取源站 `pagecount`,实际页数 = min(源站总页数,该值);页间并行请求,单页失败只丢该页 |
| `DEBUG` | 否 | 调试日志 |
## 使用说明
diff --git a/docker-compose.yml b/docker-compose.yml
index fbe5035..075ddba 100644
--- a/docker-compose.yml
+++ b/docker-compose.yml
@@ -19,4 +19,6 @@ services:
# - PROXY_SECRET=your-secret
# - REQUEST_TIMEOUT=8000
# - MAX_RETRIES=1
+ # 可选:每个搜索源最多抓取的页数(1-50,默认 5)
+ # - SEARCH_MAX_PAGES=5
# - DEBUG=false
diff --git a/docs/Configuration.md b/docs/Configuration.md
index 65c0b98..c20639f 100644
--- a/docs/Configuration.md
+++ b/docs/Configuration.md
@@ -8,6 +8,7 @@
| `PROXY_SECRET` | 否 | 从 PASSWORD 派生 | 会话与代理签名密钥。单实例可不设;多实例/负载均衡部署必须显式设置,否则各实例会话互不认账 |
| `REQUEST_TIMEOUT` | 否 | `8000` | 代理上游请求超时(毫秒) |
| `MAX_RETRIES` | 否 | `1` | 代理请求重试次数 |
+| `SEARCH_MAX_PAGES` | 否 | `5` | 每个搜索源最多抓取的页数(1-50)。第一页响应携带源站真实总页数 `pagecount`,实际抓取页数取两者较小值;后续页并行请求,单页失败仅丢弃该页。调大会显著增加上游请求量(约等于 源数 × 页数),搜索延迟与源站压力随之上升 |
| `USER_AGENT` | 否 | Chrome UA | 代理请求使用的 UA(豆瓣防盗链等场景) |
| `DEFAULT_SOURCES` | 否 | — | 预置采集站,JSON 数组,见下文 [预置采集站](#预置采集站default_sources) |
| `DEBUG` | 否 | `false` | 调试日志 |
diff --git a/src/app/api/search/route.ts b/src/app/api/search/route.ts
index 73df752..aae53b5 100644
--- a/src/app/api/search/route.ts
+++ b/src/app/api/search/route.ts
@@ -3,7 +3,7 @@ import { guardRequest } from '@/lib/api-guard';
import { cmsRequestHeaders, filterAdultResults, parseSearchList } from '@/lib/cms-parser';
import { fetchUpstream } from '@/lib/fetch-utils';
import { checkUpstreamAllowed } from '@/lib/ssrf';
-import type { SourceConfig, SourceSearchOutcome } from '@/lib/types';
+import type { SearchResultItem, SourceConfig, SourceSearchOutcome } from '@/lib/types';
export const runtime = 'nodejs';
@@ -13,8 +13,20 @@ interface SearchBody {
filterAdult?: boolean;
}
+/**
+ * 每个源最多抓取的页数(参考 LunaTV 的 SearchDownstreamMaxPage)。
+ * 第一页响应会带回 pagecount(源站真实总页数),实际抓取页数 = min(pagecount, 该值)。
+ * 默认 5;页与页之间并行请求,单页失败只丢弃该页。
+ */
+const SEARCH_MAX_PAGES = (() => {
+ const n = parseInt(process.env.SEARCH_MAX_PAGES || '5', 10);
+ if (!Number.isFinite(n)) return 5;
+ return Math.min(50, Math.max(1, n));
+})();
+
/**
* 服务端聚合搜索:并行请求所有选中源,任一源失败不影响整体。
+ * 每个源先取第一页并读取 pagecount,再并行抓取后续页(上限 SEARCH_MAX_PAGES)。
* 旧版在浏览器里打满 N 个请求(暴露用户 IP、无法缓存、超时失控),现全部上移。
*/
export async function POST(req: Request) {
@@ -47,15 +59,34 @@ export async function POST(req: Request) {
if (!verdict.ok) {
return { sourceKey: source.key, ok: false, list: [], error: verdict.reason };
}
- const api = `${source.url.replace(/\/+$/, '')}?ac=videolist&wd=${encodeURIComponent(wd)}`;
- try {
+ const base = source.url.replace(/\/+$/, '');
+ const fetchPage = async (page: number) => {
+ const api = `${base}?ac=videolist&wd=${encodeURIComponent(wd)}&pg=${page}`;
const res = await fetchUpstream(api, {
timeoutMs: 8000,
headers: cmsRequestHeaders(),
});
if (!res.ok) throw new Error(`HTTP ${res.status}`);
- const data = await res.json();
- const list = parseSearchList(data, source);
+ return res.json();
+ };
+ try {
+ const first = await fetchPage(1);
+ const list = parseSearchList(first, source) as SearchResultItem[];
+ // 源站真实总页数与配置上限取较小者;pagecount 缺失或非法时视为 1 页
+ const rawPageCount = parseInt(String((first as { pagecount?: unknown }).pagecount ?? '1'), 10);
+ const pageCount = Math.min(Number.isFinite(rawPageCount) ? Math.max(1, rawPageCount) : 1, SEARCH_MAX_PAGES);
+ if (pageCount > 1) {
+ const extraPages = await Promise.all(
+ Array.from({ length: pageCount - 1 }, (_, i) => i + 2).map(async (page) => {
+ try {
+ return parseSearchList(await fetchPage(page), source);
+ } catch {
+ return [] as SearchResultItem[];
+ }
+ })
+ );
+ list.push(...extraPages.flat());
+ }
return { sourceKey: source.key, ok: true, list };
} catch (err) {
return {