一分钟搭建影视站,支持Docker等部署方式
feat(search): 支持配置每个搜索源最大抓取页数
bestZweia01e6bc8c721
diff --git a/README.md b/README.mdindex 55903a6..a95af27 100644--- a/README.md+++ b/README.md@@ -42,6 +42,7 @@ PASSWORD=your-password npm start # 监听 8080| `DEFAULT_SOURCES` | 否 | 预置采集站(JSON 数组),用户端自动出现且默认勾选,详见[配置文档](docs/Configuration.md) || `REQUEST_TIMEOUT` | 否 | 代理上游请求超时(毫秒),默认 8000 || `MAX_RETRIES` | 否 | 代理请求重试次数,默认 1 |+| `SEARCH_MAX_PAGES` | 否 | 每个搜索源最多抓取的页数(1-50,默认 5)。第一页会读取源站 `pagecount`,实际页数 = min(源站总页数,该值);页间并行请求,单页失败只丢该页 || `DEBUG` | 否 | 调试日志 |## 使用说明diff --git a/docker-compose.yml b/docker-compose.ymlindex fbe5035..075ddba 100644--- a/docker-compose.yml+++ b/docker-compose.yml@@ -19,4 +19,6 @@ services:# - PROXY_SECRET=your-secret# - REQUEST_TIMEOUT=8000# - MAX_RETRIES=1+ # 可选:每个搜索源最多抓取的页数(1-50,默认 5)+ # - SEARCH_MAX_PAGES=5# - DEBUG=falsediff --git a/docs/Configuration.md b/docs/Configuration.mdindex 65c0b98..c20639f 100644--- a/docs/Configuration.md+++ b/docs/Configuration.md@@ -8,6 +8,7 @@| `PROXY_SECRET` | 否 | 从 PASSWORD 派生 | 会话与代理签名密钥。单实例可不设;多实例/负载均衡部署必须显式设置,否则各实例会话互不认账 || `REQUEST_TIMEOUT` | 否 | `8000` | 代理上游请求超时(毫秒) || `MAX_RETRIES` | 否 | `1` | 代理请求重试次数 |+| `SEARCH_MAX_PAGES` | 否 | `5` | 每个搜索源最多抓取的页数(1-50)。第一页响应携带源站真实总页数 `pagecount`,实际抓取页数取两者较小值;后续页并行请求,单页失败仅丢弃该页。调大会显著增加上游请求量(约等于 源数 × 页数),搜索延迟与源站压力随之上升 || `USER_AGENT` | 否 | Chrome UA | 代理请求使用的 UA(豆瓣防盗链等场景) || `DEFAULT_SOURCES` | 否 | — | 预置采集站,JSON 数组,见下文 [预置采集站](#预置采集站default_sources) || `DEBUG` | 否 | `false` | 调试日志 |diff --git a/src/app/api/search/route.ts b/src/app/api/search/route.tsindex 73df752..aae53b5 100644--- a/src/app/api/search/route.ts+++ b/src/app/api/search/route.ts@@ -3,7 +3,7 @@ import { guardRequest } from '@/lib/api-guard';import { cmsRequestHeaders, filterAdultResults, parseSearchList } from '@/lib/cms-parser';import { fetchUpstream } from '@/lib/fetch-utils';import { checkUpstreamAllowed } from '@/lib/ssrf';-import type { SourceConfig, SourceSearchOutcome } from '@/lib/types';+import type { SearchResultItem, SourceConfig, SourceSearchOutcome } from '@/lib/types';export const runtime = 'nodejs';@@ -13,8 +13,20 @@ interface SearchBody {filterAdult?: boolean;}+/**+ * 每个源最多抓取的页数(参考 LunaTV 的 SearchDownstreamMaxPage)。+ * 第一页响应会带回 pagecount(源站真实总页数),实际抓取页数 = min(pagecount, 该值)。+ * 默认 5;页与页之间并行请求,单页失败只丢弃该页。+ */+const SEARCH_MAX_PAGES = (() => {+ const n = parseInt(process.env.SEARCH_MAX_PAGES || '5', 10);+ if (!Number.isFinite(n)) return 5;+ return Math.min(50, Math.max(1, n));+})();+/*** 服务端聚合搜索:并行请求所有选中源,任一源失败不影响整体。+ * 每个源先取第一页并读取 pagecount,再并行抓取后续页(上限 SEARCH_MAX_PAGES)。* 旧版在浏览器里打满 N 个请求(暴露用户 IP、无法缓存、超时失控),现全部上移。*/export async function POST(req: Request) {@@ -47,15 +59,34 @@ export async function POST(req: Request) {if (!verdict.ok) {return { sourceKey: source.key, ok: false, list: [], error: verdict.reason };}- const api = `${source.url.replace(/\/+$/, '')}?ac=videolist&wd=${encodeURIComponent(wd)}`;- try {+ const base = source.url.replace(/\/+$/, '');+ const fetchPage = async (page: number) => {+ const api = `${base}?ac=videolist&wd=${encodeURIComponent(wd)}&pg=${page}`;const res = await fetchUpstream(api, {timeoutMs: 8000,headers: cmsRequestHeaders(),});if (!res.ok) throw new Error(`HTTP ${res.status}`);- const data = await res.json();- const list = parseSearchList(data, source);+ return res.json();+ };+ try {+ const first = await fetchPage(1);+ const list = parseSearchList(first, source) as SearchResultItem[];+ // 源站真实总页数与配置上限取较小者;pagecount 缺失或非法时视为 1 页+ const rawPageCount = parseInt(String((first as { pagecount?: unknown }).pagecount ?? '1'), 10);+ const pageCount = Math.min(Number.isFinite(rawPageCount) ? Math.max(1, rawPageCount) : 1, SEARCH_MAX_PAGES);+ if (pageCount > 1) {+ const extraPages = await Promise.all(+ Array.from({ length: pageCount - 1 }, (_, i) => i + 2).map(async (page) => {+ try {+ return parseSearchList(await fetchPage(page), source);+ } catch {+ return [] as SearchResultItem[];+ }+ })+ );+ list.push(...extraPages.flat());+ }return { sourceKey: source.key, ok: true, list };} catch (err) {return {