Skip to content

armgit / cindy

Public Imported from GitHub
0

Consider it done. The open-source AI agent that works out of the box · 想到,就能做到。开源、开箱即用的 AI Agent。

10.7 KB
Raw Blame
import { useCallback, useEffect, useRef, useState } from 'react';
import { Linking, Platform } from 'react-native';
// SDK 56 起主入口换成 class 式新 API(逐字段异步取值,不适合列表批量渲染);
// 这里走官方保留的 legacy 入口,批量拿 uri/filename 一次到位。
import * as MediaLibrary from 'expo-media-library/legacy';
import { ImageManipulator, SaveFormat } from 'expo-image-manipulator';
import { i18n } from '@/i18n';
import { MOBILE_IMAGE_UPLOAD_MAX_LONG_EDGE } from '@/session/mobileImagePreprocess';
import { canBrowsePhotoLibraryDirectly } from '@/session/photoLibraryPolicy';

/** Context 面板媒体列表的单个资产(展示 + 附加所需的最小字段)。 */
export interface ContextSheetMediaAsset {
  id: string;
  filename: string;
  /** 展示用 URI(iOS 通常为 ph://);渲染走 expo-image,RN Image 在新架构下不支持 ph://。 */
  uri: string;
  /** 列表查询已返回的尺寸;解析完整资产信息失败时供上传预处理继续使用。 */
  width?: number;
  height?: number;
}

export type ContextSheetMediaKind = 'recent' | 'screenshots';

export type ContextSheetMediaStatus =
  | 'idle'
  | 'loading'
  | 'ready'
  | 'denied'
  | 'unavailable';

export interface UseContextSheetMediaAssetsResult {
  status: ContextSheetMediaStatus;
  assets: ContextSheetMediaAsset[];
  /** denied 时重新发起权限请求(系统弹窗或引导去设置)。 */
  requestPermission: () => void;
}

/**
 * 模块级资产缓存:面板内容随 Modal 关闭卸载,hook state 留不住;缓存提到模块层,
 * 重开面板先即刻渲染旧列表、后台刷新覆盖(规则 7,不闪空白)。
 */
const assetsCache = new Map<ContextSheetMediaKind, ContextSheetMediaAsset[]>();

const DEFAULT_FIRST: Record<ContextSheetMediaKind, number> = { recent: 24, screenshots: 60 };

/** 按 kind 拉一页资产(权限已就绪的前提下)。 */
async function fetchAssets(kind: ContextSheetMediaKind, first: number): Promise<ContextSheetMediaAsset[] | null> {
  const page = await MediaLibrary.getAssetsAsync({
    first,
    mediaType: [MediaLibrary.MediaType.photo],
    sortBy: [[MediaLibrary.SortBy.creationTime, false]],
    ...(kind === 'screenshots'
      ? { mediaSubtypes: ['screenshot' as MediaLibrary.MediaSubtype] }
      : {}),
  });
  return page.assets.map((asset) => ({
    id: asset.id,
    filename: asset.filename,
    uri: asset.uri,
    width: asset.width,
    height: asset.height,
  }));
}

/**
 * iOS 页面挂载时静默预取(打开面板即刻出图)。只在照片权限已授予、且不是受限访问时拉取——
 * iOS 受限访问虽然 granted=true,首次读取资产仍可能触发系统自动提醒;预取绝不能打断用户。
 * 首次授权和受限资产读取仍由用户打开面板后触发;失败静默,面板打开时照常加载。
 */
export async function prefetchContextSheetMediaAssets(kind: ContextSheetMediaKind = 'recent'): Promise<void> {
  if (!canBrowsePhotoLibraryDirectly(Platform.OS) || assetsCache.has(kind)) return;
  try {
    const permission = await MediaLibrary.getPermissionsAsync(false, ['photo']);
    if (!permission.granted) return;
    if (Platform.OS === 'ios' && permission.accessPrivileges === 'limited') return;
    const assets = await fetchAssets(kind, DEFAULT_FIRST[kind]);
    if (assets) assetsCache.set(kind, assets);
  } catch {
    // 静默:预取只是加速,不承担错误上报。
  }
}

/**
 * Context 面板的 iOS 相册资产加载 hook(最近照片条 / 截图列表共用)。
 *
 * enabled 变 true(面板打开)时才请求权限并加载,面板关闭不清缓存——再次打开先显示
 * 旧列表再后台刷新,遵守规则 7(先有内容再刷新,不闪空白帧)。
 * 截图过滤使用 mediaSubtypes=['screenshot'];Android 不挂载此界面,统一走系统照片选择器。
 */
export function useContextSheetMediaAssets(input: {
  enabled: boolean;
  kind: ContextSheetMediaKind;
  first?: number;
}): UseContextSheetMediaAssetsResult {
  // 有缓存(预取过 / 开过面板)→ 初始即 ready,即刻渲染;后台刷新静默覆盖。
  const cached = assetsCache.get(input.kind);
  const [status, setStatus] = useState<ContextSheetMediaStatus>(cached ? 'ready' : 'idle');
  const [assets, setAssets] = useState<ContextSheetMediaAsset[]>(cached ?? []);
  const loadSeqRef = useRef(0);
  const first = input.first ?? DEFAULT_FIRST[input.kind];

  const load = useCallback(async (requestIfNeeded: boolean) => {
    const seq = ++loadSeqRef.current;
    if (!canBrowsePhotoLibraryDirectly(Platform.OS)) {
      setStatus('unavailable');
      return;
    }
    try {
      let permission = await MediaLibrary.getPermissionsAsync(false, ['photo']);
      if (!permission.granted && permission.canAskAgain && requestIfNeeded) {
        permission = await MediaLibrary.requestPermissionsAsync(false, ['photo']);
      }
      if (seq !== loadSeqRef.current) return;
      if (!permission.granted) {
        setStatus('denied');
        return;
      }
      setStatus((current) => (current === 'ready' ? current : 'loading'));
      const next = await fetchAssets(input.kind, first);
      if (seq !== loadSeqRef.current) return;
      const normalized = next ?? [];
      assetsCache.set(input.kind, normalized);
      setAssets(normalized);
      setStatus('ready');
    } catch {
      if (seq !== loadSeqRef.current) return;
      setStatus('unavailable');
    }
  }, [first, input.kind]);

  useEffect(() => {
    if (!input.enabled) return;
    void load(true);
  }, [input.enabled, load]);

  const requestPermission = useCallback(() => {
    void (async () => {
      try {
        const permission = await MediaLibrary.getPermissionsAsync(false, ['photo']);
        if (!permission.granted && !permission.canAskAgain) {
          // 系统照片权限弹窗只弹一次:永久拒绝后再 load 是注定 no-op 的死按钮,
          // 对齐仓库既有做法(openVoiceSettings)直接跳系统设置。
          await Linking.openSettings();
          return;
        }
      } catch {
        // 读权限状态失败时退回正常加载路径(load 内部会再处理)。
      }
      void load(true);
    })();
  }, [load]);

  return { assets, requestPermission, status };
}

/** iOS 相册原生格式;附件白名单与下游模型图像接口都不收,上传前须转 JPEG。 */
const HEIC_EXT_PATTERN = /\.(heic|heif)$/i;
/** HEIC 转 JPEG 的压缩质量(0.9 视觉无损,体积可控)。 */
const HEIC_JPEG_COMPRESS = 0.9;

/**
 * getAssetInfoAsync 的超时兜底:开了「优化 iPhone 储存空间」时,原图可能整张在
 * iCloud 上,这一步会触发系统现场下载——慢网下数十秒是真实场景(与粘贴占位的
 * 超时同口径给 60s),而它自身没有任何超时,挂死会吊住整条上传任务的发送等待。
 * race 超时后系统下载仍在后台继续,用户重试时大概率已就位,重试即成功。
 */
const ASSET_INFO_TIMEOUT_MS = 60_000;
const ANDROID_ASSET_INFO_FALLBACK_ERROR_CODE = 'ERR_UNABLE_TO_LOAD';

function isAndroidAssetInfoFallbackError(error: unknown): boolean {
  return typeof error === 'object'
    && error !== null
    && 'code' in error
    && error.code === ANDROID_ASSET_INFO_FALLBACK_ERROR_CODE;
}

async function getAssetInfoWithTimeout(assetId: string): Promise<MediaLibrary.AssetInfo> {
  let timer: ReturnType<typeof setTimeout> | undefined;
  // 竞速输家旁路兜底:超时赢了之后底层 getAssetInfoAsync 稍后 reject 的话,
  // 没有 catch 的那份 promise 会抛 unhandled rejection 告警。
  const info = MediaLibrary.getAssetInfoAsync(assetId);
  info.catch(() => undefined);
  try {
    return await Promise.race([
      info,
      new Promise<never>((_, reject) => {
        timer = setTimeout(() => reject(new Error(i18n.t('interaction.contextSheet.icloudTimeout'))), ASSET_INFO_TIMEOUT_MS);
      }),
    ]);
  } finally {
    clearTimeout(timer);
  }
}

/**
 * 把相册资产解析成可上传的 file:// 信息。iOS 的 ph:// 不是文件路径,
 * 必须经 getAssetInfoAsync 换 localUri(带 iCloud 下载超时兜底);iOS 拿不到
 * localUri 时直接报错——ph:// 喂给原生上传层只会变成下游玄学失败,就地把
 * 「照片没就位」说清楚;Android 的 full info 可能因未授予媒体位置权限返回
 * ERR_UNABLE_TO_LOAD,此时回退列表查询已返回的 content:// 与尺寸(原生上传可读),
 * 不为普通附件扩大权限;其它错误继续抛出,避免把真实故障延后到下游。
 * HEIC / HEIF(iOS 相机默认格式)在这里就地转成 JPEG——附件类型白名单与模型图像
 * 接口都只认 jpeg/png/gif/webp,直接放行 HEIC 会在链路下游变成不可用附件。
 * 转 JPEG 的同一次 manipulate 里顺带把长边压到上传上限(见 mobileImagePreprocess),
 * 避免「先转码再降采样」两次有损编码;optimized=true 告知调用方不必再 preprocess。
 */
export async function resolveContextSheetMediaAssetForUpload(
  asset: ContextSheetMediaAsset,
): Promise<{ uri: string; filename: string; width?: number; height?: number; optimized?: boolean }> {
  let info: MediaLibrary.AssetInfo | undefined;
  try {
    info = await getAssetInfoWithTimeout(asset.id);
  } catch (error) {
    if (Platform.OS !== 'android' || !isAndroidAssetInfoFallbackError(error)) throw error;
  }
  const localUri = info?.localUri?.trim();
  if (!localUri && Platform.OS === 'ios') {
    throw new Error(i18n.t('interaction.contextSheet.photoNotReadable'));
  }
  const uri = localUri || asset.uri;
  const width = typeof info?.width === 'number' ? info.width : asset.width;
  const height = typeof info?.height === 'number' ? info.height : asset.height;
  if (!HEIC_EXT_PATTERN.test(asset.filename) && !HEIC_EXT_PATTERN.test(uri)) {
    return { filename: asset.filename, uri, width, height };
  }
  const context = ImageManipulator.manipulate(uri);
  const resolvedWidth = width ?? 0;
  const resolvedHeight = height ?? 0;
  if (Math.max(resolvedWidth, resolvedHeight) > MOBILE_IMAGE_UPLOAD_MAX_LONG_EDGE) {
    context.resize(resolvedWidth >= resolvedHeight
      ? { width: MOBILE_IMAGE_UPLOAD_MAX_LONG_EDGE }
      : { height: MOBILE_IMAGE_UPLOAD_MAX_LONG_EDGE });
  }
  // context / render 结果持有 native GPU 纹理,批量勾选多张 HEIC 时不显式 release
  // 会在 GC 之前持续占用纹理内存(与 mobileImagePreprocess 的 runManipulateNative 同模式)。
  const image = await context.renderAsync();
  try {
    const saved = await image.saveAsync({ compress: HEIC_JPEG_COMPRESS, format: SaveFormat.JPEG });
    const filename = HEIC_EXT_PATTERN.test(asset.filename)
      ? asset.filename.replace(HEIC_EXT_PATTERN, '.jpg')
      : `${asset.filename}.jpg`;
    return { filename, uri: saved.uri, width: saved.width, height: saved.height, optimized: true };
  } finally {
    image.release();
    context.release();
  }
}