Skip to content

armgit / cindy

Public Imported from GitHub
0

Consider it done. The open-source AI agent that works out of the box · 想到,就能做到。开源、开箱即用的 AI Agent。

13.4 KB
Raw Blame
/**
 * ChatAudioCard
 * ---------------------------------------------------------------------------
 * 聊天流里 mivo Suno 音乐结果的渲染卡片。和 ChatImageView / ChatVideoView
 * 同位:`extractToolResultMedia` 返回的 audio 类 ToolMediaItem 在
 * MessageStream 的 tool_media 分支会按一行一张地渲染本组件。
 *
 * Single Track 分别适配 Light / Dark。Dual Track 在 chat 流里通过
 * "两条相邻的 ToolMediaItem" 自然形成,我们不在组件层组合。
 *
 * 行为契约:
 *   - cover URL 存在 → 渲染 `<img>`(走 xdt-image:// 协议);失败 / 缺失
 *     → 渐变占位 + Music 图标
 *   - 标题:title (fallback "未命名");tags 多行,line-clamp 行内省略
 *   - 复制按钮:复制完整 tags 描述到剪贴板(.pen 设计里右上角原本是
 *     download + star,简化为单个 copy)
 *   - 播放器:本地 <audio>,自己管 play/pause + currentTime + duration
 *     更新;原生 controls 不挂(自定义 progress bar 风格一致),只挂
 *     metadata preload + range request 让 xdt-audio:// 协议正常工作
 *   - 进度条点击:跳转到对应时刻(scrubbing)
 *
 * 设计 token:沿用 `--msg-tool-card-bg/border/text/chevron`,自动跟 Light/
 * Dark 主题切换,无需在这里硬编码颜色。
 *
 * 不挂 actions strip:audio 不像 MJ 那样有再加工按钮链(目前 Suno 也不
 * 提供 button-action 机制),所以组件签名只接 track,不接 actions。
 */

import { MediaScrubber } from '@/components/ui/media-scrubber';
import { CHAT_MEDIA_PLAY_BUTTON_CLASS, CHAT_ICON_BUTTON_CLASS } from './chatChrome';
import { useEffect, useMemo, useRef, useState } from 'react';
import { Copy, FolderOpen, Music, Pause, Play } from 'lucide-react';
import { useTranslation } from 'react-i18next';

import { cn } from '@/lib/utils';
import { toast } from '@/lib/toast';
import { Tip } from '@/components/ui/tooltip';
import {
  DropdownMenu,
  DropdownMenuContent,
  DropdownMenuItem,
  DropdownMenuTrigger,
} from '@/components/ui/dropdown-menu';
import { registerMedia } from '@/lib/mediaPlaybackBus';
import { useRemoteMediaUrl } from '@/hooks/useRemoteMediaUrl';
import { isRemoteFileOrigin } from '@/lib/sessionFileOrigin';
import { useSessionFileOrigin } from './ChatSessionFileContext';
import type { ToolAudioTrack } from './AgentActionRow';

interface ChatAudioCardProps {
  track: ToolAudioTrack;
  /** 远程(device-link)会话:把 audio/cover URL 改写成 cindy-remote-media://;本地 / 不传 → 原样。 */
  sessionId?: string;
}

// `175.96` → `2:55`。负值 / NaN / Infinity 都返回 `0:00`,让 UI 在 metadata
// 还没加载时也有合理占位。
function formatDuration(seconds: number): string {
  if (!Number.isFinite(seconds) || seconds <= 0) return '0:00';
  const total = Math.floor(seconds);
  const m = Math.floor(total / 60);
  const s = total % 60;
  return `${m}:${s.toString().padStart(2, '0')}`;
}

function getLocalAudioPath(audioUrl: string): string | null {
  try {
    const url = new URL(audioUrl);
    if (url.protocol !== 'xdt-audio:' || url.host !== 'local') return null;
    const filePath = url.searchParams.get('path');
    return filePath && filePath.length > 0 ? filePath : null;
  } catch {
    return null;
  }
}

export function ChatAudioCard({ track, sessionId }: ChatAudioCardProps) {
  const { t } = useTranslation();
  // 远程会话改写音频/封面 URL 到 cindy-remote-media://;本地原样。reveal 从改写后的 URL
  // 取本地路径 → 远程自然取不到、菜单消失。
  const displayAudioUrl = useRemoteMediaUrl(track.audioUrl, sessionId);
  const displayCoverUrl = useRemoteMediaUrl(track.coverUrl ?? '', sessionId);
  const audioRef = useRef<HTMLAudioElement | null>(null);
  const [coverFailed, setCoverFailed] = useState(false);
  const [playing, setPlaying] = useState(false);
  const [currentTime, setCurrentTime] = useState(0);
  const [menuPos, setMenuPos] = useState<{ x: number; y: number } | null>(null);
  // duration 优先用 <audio>.duration(以 metadata 为准),fallback 到
  // server 给的 track.durationSeconds(card 第一次挂载时 metadata 还没回,
  // 没 fallback 进度条总长会是 0,scrub 失效)。
  const [duration, setDuration] = useState(track.durationSeconds || 0);

  // <audio> 事件监听:挂在 ref 上,避免 React inline handler 在每次 re-render
  // 时反复 add/removeEventListener。
  useEffect(() => {
    const el = audioRef.current;
    if (!el) return;
    const onTime = (): void => setCurrentTime(el.currentTime);
    const onMeta = (): void => {
      if (Number.isFinite(el.duration) && el.duration > 0) setDuration(el.duration);
    };
    const onPlay = (): void => setPlaying(true);
    const onPause = (): void => setPlaying(false);
    const onEnded = (): void => {
      setPlaying(false);
      setCurrentTime(0);
    };
    el.addEventListener('timeupdate', onTime);
    el.addEventListener('loadedmetadata', onMeta);
    el.addEventListener('play', onPlay);
    el.addEventListener('pause', onPause);
    el.addEventListener('ended', onEnded);
    return (): void => {
      el.removeEventListener('timeupdate', onTime);
      el.removeEventListener('loadedmetadata', onMeta);
      el.removeEventListener('play', onPlay);
      el.removeEventListener('pause', onPause);
      el.removeEventListener('ended', onEnded);
    };
  }, []);

  // 注册到全局媒体互斥总线:本卡片 play 时,bus 自动 pause 其它正在
  // 播放的 audio/video;切 session 时 MessageStream 顶层会调
  // stopAllMedia() 兜底停掉。
  useEffect(() => {
    const el = audioRef.current;
    if (!el) return;
    return registerMedia(el);
  }, []);

  const title = track.title || t('chat.media.audioUntitled');
  // remote 会话:即便 URL 未被改写(ssh workdir 外),也绝不把远端路径当本机
  // 路径去定位/打开——直接判 null 隐藏对应菜单项。
  const audioRemote = isRemoteFileOrigin(useSessionFileOrigin());
  const localAudioPath = useMemo(
    () => (audioRemote ? null : getLocalAudioPath(displayAudioUrl)),
    [audioRemote, displayAudioUrl],
  );
  // cindy-media:// 是本机媒体总仓(意识产物,字节永远在本机),main 侧
  // showItemInFolder 认 url 形态直接解析定位(与 ChatVideoView 同款);
  // device-link 远程会话下 URL 已被改写成 cindy-remote-media:// → 自然不命中。
  const canReveal = localAudioPath !== null || displayAudioUrl.startsWith('cindy-media://');
  const durationLabel = useMemo(() => formatDuration(duration), [duration]);
  const currentLabel = useMemo(() => formatDuration(currentTime), [currentTime]);

  function handleTogglePlay(): void {
    const el = audioRef.current;
    if (!el) return;
    if (el.paused) {
      // chromium 偶发返回 rejected promise(同一页同时有多个 <audio>
      // 自动播放冲突),不处理直接吞掉避免 unhandled rejection,UI 状态
      // 由后续 play / pause 事件自动校正。
      void el.play().catch(() => undefined);
    } else {
      el.pause();
    }
  }

  async function handleCopyDescription(): Promise<void> {
    const text = track.tags?.trim();
    if (!text) {
      // 没有描述时直接 toast 已复制(空串)反而误导,静默 no-op。
      return;
    }
    try {
      await navigator.clipboard.writeText(text);
      toast.success(t('chat.media.audioDescriptionCopied'));
    } catch {
      toast.error(t('chat.media.copyFailed'));
    }
  }

  async function handleRevealInFolder(): Promise<void> {
    if (!canReveal) return;
    const res = localAudioPath
      ? await window.electronAPI.showItemInFolder({ filePath: localAudioPath })
      : await window.electronAPI.showItemInFolder({ url: displayAudioUrl });
    if (!res.success) {
      toast.error(res.error ?? t('chat.media.openFolderFailed'));
    }
    setMenuPos(null);
  }

  return (
    <div
      className={cn(
        'flex items-center gap-4 rounded-xl p-4',
        'border bg-[var(--msg-tool-card-bg)] border-[var(--msg-tool-card-border)]',
      )}
      // 跟 ChatImageView/ChatVideoView 的 tool-output 视觉宽度同步,确保
      // 多类媒体混排时左对齐 + 视觉密度一致。
      style={{ maxWidth: 'min(50vw, 640px)', width: '100%' }}
      onContextMenu={(e) => {
        if (!canReveal) return;
        e.preventDefault();
        e.stopPropagation();
        setMenuPos({ x: e.clientX, y: e.clientY });
      }}
    >
      {/* Cover (96×96 — 与 .pen 设计稿尺寸一致) */}
      <div
        className="relative shrink-0 overflow-hidden rounded-[8px]"
        style={{ width: 96, height: 96 }}
      >
        {track.coverUrl && !coverFailed ? (
          <img
            src={displayCoverUrl}
            alt={title}
            className="h-full w-full object-cover"
            draggable={false}
            onError={() => setCoverFailed(true)}
          />
        ) : (
          // Fallback: 暗灰渐变 + Music icon,匹配 .pen 设计里没有 cover
          // 时的占位形态。
          <div
            className="flex h-full w-full items-center justify-center"
            style={{
              background:
                'linear-gradient(135deg, var(--msg-tool-card-chevron) 0%, var(--msg-tool-card-text) 100%)',
              opacity: 0.4,
            }}
          >
            <Music className="text-[var(--msg-tool-card-bg)]" size={32} />
          </div>
        )}
      </div>

      {/* Body */}
      <div className="flex min-w-0 flex-1 flex-col gap-2">
        {/* Top row: title + copy */}
        <div className="flex items-start gap-3">
          <div
            className="min-w-0 flex-1 truncate text-15 font-semibold text-[var(--msg-tool-card-text)]"
            title={title}
          >
            {title}
          </div>
          {track.tags ? (
            <Tip text={t('chat.media.audioCopyDescription')}>
              <button
                type="button"
                onClick={handleCopyDescription}
                aria-label={t('chat.media.audioCopyDescription')}
                className={cn(
                  CHAT_ICON_BUTTON_CLASS,
                  'h-7 w-7',
                  'text-[var(--msg-tool-card-chevron)] hover:bg-[var(--msg-code-inline-bg)]',
                )}
              >
                <Copy size={16} />
              </button>
            </Tip>
          ) : null}
        </div>

        {/* Tags description — 多行截断 (line-clamp-2) 保持卡片高度稳定 */}
        {track.tags ? (
          <div
            className={cn(
              'overflow-hidden text-12 leading-[1.45] text-[var(--msg-tool-card-chevron)]',
            )}
            style={{
              display: '-webkit-box',
              WebkitLineClamp: 2,
              WebkitBoxOrient: 'vertical',
            }}
          >
            {track.tags}
          </div>
        ) : null}

        {/* Player row: play btn + currentTime + progress + duration */}
        <div className="flex items-center gap-3">
          <Tip text={playing ? t('chat.media.audioPause') : t('chat.media.audioPlay')}>
            <button
              type="button"
              onClick={handleTogglePlay}
              aria-label={playing ? t('chat.media.audioPause') : t('chat.media.audioPlay')}
              className={CHAT_MEDIA_PLAY_BUTTON_CLASS}
            >
              {playing ? (
                <Pause size={14} fill="currentColor" />
              ) : (
                // 把 play 三角往右挪 1px 视觉居中(三角自身重心偏左)
                <Play size={14} fill="currentColor" style={{ marginLeft: 1 }} />
              )}
            </button>
          </Tip>

          <span className="shrink-0 text-11 font-medium tabular-nums text-[var(--msg-tool-card-chevron)]">
            {currentLabel}
          </span>

          <MediaScrubber currentTime={currentTime} duration={duration}
            label={t('chat.media.audioProgress')}
            onSeek={(seconds) => {
              const audio = audioRef.current;
              if (!audio) return;
              audio.currentTime = seconds;
              setCurrentTime(audio.currentTime);
            }} />

          <span className="shrink-0 text-11 font-medium tabular-nums text-[var(--msg-tool-card-chevron)]">
            {durationLabel}
          </span>
        </div>
      </div>

      {/* 真实 <audio> — 不挂 controls(我们自己画播放器),preload metadata
          让 chromium 拉 duration 但不下整段。xdt-audio:// 协议在 main 进程
          的 audioFileProtocol.ts 处理 Range,seek 才能工作。 */}
      {canReveal ? (
        <DropdownMenu
          open={menuPos !== null}
          onOpenChange={(open) => {
            if (!open) setMenuPos(null);
          }}
        >
          <DropdownMenuTrigger asChild>
            <span
              aria-hidden
              data-fixed-menu-anchor
              style={{
                position: 'fixed',
                left: menuPos?.x ?? 0,
                top: menuPos?.y ?? 0,
                width: 0,
                height: 0,
                pointerEvents: 'none',
              }}
            />
          </DropdownMenuTrigger>
          <DropdownMenuContent align="start" sideOffset={2}>
            <DropdownMenuItem onClick={handleRevealInFolder}>
              <FolderOpen className="mr-2 h-4 w-4" />
              {t('chat.media.revealAudio')}
            </DropdownMenuItem>
          </DropdownMenuContent>
        </DropdownMenu>
      ) : null}

      <audio
        ref={audioRef}
        src={displayAudioUrl}
        preload="metadata"
        className="hidden"
      />
    </div>
  );
}