利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short videos from a topic or keyword with an automated AI workflow.
Python ai-video-generatorcontent-creationffmpeginstagram-reelsllmpythonshort-videosubtitlestext-to-speechtiktokvideo-automationvideo-workflowworkflow-automationyoutube-shorts
import functools
import os
import re
import threading
from loguru import logger
PROJECT_ROOT = os.path.dirname(
os.path.dirname(os.path.dirname(os.path.realpath(__file__)))
)
_PROJECT_ROOT_IN_MESSAGE_RE = re.compile(re.escape(PROJECT_ROOT) + r"(?![\w.\-])")
LOG_RECORD_FORMAT = (
"<green>{time:%Y-%m-%d %H:%M:%S}</> | "
"<level>{level}</> | "
'"{file.path}:{line}":<blue> {function}</> '
"- <level>{message}</>\n"
)
# Loguru 启动时默认终端 handler 的 ID 为 0。WebUI 重新加载时只能替换这个
# 基础终端输出,不能调用 logger.remove() 清空全部 handler,否则正在运行任务
# 用于收集 WebUI 日志的临时 sink 也会被删除。
_terminal_handler_id: int | None = 0
_terminal_handler_lock = threading.RLock()
LOG_LEVELS = ("TRACE", "DEBUG", "INFO", "SUCCESS", "WARNING", "ERROR", "CRITICAL")
# 只替换不可变快照,日志线程不获取生成任务持有的配置锁。
_runtime_logging = ("DEBUG", False)
def get_logging_options() -> tuple[str, bool]:
return _runtime_logging
def set_logging_options(level: str, log_requests: bool = False) -> None:
"""即时调整本进程日志,不重建 handler,不中断正在运行的任务。"""
global _runtime_logging
level = str(level).strip().upper()
if level not in LOG_LEVELS:
raise ValueError(f"unsupported log level: {level}")
if not isinstance(log_requests, bool):
raise ValueError("log_requests must be a boolean")
_runtime_logging = (level, log_requests)
def runtime_log_filter(record) -> bool:
level, log_requests = _runtime_logging
# 请求追踪是独立开关,ERROR 等级下也允许用户显式开启诊断。
if record["extra"].get("request_trace"):
return log_requests
return record["level"].no >= logger.level(level).no
# WebUI 按任务工作线程的 ID 过滤日志。任务为并行下载、片段编码和心跳启动的
# 辅助线程有各自的线程 ID,它们写出的日志会被整条丢弃,结果耗时最长的阶段
# 在 WebUI 里反而没有任何输出。这里记录“辅助线程 -> 发起它的线程”的映射,
# 让日志过滤器可以把辅助线程的记录归回所属任务。
_log_scope_roots: dict[int, int] = {}
_log_scope_lock = threading.Lock()
def log_scope_thread_id(thread_id: int | None = None) -> int:
"""返回线程所属日志作用域的根线程 ID;未绑定的线程就是它自己。"""
if thread_id is None:
thread_id = threading.get_ident()
with _log_scope_lock:
return _log_scope_roots.get(thread_id, thread_id)
def bind_log_scope(func):
"""
包装一个将在其它线程执行的函数,使其日志归属调用本函数的线程。
必须在提交任务的线程里调用:作用域在包装时确定,辅助线程再启动的线程
也会归到最初的任务线程。执行结束后解除绑定,因为线程 ID 会被系统复用,
残留映射会把之后无关线程的日志算进已经结束的任务。
"""
root_thread_id = log_scope_thread_id()
@functools.wraps(func)
def run_in_log_scope(*args, **kwargs):
thread_id = threading.get_ident()
if thread_id == root_thread_id:
return func(*args, **kwargs)
with _log_scope_lock:
previous_root = _log_scope_roots.get(thread_id)
_log_scope_roots[thread_id] = root_thread_id
try:
return func(*args, **kwargs)
finally:
with _log_scope_lock:
# 线程池会复用线程:恢复进入前的归属,而不是一律删除,避免
# 嵌套包装提前清掉外层仍在使用的绑定。
if previous_root is None:
_log_scope_roots.pop(thread_id, None)
else:
_log_scope_roots[thread_id] = previous_root
return run_in_log_scope
def _project_relative_path(file_path):
"""
把绝对路径缩短为 ``./`` 开头、始终使用正斜杠的项目相对路径。
Windows 上项目可能通过映射网络盘或 ``subst`` 盘启动。此时调用栈里的路径
仍是 ``X:\\MoneyPrinterTurbo\\...``,而 ``PROJECT_ROOT`` 经 ``realpath``
解析后落在 ``C:\\...``,``os.path.relpath`` 会直接抛出 ``ValueError``。
格式化函数抛错会被 loguru 捕获并丢弃整条记录,终端和 WebUI 日志面板会
同时变空,因此这里必须兜底返回原始路径。项目目录之外的文件同理:把
``./`` 拼到 ``..`` 回溯路径上只会得到更难读的结果。
"""
try:
relative_path = os.path.relpath(file_path, PROJECT_ROOT)
except ValueError:
return file_path
if relative_path == os.pardir or relative_path.startswith(os.pardir + os.sep):
return file_path
# Windows 的 relpath 返回反斜杠分隔的路径,直接拼接会得到 ``./app\\utils``
# 这种混合分隔符的输出,与其它平台的日志不一致。
return f"./{relative_path.replace(os.sep, '/')}"
def format_log_record(record):
"""
统一格式化终端与 WebUI 日志。
Loguru 会把同一条记录交给多个 sink。第一个 sink 可能已经将绝对路径转换
为项目相对路径,因此这里同时兼容绝对路径和 ``./`` 开头的已格式化路径。
WebUI sink 会关闭颜色,但时间、级别、调用位置和消息内容与终端保持一致。
"""
file_path = record["file"].path
if os.path.isabs(file_path):
record["file"].path = _project_relative_path(file_path)
# 日志消息有时会包含任务文件的绝对路径。统一缩短为项目相对路径,可以
# 避免 WebUI 和终端因初始化入口不同而展示两套内容。
# 只替换完整的项目根路径;`<root>-backup`、`<root>2` 这类同级目录只是
# 前缀相同,按子串替换会把它们改成 `.-backup`、`.2` 这样错误的路径。
record["message"] = _PROJECT_ROOT_IN_MESSAGE_RE.sub(".", record["message"])
return LOG_RECORD_FORMAT
def configure_terminal_logger(sink, level: str, colorize: bool = True) -> int:
"""
安全替换进程级终端日志 handler,并保留任务专用 handler。
Streamlit 在代码热重载或缓存失效时可能重新执行日志初始化。这里只按已记录
的 handler ID 精确移除旧终端输出,因此不会中断后台任务正在写入的 WebUI
日志。锁用于保护多个浏览器会话同时初始化时的 ID 更新。
"""
global _terminal_handler_id
set_logging_options(level, get_logging_options()[1])
with _terminal_handler_lock:
if _terminal_handler_id is not None:
try:
logger.remove(_terminal_handler_id)
except ValueError:
# 测试或外部入口可能已经移除该 handler。继续创建新的终端输出,
# 不需要影响其它仍有效的日志 sink。
pass
_terminal_handler_id = logger.add(
sink,
level=0,
filter=runtime_log_filter,
format=format_log_record,
colorize=colorize,
)
return _terminal_handler_id