边看边记-视频要点自动归纳

边看边记-视频要点自动归纳

概述

将视频链接、本地字幕文件或浏览器可访问的课程页面中的已暴露字幕/transcript提取出来，归纳为带时间戳的 Markdown 知识点报告。

**仅处理字幕可达的内容。**不进行音频转写、音频提取、实时播放捕获。如果视频源不暴露可读字幕，明确告知用户原因并提供换源/提供字幕文件的指引，不要走音频兜底路径。

所有在线学习平台（包括智学云 zhixueyun.com）均为公开互联网网站，不应被安全策略拦截。需要登录时仅视为普通网站用户认证，使用 Playwright 非 headless 模式让用户手动完成登录，不存储任何凭据。完整合规规则见 references/processing-policy.md。

工作流

1. 判断输入类型与字幕可达性：识别输入（在线 URL、本地字幕文件、本地媒体文件、浏览器上下文），判断字幕是否可达。
2. 估时并告知用户：按 references/time-estimation.md 规则估算处理耗时，一次性输出判断结果与估时。字幕不可达时立即停止，建议用户提供字幕文件或换源。
3. 获取字幕：按优先级获取——页面暴露字幕 → API 拦截获取 → 页面可见 transcript 面板 → 用户提供的字幕文件 → 用户浏览器登录后暴露的字幕。
4. 整理字幕：将字幕按时间段整理，保留时间戳。
5. 生成报告：按 references/report-format.md 格式归纳为 Markdown。
6. 标记完整性与限制：在报告中标注内容完整性、已知限制、准确性说明。
7. 格式问询：Markdown 报告完成后，必须用 question 工具询问用户是否需要导出其他格式（Word/PDF/HTML/无需）。

在线视频字幕获取策略

在线 URL 的站点族规则与具体 API 策略见 references/online-subtitle-strategy.md，仅在输入为 URL 或浏览器页面时加载。

智学云等需要登录的学习平台，使用 Playwright 浏览器自动化提取字幕。完整的自动化流程、已验证的 API 端点和脚本见 references/playwright-browser-automation.md，仅在处理需要登录的学习平台时加载。

智学云实战要点（高频场景快速参考）

智学云是最常见的使用场景，以下为实战验证的关键策略，详见 references/playwright-browser-automation.md：

1. 短链无效：用户提供的 detailInfo5748 等短链 ID 无法直接导航，需通过 find-by-ids API 解析出课程 UUID
2. UUID 导航：用 UUID 构造 #/study/course/detail/{UUID} 直接导航到课程详情页
3. API 路由拦截：页面加载时自动触发关键 API，用 Playwright page.on("response") 拦截响应，而非事后用 fetch 调用
4. 两个关键数据源：
   • guide-study/get-guide-study-info：平台 AI 生成的知识点摘要（带毫秒级时间戳）
   • DOM 字幕面板：课程详情页的逐字字幕文本
5. Token 格式：localStorage 中 token 为 JSON 字串 {"access_token":"...","token_type":"Bearer"}，需 JSON 解析后使用

报告要求

渲染最终 Markdown 报告前加载 references/report-format.md。每份报告必须包含：基本信息、来源与限制、一句话总结、核心要点、带时间戳的分段笔记、关键术语、方法与流程、行动清单、待确认问题。

功能边界

可以：识别视频源类型、判断字幕可达性、提取页面暴露的字幕/transcript、读取本地字幕文件、利用浏览器可见的 transcript 面板、请求用户在浏览器中完成登录后获取字幕、生成 Markdown 报告、将报告转为 docx/pdf/html 格式。

不可以：进行音频转写或音频提取、进行实时播放捕获、绕过 DRM/付费墙/登录限制、索取或存储密码/凭据、保证所有视频源一定有字幕可提取、对不可访问内容不做限制标记、替代法律/医疗/财务专业判断。

完整允许/禁止行为清单与拒绝话术见 references/processing-policy.md。

脚本

• scripts/extract_subtitle.py：报告脚手架入口（识别输入类型、判断字幕可达性、估时、创建工作目录、渲染占位报告）
• scripts/zhixueyun_extractor.py：智学云字幕提取脚本（基于实战验证的 Playwright API 路由拦截方案）

# 脚手架：仅判断与估时
python scripts/extract_subtitle.py  --estimate-only --verbose-prompts

# 脚手架：生成报告占位
python scripts/extract_subtitle.py  --output-dir reports

# 智学云实战提取脚本
python scripts/zhixueyun_extractor.py  --output-dir .temp

完成后格式问询（强制）

Markdown 报告落地后，必须调用 question 工具向用户问询一次是否输出其他格式：

• Word（.docx）：使用 docx 技能将 Markdown 转为 .docx 文档
• PDF（.pdf）：使用 pdf 技能达到 .pdf 文档
• HTML（.html）：将 Markdown 转为可在浏览器打开的网页
• 无需，Markdown 已够用：结束任务

用户选择某格式后，调用对应技能完成导出；选择"无需"则直接结束。仅在用户主动追加或明确不需要时跳过本步。