media-crawler-local

media-crawler-local

直接调用本机 HTTP 服务，不走 OpenClaw/Cursor 的 MCP 客户端配置。

前置确认

先从用户消息或上下文中提取以下信息，缺少时再询问：

• 操作类型：搜集内容 / 查询归档 / 读取任务数据
• 目标链接或关键词
• 平台（可从链接自动推断）

---

工具清单

B 站系列

所有 B 站工具均支持可选 cookies 参数（字符串，从浏览器插件获取）。

其他平台

归档与数据读取

list_archives 参数说明：

• sort_by：date（默认，创建时间倒序）或 status（running → failed → unknown → finished）
• created_after：ISO 日期，如 2026-03-18 或 2026-03-18T10:00:00Z

get_task_data 的 type 支持以下值（含别名）：

---

HTTP 端点

服务地址默认 http://127.0.0.1:39002，可通过环境变量 BIL_CRAWL_URL 覆盖。

搜集端点（REST）

POST /start-crawl/{platform}/{encodedUrl}
Content-Type: application/json

{ "source": "ai" }

encodedUrl 需要 encodeURIComponent 编码；platform 取值：bilibili / douyin / youtube / zhihu。

MCP 端点（JSON-RPC 2.0）

POST /mcp
Accept: application/json, text/event-stream
Content-Type: application/json

请求体格式：

{ "jsonrpc": "2.0", "id": 1, "method": "tools/call", "params": { "name": "", "arguments": { } } }

---

调用方式选择

根据当前环境按优先级选择：

---

内联命令（首选，无需任何依赖）

AI 直接通过 Shell 工具执行，根据系统自动选择：

Windows（PowerShell 内置）

先设置当前会话为 UTF-8（避免中文输出乱码）：

[Console]::InputEncoding = [System.Text.UTF8Encoding]::new($false)
[Console]::OutputEncoding = [System.Text.UTF8Encoding]::new($false)
$OutputEncoding = [Console]::OutputEncoding

REST 搜集：

$encoded = [Uri]::EscapeDataString("https://www.bilibili.com/video/BV1xx411c7mD")
Invoke-RestMethod -Uri "http://127.0.0.1:39002/start-crawl/bilibili/$encoded" -Method POST -ContentType "application/json" -Body '{"source":"ai"}' | ConvertTo-Json -Depth 10

MCP 工具调用：

$body = '{"jsonrpc":"2.0","id":2,"method":"tools/call","params":{"name":"list_archives","arguments":{"platform":"bilibili","limit":20}}}'
Invoke-RestMethod -Uri "http://127.0.0.1:39002/mcp" -Method POST -ContentType "application/json" -Headers @{Accept="application/json, text/event-stream"} -Body $body | ConvertTo-Json -Depth 10

macOS / Linux（curl 系统自带）

REST 搜集：

curl -fsS -X POST "http://127.0.0.1:39002/start-crawl/bilibili/$(node -e 'process.stdout.write(encodeURIComponent(process.argv[1]))' 'https://www.bilibili.com/video/BV1xx411c7mD')" \
  -H 'Content-Type: application/json' -d '{"source":"ai"}'

MCP 工具调用：

curl -fsS -X POST "http://127.0.0.1:39002/mcp" \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json, text/event-stream' \
  -d '{"jsonrpc":"2.0","id":2,"method":"tools/call","params":{"name":"list_archives","arguments":{"platform":"bilibili","limit":20}}}'

URL 编码：Windows 用 [Uri]::EscapeDataString()，macOS/Linux 用 python3 -c "import urllib.parse,sys; print(urllib.parse.quote(sys.argv[1]))" "" 或 node -e（如有）。

---

脚本用法（备选）

所有脚本位于 skills/scripts/，提供 .mjs（Node.js）和 .sh（bash）两套。

Node.js（node skills/scripts/*.mjs）

1. 快速搜集（REST，crawl.mjs）

node skills/scripts/crawl.mjs   [base_url]

示例：

node skills/scripts/crawl.mjs bilibili "https://www.bilibili.com/video/BV1xx411c7mD"

2. 通过 MCP 搜集（crawl_mcp.mjs，仅支持带 url 的工具）

node skills/scripts/crawl_mcp.mjs   [base_url]

示例：

node skills/scripts/crawl_mcp.mjs crawl_bilibili "https://www.bilibili.com/video/BV1xx411c7mD"

支持工具：crawl_bilibili / crawl_douyin / crawl_youtube / crawl_zhihu

其余工具（bilibili_search / bilibili_uploader / bilibili_popular / bilibili_weekly / bilibili_history / list_archives / get_task_data）请用 mcp_tool.mjs。

3. 归档查询（list_archives_mcp.mjs）

node skills/scripts/list_archives_mcp.mjs [platform] [keyword] [limit] [base_url]

示例：

node skills/scripts/list_archives_mcp.mjs bilibili "蛋神" 20

4. 通用工具调用（mcp_tool.mjs）

node skills/scripts/mcp_tool.mjs  [args_json] [base_url]

示例：

node skills/scripts/mcp_tool.mjs crawl_bilibili_search '{"keyword":"蛋神"}'
node skills/scripts/mcp_tool.mjs crawl_bilibili_uploader '{"mid":"123456"}'
node skills/scripts/mcp_tool.mjs crawl_bilibili_popular '{}'
node skills/scripts/mcp_tool.mjs crawl_bilibili_weekly '{}'
node skills/scripts/mcp_tool.mjs crawl_bilibili_weekly '{"number":364}'
node skills/scripts/mcp_tool.mjs crawl_bilibili_history '{}'
node skills/scripts/mcp_tool.mjs crawl_bilibili_history '{"max":0,"view_at":0,"business":"","ps":20,"type":"all"}'
node skills/scripts/mcp_tool.mjs crawl_bilibili_history '{"page_count":2}'
node skills/scripts/mcp_tool.mjs get_task_data '{"task_id":"BV1xx411c7mD-123456","type":"comments"}'

---

执行流程

1. 判断环境：读取系统信息中的 OS（win32 → PowerShell 内联，其余 → curl 内联）。
2. 健康检查：GET /（连不上则提醒用户先启动 Electron 应用）。
3. 发起搜集：
   • 简单 URL 搜集 → REST 端点（/start-crawl/...）
   • 需要额外参数（搜索词、UP 主 ID 等）→ MCP 端点（/mcp）
4. 结果处理：
   • 给用户简要摘要（任务 ID、状态、关键字段）
   • 内容很多时仅展示前几条，说明可通过 get_task_data 继续读取或过滤

---

故障处理