自媒体选题日报系统

跨平台自媒体选题日报系统 (topic-factory)

每天凌晨自动从 6 大公开数据源抓取热点，按关键词库筛选行业新闻，LLM 生成抖音钩子 + 公众号标题 + 数据点，输出 Markdown 选题日报，飞书推送 ⭐ 优先选题。

核心特性

• 6 大数据源：头条 / 微博 / B站 / 抖音 / 知乎 / 36氪（公开 JSON / RSS API）
• 6 大类 119 词关键词库：财经投资 / 房产 / 政策 / AI科技 / 中国大模型公司
• LLM 钩子：60s 口播钩子（≤30 字，含数字+时间戳）+ 公众号标题（≤25 字，无句末标点）
• 36h 时间窗口：36氪 RSS 编辑推荐段旧文章过滤（防止"京东方 IPO"等 8/14 旧数据霸占选题）
• 禁用词后处理：6 个常见违规词 → 同义中性词（"背后" → "原因"）
• 飞书 webhook 推送：支持限流 fallback（输出 markers 给 cron agent 推私聊）
• 3 次重试机制：shell wrapper 自动重试 + send_alert 告警
• 2 个 cron 推荐：04:00 主任务 + 08:00 兜底（处理 LLM api 过载）

系统架构

┌─────────────────────────────────────────────────┐
│                 每日工作流                         │
├─────────────────────────────────────────────────┤
│                                                  │
│  [04:00 cron] → run_daily.sh                    │
│                  ↓                                │
│                  generate_topics.js              │
│                    ├─ 6 数据源并发抓取              │
│                    ├─ 关键词匹配 + 流量分排序         │
│                    ├─ LLM 钩子 + 标题 + 数据点        │
│                    └─ 输出 YYYYMMDD_topics.md      │
│                                                  │
│  [08:00 cron] → 兜底重试（若 04:00 失败）         │
│                                                  │
│  [09:00 cron] → notify_feishu.js                │
│                  ├─ 解析 ⭐ 选题                  │
│                  ├─ 飞书 webhook 推送              │
│                  └─ 失败时输出 fallback markers    │
│                                                  │
│  [23:55 cron] → archive_unused.js              │
│                  ├─ 扫未标注 ADOPTED 选题          │
│                  └─ 移到 history/                │
│                                                  │
└─────────────────────────────────────────────────┘

快速开始

1. 依赖安装

# Node.js 16+（推荐 18 LTS）
node --version

# 无需 npm 依赖（纯 Node 标准库 + 内置 fetch）

2. 部署脚本

# 推荐：~/.openclaw/workspace/.analysis/topic_factory/
mkdir -p ~/.openclaw/workspace/.analysis/topic_factory
mkdir -p ~/.openclaw/workspace/claude-hub/topics

cp scripts/*.js scripts/*.sh ~/.openclaw/workspace/.analysis/topic_factory/
chmod +x ~/.openclaw/workspace/.analysis/topic_factory/run_daily.sh

3. 配置环境变量

# LLM API（如使用 Anthropic Claude）
export ANTHROPIC_AUTH_TOKEN="sk-ant-..."
export ANTHROPIC_BASE_URL="https://api.anthropic.com"  # 默认
export LLM_MODEL="claude-3-5-sonnet-20241022"          # 默认

# 写入 ~/.zshrc 或 ~/.bashrc 永久生效
echo 'export ANTHROPIC_AUTH_TOKEN="sk-ant-..."' >> ~/.zshrc

4. 配置飞书 webhook（可选）

如果不用推送，可跳过；用的话：

# 编辑 notify_feishu.js 第 32 行
const FEISHU_WEBHOOK = 'https://open.feishu.cn/open-apis/bot/v2/hook/YOUR_TOKEN';

获取方式：飞书群 → 群设置 → 群机器人 → 添加机器人 → 自定义机器人 → 复制 webhook URL

5. 第一次运行

cd ~/.openclaw/workspace/.analysis/topic_factory
bash run_daily.sh

# 验证
ls -la ~/.openclaw/workspace/claude-hub/topics/  # 应有 YYYYMMDD_topics.md
cat ~/.openclaw/workspace/claude-hub/topics/$(date +%Y%m%d)_topics.md

6. 配置定时任务（推荐）

# 04:00 每日生成（主任务）
# 08:00 兜底重试（防 LLM 过载）
# 09:00 飞书推送
# 23:55 归档未选用

# OpenClaw cron 配置示例
openclaw cron add "04:00 topic-factory main" \
  --schedule "0 4 * * *" \
  --tz "Asia/Shanghai" \
  --command "bash ~/.openclaw/workspace/.analysis/topic_factory/run_daily.sh"

openclaw cron add "08:00 topic-factory fallback" \
  --schedule "0 8 * * *" \
  --tz "Asia/Shanghai" \
  --command "bash ~/.openclaw/workspace/.analysis/topic_factory/run_daily.sh"

openclaw cron add "09:00 topic-factory feishu" \
  --schedule "0 9 * * *" \
  --tz "Asia/Shanghai" \
  --command "node ~/.openclaw/workspace/.analysis/topic_factory/notify_feishu.js"

6 大数据源说明

36氪特别说明

36氪 RSS feed 结构：

• 第 1-10 条 = "编辑推荐"（混合多日数据，不按时间排序）
• 第 11-30 条 = 按时间倒序的快讯（最新在前）

不加时间窗口会导致 8/14、8/15 的旧文章命中关键词后霸占选题。fetch36krRSS 内置 36h 时间过滤：

const TIME_WINDOW_HOURS = 36;
const cutoffMs = Date.now() - TIME_WINDOW_HOURS * 60 * 60 * 1000;
// 时间窗口过滤：跳过 36h 之前的文章

6 大类 119 词关键词库

优先级排序（流量分）：D > A > B > C > E

可在 generate_topics.js 第 46-100 行自定义关键词库。

LLM 集成

3 个 LLM 调用点

1. 钩子文案（60s 口播）：20-30 字，含数字+时间戳
2. 公众号标题候选：2 个，15-25 字，无句末标点
3. 数据点补充：3 个，含数字 + 时间戳 + 权威来源

Prompt 模板

// generate_topics.js 第 661 行 generateHookCopy()
const prompt = `你是一个抖音/公众号自媒体运营专家，只看数据说话。
【约束清单】
1. 禁止词：颠覆 / 沉默 / 真相 / 背后 / 答案 / 原来如此 / 万万没想到
2. 禁止句末标点：！? 
3. 禁止主观判断
【输出】JSON: { hook, gzhTitles: [t1, t2] }`;

环境变量

限流处理

LLM API 有限流，重试 2 次（间隔 3 秒），仍失败则用模板兜底。

飞书 webhook 推送

推送内容

从每天的 YYY主题_topics.md 提取 ⭐ 推送选题（前 10 个），拼接后发到飞书：

📋 自媒体选题日报
日期：2026-08-17 周日

#1 抖音「60岁AI动画赛道新人」7655448热度
钩子：60岁零基础入局AI动画，2026年8月单条视频播放破百万

#2 抖音「一条AI短片演绎时间焦虑」8856859热度
钩子：2026年8月，885万热度，一条AI短片呈现时间焦虑

#3 头条「问界儿童车即将上市」546.0万热度
钩子：546万人热议，问界儿童车8月正式上市，价格区间曝光
...

限流 fallback

飞书 webhook 偶发限流（code=11232，psm=lark.oapi.app_platform_runtime），脚本检测后输出 fallback markers：

=== FALLBACK_MESSAGE_START ===
📋 自媒体选题日报
...
=== FALLBACK_MESSAGE_END ===

cron agent 检测到 markers 时，把内容直接推用户私聊（plain text，不加表格）。

4 个 cron 推荐配置

时区：Asia/Shanghai（避免 UTC 算日期错位）

输出文件结构

~/.openclaw/workspace/claude-hub/topics/
├── YYYYMMDD_topics.md      # 每日选题日报（当天）
└── history/
    └── YYYYMMDD_unused.md  # 未选用归档（每天 23:55 生成）

Markdown 选题日报结构

# 自媒体选题日报 · 2026-08-17 周日
文件路径：~/.openclaw/workspace/claude-hub/topics/20260817_topics.md

## 今日总览
- 选题数量：10 个（推送 10 个）
- 分布：A 财经 5 / B 房产 0 / C 政策 0 / D AI 5

---

## 选题 1 · ⭐推送
**抖音「60岁AI动画赛道新人」7655448热度**

- **原始命中**：D AI科技(命中词：AI)
- **延伸方向**：A 财经投资、B 房产、C 政策类
- **目标平台**：抖音短视频 + 公众号图文

**钩子文案（用户可直接用）**
- 60岁零基础入局AI动画，2026年8月单条视频播放破百万

**3 个数据点（必填）**
1. 2025年全球AI内容创作工具市场规模达XX亿元（来源：IDC）
...

**来源链接**
- https://...

**用户操作**
- 想采用本选题：把注释改为 `<!-- __ADOPTED__: 选题 1 ✓ -->`
- 不采用：保持注释不变，编辑 .md 文件加备注

<!-- __ADOPTED__: 选题 1 -->
- [ ] 备注修改意见
- [ ] 触发 LLM 写完整公众号长文

故障排查

Q1: 36氪数据总是 8/14、8/15 旧数据

根因：36氪 RSS feed 前 10 条是"编辑推荐"，混合多日数据，不按时间排序。

修复：fetch36krRSS 加 36h 时间窗口（已内置）。验证日志：

[36氪] 获取 10 条（过滤 1 条 36h 之前旧文章）

Q2: LLM API 频繁 429 / overloaded

修复：

• 04:00 + 08:00 双 cron 兜底
• 单次失败重试 2 次（间隔 3 秒）
• 最终失败用模板兜底（钩子函数 fallbackHookCopy）

Q3: 飞书 webhook 限流 code=11232

修复：脚本输出 fallback markers，cron agent 推用户私聊（plain text）。

Q4: 钩子 / 公众号标题含禁用词

修复：内置 sanitizeForbiddenWords 后处理：

• 背后 → 原因
• 真相 → 事实
• 答案 → 回复
• 原来如此 → 原来这样
• 万万没想到 → 没想到
• 太可怕了 → 值得关注

Q5: 04:00 cron 频繁失败

根因：minimax 私有 API 偶发 rate_limit / overloaded。

修复：08:00 兜底 cron 是关键。即使 04:00 失败，08:00 重生成。

Q6: 钩子超 30 字

修复：truncateHook(text, 30) 智能截断到最近标点。

隐私与免责声明

数据源合规性

• 所有数据源（头条/微博/B站/抖音/知乎/36氪）均为公开 API / RSS
• 仅抓取公开热榜，不抓取用户隐私数据
• 关键词匹配完全本地，无第三方数据上报

飞书 webhook

• 推送内容由用户配置（公开 webhook URL）
• 推送内容含钩子文案（用户生成或 LLM 增强）
• 用户负责确保 webhook 群组合规

LLM 使用

• 默认调用 Anthropic Claude API
• 选题内容（公开新闻）发送至 LLM
• LLM 返回钩子/标题/数据点（可能含虚构，需用户核实）

免责声明

本 skill 生成的选题内容仅供参考，不构成投资建议。发布前请用户核实数据真实性。

性能指标

许可

MIT License