xueqiu-collector — 雪球采集与同步流程（v2.0 合并版）

雪球帖子采集与自动化同步一体化 Skill。由原 xueqiu-collector（帖子采集/V4 分析）与 xueqiu-pipeline（采集→导出→IMA 上传→校验）合并而来，包内自包含，无外部技能依赖。

目录结构

xueqiu-collector/
├── SKILL.md                  # Skill 说明（v2.0 合并版）
├── README.md                 # 本文件
├── references/
│   └── category_keywords.json # 股票/主题分类关键词（可自定义）
├── config/
│   └── ima_config.json       # IMA 知识库配置（同步上传用）
└── scripts/
    ├── check_env.py          # 环境检测（首次必跑）
    ├── shared_config.py      # 统一配置：V4 引擎 + 浏览器 + DB + IMA 工具
    ├── collect.py            # 采集脚本（全量/增量/OCR/V4 分析）
    ├── analyze.py            # V4 批量规则分析
    ├── pipeline.py           # 主流程入口（采集→同步→上传→校验）
    ├── export.py             # 按月导出 MD
    ├── upload.py             # IMA 上传（增量/强制覆盖）
    ├── verify.py             # 四方面一致性校验
    └── precheck.py           # 流程前置检测

两条能力线

| 能力 | 入口 | 说明 | |------|------|------| | A. 采集与分析 | scripts/collect.py / analyze.py | 全量/增量采集、正文+OCR、V4 规则分析、SQLite+JSON/MD 导出 | | B. 同步流程 | scripts/pipeline.py | 采集→导出→IMA 上传→一致性校验全自动 |

快速使用

cd <本技能目录>

# 环境检测
python scripts/check_env.py

# A. 纯采集
python scripts/collect.py --author "随缘的人生体验" --url "https://xueqiu.com/u/7712999844"

# B. 完整自动化流程（含 IMA 上传）
python scripts/pipeline.py --author "随缘的人生体验" --url "https://xueqiu.com/u/7712999844"

# B. 单步执行
python scripts/pipeline.py --author "昵称" --url "URL" --collect   # 只采集
python scripts/pipeline.py --author "昵称" --url "URL" --sync      # 只同步最新月份
python scripts/pipeline.py --author "昵称" --url "URL" --upload    # 只增量上传
python scripts/pipeline.py --author "昵称" --url "URL" --verify    # 只校验

依赖

• 采集：Python 3.10+、playwright-cli(npx)、Edge + 登录态；OCR 可选 winocr pillow
• 同步上传（仅 B 线）：IMA API 凭证 ~/.config/ima/client_id 与 api_key， 配置 config/ima_config.json（knowledge_base_id / folder_id）

版本历史

• 2.0.0（本次）：合并 xueqiu-collector 1.0.2 与 xueqiu-pipeline 1.0.0； 消除 pipeline 对 collector 的跨技能导入（shared_config.py 包内自包含）； precheck 改为校验包内采集真源完整性。
• 1.0.2：采集器独立版（原 xueqiu-collector 平台版本）
• 1.0.0：流程编排独立版（原 xueqiu-pipeline，未发布）