返回 Skill 列表
extension
分类: 数据与分析无需 API Key

craw

使用已有的登录态爬取商家后台页面 HTML。支持自动跳转、等待加载、分页发现和子链接提取。

person作者: user_223dc0b0hubcommunity

BrowserCrawlSkill

本技能用于在已登录的状态下,高效地抓取商家后台的页面内容。

工作流程

  1. 加载登录态:从指定路径(如 /home/ubuntu/storage/logins/{merchant_id}_session.json)读取 cookies 和 storage 数据。
  2. 注入登录态:在浏览器工具中应用这些 cookies,确保访问目标 URL 时处于登录状态。
  3. 执行爬取
    • 跳转到目标 URL。
    • 自动等待页面核心元素加载完成(使用 wait_until: "networkidle" 或特定的选择器)。
  4. 处理动态内容:如果页面有滚动加载或异步请求,执行必要的滚动操作以获取完整 HTML。
  5. 发现与遍历
    • 自动识别分页按钮并循环爬取。
    • 提取页面中的子链接(如订单详情页链接)并加入爬取队列。
  6. 输出结果:返回页面的完整 HTML 字符串,或将其保存为本地文件。

关键指令

  • "使用 [商家ID] 的登录态抓取 [URL] 页面"
  • "自动遍历并抓取 [商家后台] 的所有订单列表页"

注意事项

  • 爬取过程中应注意频率控制,避免触发反爬机制。
  • 如果发现登录态失效(如跳转回登录页),应触发 BrowserLoginSkill 重新登录。