☰
首页
/
豆包关键词拦截 & 爬取
目录
豆包关键词拦截 & 爬取
1. 架构概览
2. CDP 协议（Chrome DevTools Protocol）
2.1 什么是 CDP
2.2 启动带 CDP 的 Chrome
Windows 数据目录
headless 模式（后台无界面）
Windows 不弹控制台窗口
2.3 检测 CDP 是否就绪
2.4 CDP 三大域的使用
域1：Network（低层网络拦截）
创建独立 CDP session（tab 间隔离）
开启网络监听
注册监听
... 触发页面加载 ...
用完关闭
域2：Runtime（控制台消息监听）
保持监听...
Ctrl+C 后：
域3：Fetch（请求拦截，备用方案）
3. Playwright 浏览器控制
3.1 CDP 连接（复用模式）
3.2 页面查找与复用
3.3 登录流程
第一步：发验证码
第二步：填验证码
等跳转
3.4 登录状态判断
4. 跨平台 Chrome 管理
4.1 平台检测
4.2 Chrome 路径发现
4.3 进程管理
杀旧进程
4.4 跨平台路径
5. JavaScript 注入劫持
5.1 核心思路
5.2 完整 JS 模板
5.3 关键技术点详解
5.3.1 原生 value setter
5.3.2 事件捕获 vs 冒泡
5.3.3 stopImmediatePropagation
5.3.4 TreeWalker
5.3.5 异步多次扫描
5.4 Python 端注入
注入
验证
6. 关键词匹配算法
6.1 长词优先
6.2 外部配置支持
7. 异步并发爬取
7.1 为什么需要异步
7.2 并发架构
同步入口
7.3 并发控制
并发数限制
7.4 进度计数
8. API 响应解析
8.1 JSON 路径适配
8.2 消息去重
8.3 文本提取
8.4 消息排序
按 create_time 升序排列
user_type=1 → 用户, 其他 → 豆包
9. 完整流程
9.1 monitor 模式（关键词拦截）
9.2 search 模式（自动化搜索）
9.3 scrape 模式（爬取对话）
附录
A. 关键 Python 依赖
B. Chrome 启动参数速查
C. CDP 会话生命周期
D. React 输入框操作要点