1. 项目概述
这个项目实现了一个自动化数据分析工作流,主要功能是从视频号平台抓取视频数据,进行多维度的统计分析,并将分析结果通过钉钉机器人自动推送到指定群聊。整套系统基于OpenClaw框架构建,包含数据采集、处理分析和消息推送三个核心模块。
对于需要定期监控视频号运营数据的团队来说,这个方案解决了几个痛点:
- 人工收集数据效率低下且容易出错
- 数据分析需要专业知识和时间成本
- 结果分享依赖手动操作,无法自动同步
技术栈方面,项目主要涉及:
- OpenClaw:作为自动化执行框架
- Browser Automation:用于网页数据抓取
- Python:处理钉钉机器人接口调用
- 钉钉Webhook:实现消息推送
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与配置
2.1 OpenClaw基础环境
首先需要安装OpenClaw核心组件:
bash复制# 安装OpenClaw CLI工具
pip install openclaw
验证安装是否成功:
bash复制openclaw --version
2.2 创建Agent工作区
项目使用名为"vana"的Agent执行任务:
bash复制# 创建工作区目录
mkdir -p ~/.openclaw/workspace-vana
# 添加Agent
openclaw agents add vana --workspace ~/.openclaw/workspace-vana
Agent配置文件中,有三个可选文件需要注意:
| 文件 | 作用 | 对本项目的影响 |
|---|---|---|
| SOUL.md | 定义Agent人设和回复风格 | 无影响 |
| TOOLS.md | 指导工具使用偏好 | 影响较小 |
| HEARTBEAT.md | 定义定时任务 | 无影响 |
对于这个数据分析项目,这三个文件都可以不配置。
2.3 浏览器自动化环境
安装浏览器自动化技能包:
bash复制clawhub install browser-automation
确保系统中已安装Chrome浏览器,并配置好对应的WebDriver。
3. 数据采集实现
3.1 登录视频号后台
执行以下命令打开目标页面:
bash复制openclaw browser --browser-profile openclaw open 'https://channels.weixin.qq.com/mcn/statistic/video?mode=singleVideo'
浏览器会显示二维码,需要用管理员账号扫码登录。登录后保持浏览器窗口打开。
3.2 数据抓取脚本解析
核心数据抓取脚本通过执行JavaScript代码实现:
javascript复制async () => {
function wait(ms) { return new Promise(r => setTimeout(r, ms)); }
// 读取表头
const headers = [];
const thElements = document.querySelectorAll(".ant-table-thead th");
thElements.forEach(th => {
let text = th.innerText.trim();
if (text === "") {
const iconSpan = th.querySelector(".like-wrp, .thumb-wrp");
if (iconSpan) {
if (iconSpan.querySelector(".like-i
