笥課鸴煕1. 项目概述
最近在做一个很有意思的实验：用大模型构建AI爬虫智能体。传统爬虫我们都熟悉，靠写死的XPath或CSS选择器从网页里抠数据，但网页一改版就得重写规则，维护成本高得让人头疼。而AI爬虫的思路完全不同——让模型像人一样"阅读"网页，自主定位和提取目标数据。
这个项目我拆解成了两个层级：
- 基础版：让大模型解析网页并提取结构化数据（比如百度热搜标题）
- 进阶版：实现能自主决策爬取策略的智能体
实测下来，这种方案对反爬策略复杂、DOM结构不稳定的网页特别有效。下面我会用获取百度热搜这个具体案例，手把手展示实现细节。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心原理解析
2.1 传统爬虫的痛点
常规爬虫工作流程是这样的：
- 发送HTTP请求获取HTML
- 用BeautifulSoup/lxml解析DOM树
- 编写XPath/CSS选择器定位元素
- 清洗提取的数据
问题在于：
- 网页结构调整会导致选择器失效（比如百度热搜从
div.hotnews改成section.hot-list） - 动态加载内容需要额外处理JS渲染
- 反爬机制（验证码、行为检测）需要不断调整策略
2.2 AI爬虫的突破点
大模型带来了三个关键能力：
- 语义理解：能像人类一样理解网页内容的语义关联
- 结构推理：无需精确选择器，通过上下文推断数据位置
- 策略生成：根据网页特征动态调整爬取方式
实验对比数据：
| 指标 | 传统爬虫 | AI爬虫 |
|---|---|---|
| 改版适应成本 | 高 | 低 |
| 动态内容支持 | 需额外配置 | 原生支持 |
| 代码维护频率 | 每周 | 每月 |
3. 基础版实现：百度热搜爬虫
3.1 技术选型
python复制# 核心依赖
requests # HTTP请求
beautifulsoup4 # HTML预处理
openai # 大模型接口
选择这些库的原因是：
requests比urllib更简洁，支持自动编码检测BeautifulSoup的容错性优于lxml，适合处理不规范的网页- 使用OpenAI兼容API可以灵活切换不同模型（后文会演示如何适配国产模型）
3.2 四步实现流程
步骤1：获取网页内容
关键点在于请求头伪装：
python复制headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
"Accept-Language": "zh-CN,zh;q=0.9"
}
response = requests.get(url, headers=headers, timeout=10)
response.encoding = 'utf-8' # 强制UTF-8避免乱码
注意：百度会对非常规UA进行拦截，建议使用主流浏览器的完整UA字符串
步骤2：HTML预处理
原始HTML通常包含大量无关标签（广告、追踪脚本等），直接喂给大模型会浪费token。我们需要：
- 移除
<script>和<style>标签 - 提取主要文本内容
- 保留关键结构标签（div/section等）
python复制soup = BeautifulSoup(html, 'html.parser')
for tag in soup(['script', 'style', 'meta', 'link']):
tag.decompose()
content = str(soup.body) # 只保留body内容
步骤3：构造大模型提示词
这是决定效果的关键。我的最佳实践是：
- 明确输出格式要求（JSON）
- 提供示例（few-shot learning）
- 限定操作范围
python复制prompt = f"""请从以下网页内容中提取百度热搜标题列表：
{content}
要求：
1. 只返回热搜标题文本
2. 格式为JSON数组
3. 忽略广告和推荐内容
示例输出：
["华为发布新款手机", "世界杯决赛今晚举行"]
"""
步骤4：调用大模型API
这里以OpenAI格式API为例：
python复制client = OpenAI(base_url=BASE_URL, api_key=API_KEY)
response = client.chat.completions.create(
model=MODEL_NAME,
messages=[{"role": "user", "content": prompt}],
temperature=0.3 # 降低随机性
)
result = json.loads(response.choices[0].message.content)
3.3 国产模型适配技巧
如果想用国产大模型（如DeepSeek、通义千问），只需修改两个参数：
python复制# 通义千问配置示例
BASE_URL = "https://dashscope.aliyuncs.com/api/v1"
MODEL_NAME = "qwen-max"
实测发现不同模型的表现差异：
- GPT-4o：准确率最高（98%），但成本较高
- DeepSeek：性价比最优（准确率95%，价格低30%）
- Kimi：对中文网页理解好，但响应速度稍慢
4. 进阶版：智能爬虫Agent
4.1 自主决策架构设计
mermaid复制graph TD
A[初始URL] --> B{是否需要登录?}
B -->|是| C[模拟登录]
B -->|否| D[获取页面]
D --> E[解析内容]
E --> F{是否分页?}
F -->|是| G[生成下一页URL]
F -->|否| H[存储数据]
（注：实际实现时需要用代码替代该流程图）
4.2 关键技术实现
动态策略生成
让模型自己决定下一步操作：
python复制prompt = """当前页面包含：
- 商品列表（20条）
- 下一页按钮
- 分类筛选菜单
请选择最合适的操作：
1. 提取当前页商品数据
2. 点击下一页
3. 按价格排序
4. 切换分类
用JSON格式返回选择结果，例如：
{"action": 2, "reason": "需要获取更多商品数据"}
"""
反反爬策略
模型可以自动应对常见反爬手段：
- 验证码识别：调用OCR服务
- 行为检测：随机化操作间隔
- IP封锁：自动切换代理
python复制if "验证码" in html:
action = {"action": "solve_captcha", "image": extract_captcha(html)}
5. 实战踩坑记录
5.1 Token优化技巧
- 用
BeautifulSoup的get_text()替代完整HTML - 移除重复内容（如页眉页脚）
- 设置
max_tokens限制（建议不超过4096）
5.2 错误处理方案
python复制try:
data = json.loads(model_response)
except json.JSONDecodeError:
# 模型可能返回非JSON内容
data = retry_with_format_prompt()
5.3 成本控制
- 对简单页面先用规则匹配，失败再调用大模型
- 使用小模型做初筛（如GPT-3.5-turbo）
- 设置每月预算上限
6. 性能优化方案
6.1 缓存机制
对静态页面内容做MD5缓存：
python复制from hashlib import md5
cache_key = md5(html.encode()).hexdigest()
if cache_key in redis:
return redis.get(cache_key)
6.2 并行处理
用asyncio实现并发请求：
python复制async def fetch(url):
async with aiohttp.ClientSession() as session:
async with session.get(url) as resp:
return await resp.text()
tasks = [fetch(url) for url in url_list]
pages = await asyncio.gather(*tasks)
6.3 智能降级策略
当API限额用尽时自动切换：
- 优先使用本地规则库
- 降级到小型开源模型
- 触发人工处理流程
7. 扩展应用场景
这种技术还能用于：
- 竞品监控：自动抓取对手价格/活动信息
- 舆情分析：实时采集社交媒体内容
- RPA自动化：处理需要登录的复杂流程
最近我在某电商价格监控项目中落地了这套方案，相比传统爬虫：
- 开发效率提升60%
- 维护成本降低75%
- 数据准确率达到92%