马尔可夫链在DAU预测中的建模与应用

1. 马尔可夫链建模DAU的核心逻辑

DAU（日活跃用户数）是互联网产品最核心的指标之一。传统的时间序列预测方法往往将DAU视为一个整体数值进行预测，这种方法存在两个致命缺陷：一是无法区分用户的不同活跃状态，二是难以反映产品运营动作对用户行为的影响。而基于马尔可夫链的建模方法，则通过将用户划分为7种互斥状态，实现了更精细化的预测。

这7种状态的定义基于三个时间维度的活跃情况：

• 今日是否活跃
• 过去7天是否活跃
• 过去30天是否活跃

具体状态转移逻辑如下图所示（以用户生命周期中的某一天为例）：

code复制新用户 → 当前用户 → 有风险(周活跃) → 有风险(月活跃) → 休眠
        ↗       ↘         ↘
    重新激活 ← 复活用户

2. 状态定义与转移矩阵构建

2.1 用户状态精确定义

每种状态都有明确的判定条件：

2.2 转移矩阵计算实战

构建转移矩阵是模型的核心，具体步骤包括：

1. 数据预处理：需要为用户生成完整的生命周期日期序列，包括活跃和非活跃日期

python复制# 使用DuckDB生成完整日期序列的SQL示例
WITH full_range AS (
    SELECT 
        user_id, 
        UNNEST(generate_series(registration_date, CURRENT_DATE, INTERVAL 1 DAY))::date AS date
    FROM users
)

2. 状态标记：通过窗口函数计算历史活跃情况

sql复制SELECT
    user_id,
    date,
    CASE
        WHEN date = registration_date THEN 'new'
        WHEN is_active AND active_days_back_6d BETWEEN 1 AND 6 THEN 'current'
        -- 其他状态判断条件...
    END AS state
FROM (
    SELECT
        *,
        SUM(is_active::int) OVER (PARTITION BY user_id ORDER BY date ROWS BETWEEN 6 PRECEDING AND 1 PRECEDING) AS active_days_back_6d
    FROM dau_full
)

3. 转移概率计算：统计各状态间的转移频次并计算概率

python复制def get_transition_matrix(transitions, start_date, end_date):
    """
    计算指定时间范围内的状态转移矩阵
    """
    mask = (transitions['date'] >= start_date) & (transitions['date'] <= end_date)
    transition_counts = pd.crosstab(
        transitions[mask]['state_from'],
        transitions[mask]['state_to'],
        normalize='index'
    )
    return transition_counts.reindex(index=states_order, columns=states_order).fillna(0)

3. 预测实现与调优技巧

3.1 基础预测流程

完整的DAU预测包含以下步骤：

1. 新用户预测（使用Prophet时间序列模型）
2. 初始状态分布获取
3. 递归状态预测：

   python复制for date in prediction_dates:
       next_state = transition_matrix.T @ current_state
       next_state['new'] = new_users_pred[date]  # 注入新用户
       dau = next_state[['new', 'current', 'reactivated', 'resurrected']].sum()
   

3.2 关键调优参数

通过实验发现三个关键调优点：

1. 转移矩阵计算周期：

   • 短期预测（1-3个月）：使用30-60天近期数据
   • 长期预测（6-12个月）：使用180-365天数据

2. 季节性调整：

   python复制# 混合常规矩阵和季节性矩阵
   M = 0.3 * M_seasonal + 0.7 * M_base
   

3. 新用户预测质量：

   • 对长期预测影响极大（MAPE差异可达50%+）
   • 重大节日期间需要特别处理

3.3 效果评估对比

与传统时间序列方法（如Prophet）的对比结果：

4. 实战注意事项与避坑指南

4.1 数据准备阶段的坑

1. 冷启动问题：

   • 需要至少30天的历史数据才能计算完整状态
   • 解决方案：在正式预测前预留足够长的数据采集期

2. 非活跃日记录：

   • 原始数据通常只记录活跃日
   • 必须通过日期展开生成完整序列

4.2 模型应用时的技巧

1. 状态转移可视化：

   python复制import networkx as nx
   G = nx.DiGraph(M_matrix)
   nx.draw(G, with_labels=True)
   

   通过图形化展示发现异常转移路径

2. 敏感度分析：

   • 对current→current概率做±5%调整
   • 观察对最终DAU的影响程度

3. 业务假设注入：

   python复制# 假设产品改进将提高5%的留存
   M.loc['current', 'current'] *= 1.05
   M.loc['current', other_states] *= 0.95
   

5. 模型扩展方向

5.1 用户分群建模

对不同渠道/地区的用户分别建立转移矩阵：

sql复制-- 在状态计算SQL中添加分组字段
SELECT 
    user_id, 
    acquisition_channel,
    country,
    -- 状态计算字段...
FROM ...

5.2 记忆性增强

引入用户生命周期天数作为状态维度：

code复制current_1 (第1天)
current_2 (第2天)
...
current_30+ (30天以上)

5.3 预测结果解释

生成预测报告时应包含：

1. 各状态用户占比趋势
2. 关键转移概率的影响分析
3. 新用户假设的敏感性说明

这种建模方式最大的价值在于将黑箱预测转变为可解释、可干预的业务过程。产品经理可以通过调整转移矩阵中的关键参数，直观看到运营策略对DAU的预期影响，实现数据驱动的决策闭环。