去年我做门店客流预测的时候,一上来就用了线性回归。模型跑完,非促销日的预测值里蹦出一堆负数,业务负责人当场就问我:“客流还能是负的?”这种场景,凡是跟计数数据打过交道的人应该都不陌生——明明是出租车订单数、店铺客流、系统报错次数、患者就诊次数,本质都是非负整数,可我们条件反射就是套线性回归,然后被负预测值和虚假显著的p值来回毒打。解决这个问题,泊松回归(Poisson Regression)是统计工具箱里最经典、最该优先尝试的方案,而标题里提到的“线性泊松回归”,指的就是广义线性模型框架下的标准泊松回归:线性预测器加上对数链接,专门处理计数数据的回归预测。这篇就把这套方法彻底讲透,给可以直接跑的Matlab代码,把适用场景、数学原理、代码实现到过离散修正完整过一遍,适合正在用Matlab做数据分析、科研实验或业务预测的读者参考。
1. 什么时候该用泊松回归:计数数据建模的适用边界
1.1 线性回归处理计数数据的三个灾难现场
很多人不理解,计数数据为什么不能直接上线性回归?我用一个实际例子说明。假设我在预测某外卖站点的每日订单量,y的最小值是0,均值大约30。线性回归的模型是 (y = X\beta + \varepsilon),它假设误差项 (\varepsilon) 服从正态分布、方差恒定。但订单量的真实分布是右偏的:大部分日子订单集中在20到40单,偶尔出现80单的大爆单日。这种数据塞进线性回归,会出现三个灾难现场。
第一个现场是负预测值。当x取到样本中较小值时,线性预测器 (X\beta) 完全可能算出一个小于0的结果,而订单量不能为负。业务方不会接受“明天订单量是-3单”这种输出,哪怕你跟他说这是模型误差导致的,他也只会觉得模型不靠谱。第二个现场是方差恒定假设崩溃。计数数据的方差天然和均值绑在一起,均值越大,波动越大,这一点我们从泊松分布的性质就能看出来。线性回归假设所有样本的误差方差相同,显然不符合实际。方差假设被违背的直接后果是标准误被低估,那些p值会集体“虚胖”,本来不显著的变量被标记成显著,模型结论基本没法信。第三个现场是残差形态。线性回归要求残差近似正态,而计数数据的残差在高频小值区域挤成一团,在尾部拖着长尾巴,正态性检验怎么验都过不了,模型的统计推断基础整个塌掉。
1.2 泊松回归适合什么场景
泊松回归天生就是为计数数据设计的。它假设响应变量 (y_i) 服从泊松分布,并通过对数链接函数将均值 (\lambda_i) 和线性预测器 (X\beta) 连接起来。适用场景在业务里非常常见,我做了个简单的对照表:
| 场景类型 | 数据形式 | 典型例子 |
|---|---|---|
| 事件计数 | 某个时间段内发生次数 | 客服电话量、交通事故数、机器故障次数 |
| 发生率 | 计数值+暴露量 | 每万人发病率、每千单投诉率 |
| 频次/密度 | 单位面积或时间的数量 | 餐厅客流、网页点击次数、店铺订单量 |
| 罕见事件 | 事件发生概率很低但样本量大 | 保险理赔次数、质检缺陷个数 |
这里有一个容易忽略的前提:泊松回归并不要求y必须“看起来像泊松分布”,它更关心均值结构能否被解释变量表达,以及数据的离散程度是否接近理论值。换句话说,哪怕数据的经验分布和标准泊松分布有偏差,只要均值-方差关系近似成立,泊松回归依然是一个合理的起点。
1.3 拿到数据后30秒快速判断
判断一组数据适不适合泊松回归,不用跑复杂检验,三个检查30秒就能完成。
先看y是否是非负整数。泊松分布是定义在0, 1, 2, ...上的,如果y里出现负数、小数,说明数据本身不符合泊松假设,可能需要先做变换或者改用其他模型。再看均值与方差是否接近。这是泊松分布最核心的性质:(E(y) = Var(y))。我处理过很多组数据,一个简单粗暴的方法是分别算出y的均值和方差,如果两者在同一个数量级,比如均值3.2、方差3.6,泊松回归基本可行;如果方差明显大于均值,那就要警惕过离散问题,后面第四章专门讲。最后看事件是否近似独立。泊松过程假设事件独立随机地发生,如果一个事件的发生会显著影响下一个事件(比如传染病在家庭成员间的传播),计数数据的聚集性会很强,泊松回归的表现就会打折扣。
三个检查都通过,泊松回归就是比线性回归更合适的选择。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 泊松回归的核心机制:对数链接、极大似然与offset项
2.1 为什么泊松回归默认用对数链接
“线性泊松回归”这个说法里,“线性”两个字容易让人误以为是y和x呈线性关系。实际不是。泊松回归的模型是:
[
\ln(\lambda_i) = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \dots + \beta_p x_{ip}
]
线性预测器 (\eta_i = X_i\beta) 是线性的,但连接的是 (\lambda_i) 的对数。这个设计的核心原因有两个。
第一,对数链接天然保证了预测的均值 (\lambda_i = e^{\eta_i}) 一定是正数。不管 (\eta_i) 取多大或多小,指数函数的结果都大于0,这从数学结构上根治了“负客流预测”这个问题。第二,对数链接给系数赋予了非常直观的业务含义。假设某个变量的系数是 (\beta),其他变量不变时,这个变量增加1个单位,(\lambda) 会乘以 (e^{\beta})。比如促销活动变量的系数是0.45,那 (e^{0.45} \approx 1.57),意思是促销期间客流是平时的1.57倍,也就是提升57%。这种“乘法效应”比线性回归里的“加法效应”更贴合计数数据的生成逻辑。
2.2 系数解读:从对数到倍数
用泊松回归最实用的解读技巧,就是记得两条换算规则。
规则一,当变量 (x_j) 增加1个单位时,事件发生率的变化倍数是 (e^{\beta_j})。大于1说明正向影响,小于1说明负向影响。规则二,如果要算百分比变化,直接用 ((e^{\beta_j} - 1) \times 100%)。我在给业务方汇报时从不直接抛 (\beta) 值,而是换算成“增加百分之多少”或“打几折”。这个换算让模型结果立刻变得可解释,也更容易被非技术背景的同事接受。
这里要注意,如果变量本身不是连续型,而是分类变量(比如周几、是否节假日),你只需要把它编码成0/1哑变量,系数的解读方式完全一样:相对于参照组,该类别的事件发生率变化 (\exp(\beta)) 倍。比如周一的系数是-0.3,那就是 (e^{-0.3} \approx 0.74),意思是周一客流是参照日(比如周日)的74%,跌了26%。
2.3 极大似然估计与IRLS的计算逻辑
泊松回归的参数不是用最小二乘法解的,而是用极大似然估计(MLE)。单个样本的泊松概率是:
[
P(Y_i = y_i) = \frac{\lambda_i^{y_i} e^{-\lambda_i}}{y_i!}
]
代入 (\lambda_i = e^{\eta_i}),取对数再对所有样本求和,得到对数似然函数:
[
\ell(\beta) = \sum_{i=1}^{n} \left[ y_i \eta_i - e^{\eta_i} - \ln(y_i!) \right]
]
模型要做的事就是找一组 (\beta),让这个对数似然函数取到最大值。这个过程通常用迭代重加权最小二乘(IRLS)算法实现,Matlab的glmfit底层就是这个思路。IRLS在每次迭代时,根据当前参数计算一个“工作响应变量”和权重,然后做一次加权重最小二乘更新参数,反复迭代直到收敛。理解了这一点,你就能明白为什么数据里有NaN时会报错、为什么量纲差异大会影响收敛速度——因为底层本质上还在做最小二乘迭代。
2.4 offset项:不同观测时长或规模怎么处理
实际业务里经常会遇到一个问题:有的门店开了12个月,有的门店只开了3个月;有的城市人口100万,有的城市人口30万。直接比较计数不科学,因为观测期或暴露规模不同。线性回归做法是把这些归一化成“均值”,但泊松回归有更优雅的处理方式:offset项。
做法是在线性预测器里固定加上一个已知项 (\ln(\text{exposure})),也就是:
[
\ln(\lambda_i) = \ln(\text{exposure}_i) + X_i\beta
]
这一项的系数固定为1,不需要估计。含义很清晰:把“计数”转化为“发生率”。比如预测各门店投诉量,exposure取门店的订单量或营业时长,模型实际在拟合“单位订单投诉率”。这是泊松回归在应用中最容易被忽视的细节之一,很多新手漏了offset,结果把规模差异全部算到变量系数头上,得出完全错误的结论。在Matlab的glmfit里,offset通过参数直接传入,第三章会写具体代码。
3. Matlab实现泊松回归的三种路径:从一行命令到完整案例
3.1 最快的路径:glmfit + glmval
在Matlab里实现泊松回归,最直接的工具是统计和机器学习工具箱里的glmfit函数。拟合一行代码,预测一行代码,对新手极其友好。代码是这样:
matlab复制% X是预测变量矩阵(n×p),y是计数响应(n×1)
% glmfit会自动处理截距项,不需要手动加全1列
b = glmfit(X, y, 'poisson');
% 对新数据做预测,'log'指定对数链接,返回的是预测均值lambda
mu_new = glmval(b, X_new, 'log');
这里有三点需要说明。第一,X里不要手动加全1列,glmfit默认第一项对应截距,加了反而会重复。第二,glmval返回的mu_new是预测的均值 (\lambda),也就是泊松分布的期望值,不是随机数,是对未来平均水平的预测。第三,'poisson'这个分布参数默认使用对数链接,所以glmval里要指定'log',二者是对应的。
如果需要标准误和置信区间,加一个输出参数就行:
matlab复制[b, dev, stats] = glmfit(X, y, 'poisson');
% stats.se 是各个系数的标准误
% stats.p 是wald检验的p值
% stats.resid 是Pearson残差
3.2 面向对象方式:fitglm 与 predict
如果你习惯用fitlm那种面向对象的工作流,可以改用fitglm。它返回一个GeneralizedLinearModel对象,预测、残差分析、模型摘要都集成在对象里,便于后续做更复杂的操作。
matlab复制% 用表格数据拟合
tbl = table(x1, x2, x3, y, 'VariableNames', {'x1', 'x2', 'x3', 'y'});
mdl = fitglm(tbl, 'y ~ x1 + x2 + x3', 'Distribution', 'poisson');
% 查看模型摘要,包含系数表、AIC等
disp(mdl);
% 预测
yhat = predict(mdl, tbl);
% 残差
res = mdl.Residuals;
fitglm的优势是公式接口灵活。比如要加交互项,写法是 'y ~ x1 + x2 + x3 + x1:x2';要加二次项,写法是 'y ~ x1 + x2^2'。在变量探索阶段,这个接口能帮你快速比较不同模型结构。另外,fitglm的predict可以直接返回均值和置信区间,做可视化时很方便。
3.3 手动实现极大似然估计,彻底搞懂底层
用现成函数虽然省事,但如果你想真正理解泊松回归在做优化什么,或者需要自定义一些特殊结构,手动实现一次最大似然估计是值得的。Matlab的fminunc可以做无约束最优化。代码如下:
matlab复制% 手动实现泊松回归的最大似然估计
% 注意:这里X_all需要包含截距列,即第一列全1
X_all = [ones(n, 1), X];
beta0 = zeros(size(X_all, 2), 1);
% 定义负对数似然函数(fminunc是求最小值,所以取负)
negloglik = @(beta) -sum(y .* (X_all * beta) - exp(X_all * beta) - gammaln(y + 1));
% 优化
opts = optimoptions(@fminunc, 'Algorithm', 'quasi-newton', 'Display', 'off');
beta_hat = fminunc(negloglik, beta0, opts);
这段代码里的-y .* (X_all * beta)就是 (y_i \eta_i),exp(X_all * beta)是 (e^{\eta_i}),gammaln(y+1)对应 (\ln(y!))。对照着第二章的似然函数公式看,每一个部分都能对上。手动实现跑出来的系数,和glmfit的结果几乎完全一致。我建议初学者至少手动实现一次,因为很多自以为理解泊松回归的人,遇到“为什么这里要加ones”“为什么是负对数似然”这种问题就卡壳了,手动写一遍,这些疑问全部自解。
3.4 完整案例:门店客流预测的建模闭环
这里用一个模拟的门店客流数据,把整个流程串起来。假设我有500天的历史数据,特征有三个:x1是标准化后的商圈热度指数,x2是天气评分,x3表示是否做了促销活动(0/1)。真实客流由这三个变量生成,已知真实系数是[1.2, 0.35, -0.2, 0.45]。
matlab复制rng(2024); % 固定随机种子,结果可复现
n = 500; % 500天数据
x1 = randn(n, 1); % 商圈热度指数(标准化)
x2 = randn(n, 1); % 天气评分(标准化)
x3 = randi([0, 1], n, 1); % 是否促销
beta_true = [1.2; 0.35; -0.2; 0.45]; % 真实系数
lambda = exp([ones(n,1), x1, x2, x3] * beta_true);
y = poissrnd(lambda); % 生成泊松计数
% 训练测试划分(80% / 20%)
idx = randperm(n);
train_idx = idx(1:400);
test_idx = idx(401:500);
% 拟合泊松回归
b_glm = glmfit([x1(train_idx), x2(train_idx), x3(train_idx)], y(train_idx), 'poisson');
% 测试集预测
mu_test = glmval(b_glm, [x1(test_idx), x2(test_idx), x3(test_idx)], 'log');
% 评估
rmse = sqrt(mean((y(test_idx) - mu_test).^2));
mae = mean(abs(y(test_idx) - mu_test));
fprintf('RMSE: %.4f\n', rmse);
fprintf('MAE: %.4f\n', mae);
fprintf('真实系数: [%.2f, %.2f, %.2f, %.2f]\n', beta_true);
fprintf('估计系数: [%.2f, %.2f, %.2f, %.2f]\n', b_glm);
这个模拟有个很有价值的点:因为真实系数是我设定的,所以可以直观检验模型估得准不准。运行代码后你会发现,估计系数和真实系数基本在同一个水平,RMSE大约等于测试集均值附近的波动范围。注意一点,泊松回归的“评估”和其他回归不太一样,不能光看RMSE,第五章我会详细讲预测区间和残差诊断。
4. 过离散问题:泊松回归最大的坑与修正策略
4.1 过离散是什么,怎么检测
泊松分布有一个很强的假设:均值等于方差。但现实数据很少这么听话。大多数计数数据的方差都明显大于均值,这一现象被称为过离散(Overdispersion)。过离散的后果很严重:系数估计本身仍然是无偏的,但标准误被低估,p值偏小,置信区间偏窄,最终结果就是模型看起来发现了许多显著关系,实际上很多是假象。
检测方法并不复杂。glmfit在返回deviance的同时,可以用离散参数 (\phi) 来衡量过离散程度:
[
\hat{\phi} = \frac{\text{Pearson}\ \chi^2}{n - p}
]
经验上,(\hat{\phi}) 大于1.5或2就说明过离散明显。在Matlab里这样算:
matlab复制[b, dev, stats] = glmfit(X, y, 'poisson', 'estdisp', 'on');
phi = stats.sfit^2; % 离散参数估计
fprintf('Dispersion parameter phi: %.3f\n', phi);
关键在'estdisp', 'on'这个参数。默认情况下Matlab会把离散参数假定为1,不会帮你估计它;显式开启estdisp后,stats.sfit才会反映真实的离散程度。我见过很多人只调用glmfit(X, y, 'poisson'),然后看stats.sfit永远是1,以为自己数据没有过离散问题,其实只是没开对参数。
4.2 过离散从哪里来
搞清楚过离散的来源,才能决定用哪种修正方案。最常见的来源有三个。
一是漏掉了重要的解释变量。比如预测交通事故数时,没考虑路段是否靠近学校,不同路段的固有风险差异全部汇入误差项,导致方差虚高。二是事件本身存在聚集性。泊松过程要求事件独立发生,但很多现实计数天然聚集:传染病在一个家庭内传播、故障在某台设备上反复出现,这些数据的方差天然就比泊松假设大。三是异常值和极端值。一个特别大的计数(比如某天的爆款活动带来平时10倍的客流)会显著拉大方差。此外,重复测量或分层数据也会引起过离散,因为组间异质性被平均进了整个模型的噪声。
4.3 三种修正策略对比与Matlab落地
处理过离散,业界有几种成熟方案,我按推荐程度排个序。
第一种是准泊松回归(Quasi-Poisson)。这种方案不改变均值结构,只是在计算标准误时把方差放大 (\phi) 倍。它的好处是简单稳健,不需要改变模型本身的解释方式。在Matlab里,用glmfit的'estdisp', 'on'估计出(\phi)后,把标准误乘上 (\sqrt{\phi}) 即可得到修正后的标准误。
第二种是负二项回归。负二项分布相当于在泊松分布的基础上增加了一个额外的方差参数,能更灵活地刻画“均值-方差”关系。Matlab官方没有直接提供负二项GLM的函数,需要自己用mle写似然。代码相对繁琐,但如果过离散程度很严重,负二项通常是比准泊松更好的选择。
第三种是使用稳健标准误(Huber-White sandwich estimator)。这种方案不修改模型结构,只修正推断部分。在Matlab里可以结合glmfit手动计算三明治标准误,适合样本量较大且担心模型设定有偏的场景。
| 修正方案 | 修改什么 | 优点 | 适用场景 |
|---|---|---|---|
| 准泊松 | 方差/标准误 | 简单,系数不变 | 过离散程度中等 |
| 负二项 | 整个分布 | 更灵活,拟合更好 | 过离散严重,聚集性强 |
| 稳健标准误 | 仅标准误 | 不依赖分布假设 | 样本量大,模型设定存疑 |
负二项的一个Matlab实现思路是:
matlab复制% 负二项GLM的最大似然估计(参数化:均值mu,形状参数r)
% 使用nbinpdf,其中p = r / (r + mu),保证E(y) = mu
X_all = [ones(n, 1), X];
negloglik_nb = @(params) -sum(log(nbinpdf(y, params(end), params(end) ./ ...
(params(end) + exp(X_all * params(1:end-1))))));
% params(1:end-1)是回归系数,params(end)是形状参数r
beta_init = [glmfit(X, y, 'poisson'); 1];
beta_nb = fminunc(negloglik_nb, beta_init, opts);
我自己试下来的经验是:当 (\phi) 在1.5以下,用普通泊松就够了;(\phi) 在1.5到3之间,优先考虑准泊松修正;(\phi) 超过3或者数据里明显有聚集性,直接上负二项。
4.4 零膨胀场景要单独处理
另一类和过离散经常同时出现的情况是零膨胀:数据里的0比泊松分布预测的多得多。比如预测“各门店当天零成交的天数”,很多门店平时就是0单,只有活动日才有销量。这种数据用泊松回归会严重过离散,但本质问题不是方差,而是“零”的生成机制不同。
处理零膨胀数据,常见方案是零膨胀泊松模型(ZIP):一部分0由logistic回归控制“是否会成交”,另一部分成交数量由泊松过程控制“来了多少”。Matlab没有现成的ZIP函数,需要自己写EM算法或用第三方工具箱,复杂度不低。我的建议是:如果0的比例没有超过20%到30%,先不必上ZIP,用负二项就能吸收大部分过离散;只有当零的比例极高、且业务上确实存在“先决定做不做、再决定做多少”的两阶段机制,才值得上ZIP。
5. 预测结果怎么评估:从RMSE、预测区间到残差诊断
5.1 泊松模型的评估指标和线性回归不一样
很多人评估泊松回归还是只看RMSE和R²,这不够。RMSE当然要看,但泊松模型的预测是“均值预测”,数据本身围绕这个均值有天然波动。比如预测均值是30,真实值可能是27、35、40,这完全正常。所以评估要分三层:预测精度(RMSE/MAE)、拟合优度(对数似然/AIC/BIC)和统计推断可靠性(残差和标准误)。
拟合优度的比较在Matlab里很容易获得:
matlab复制% 拟合两个模型
mdl1 = fitglm(tbl, 'y ~ x1 + x2', 'Distribution', 'poisson');
mdl2 = fitglm(tbl, 'y ~ x1 + x2 + x3', 'Distribution', 'poisson');
% 比较AIC
aic1 = mdl1.ModelCriterion.AIC;
aic2 = mdl2.ModelCriterion.AIC;
% 似然比检验
lr_stat = 2 * (mdl2.LogLikelihood - mdl1.LogLikelihood);
p_value = 1 - chi2cdf(lr_stat, 1);
AIC越小越好,但AIC适合“模型选择”,不适合向业务方解释模型表现。业务方关心的是“你这个预测到底准不准”。这时候用RMSE和MAE更直观。有一点要记住,泊松模型的RMSE天然比单位值大一些,因为方差等于均值,预测多了几个、少几个都是正常现象。
5.2 预测区间:比点预测更有业务价值
泊松回归的预测本质上是给出一个均值 (\lambda),但业务决策往往需要知道“范围”。用泊松分布的2.5%和97.5%分位数,可以构造大约95%的预测区间:
matlab复制mu_new = glmval(b_glm, X_new, 'log');
lb = poissinv(0.025, mu_new); % 下限
ub = poissinv(0.975, mu_new); % 上限
这个区间直接告诉业务方:在其他条件不变的情况下,明天客流有95%的概率落在某个范围内。比如预测均值是30,95%预测区间可能是[22, 39],比单一的“30单”有用得多。我经常用这个区间做库存备货决策:按上限备货能覆盖绝大多数情况,按下限备货是保守策略。还可以进一步评估预测区间的校准性——算一下测试集里真实值落在区间内的比例,如果接近95%,说明模型对不确定性的刻画是合理的。
5.3 残差诊断:Pearson残差与Deviance残差
线性回归里我们看残差直方图和Q-Q图,泊松回归也有对应的诊断工具,但残差定义不太一样。最常用的是Pearson残差和Deviance残差。
Pearson残差定义为:
[
r_i = \frac{y_i - \hat{\mu}_i}{\sqrt{\hat{\mu}_i}}
]
直观理解就是用真实值和预测值的差除以标准差。Deviance残差则基于单个样本对似然函数的贡献,比Pearson残差更接近正态分布。在Matlab里,glmfit返回的stats.resid是Pearson残差,stats.residd是Deviance残差。
分析残差时重点看两点:残差是否随预测均值系统性变化,以及有没有个别残差特别大的异常点。我通常在拟合后画一张“预测均值 vs Deviance残差”的散点图,如果残差在零线附近随机分布、没有喇叭口形状,说明模型结构基本没问题;如果残差随均值明显扩散,说明方差结构仍然没有被完全捕捉,可能需要重新考虑过离散修正或变量变换。
5.4 一次完整的预测效果解读示例
结合第三章的案例数据,假设拟合完模型后测试集预测均值是28.3,真实值分布情况是:RMSE 5.8,MAE 4.5,95%预测区间覆盖率是96.2%。这个结果怎么解读?
RMSE 5.8意味着平均偏差约6单,对于一个均值约28的预测对象来说,误差率大概在20%左右,考虑到计数数据的天然波动,这个精度已经可用。覆盖率96.2%说明预测区间没有过度自信。同时可以看变量系数:促销系数0.45对应客流提升57%,这就是可直接汇报的业务结论。
整套评估流程下来,模型的“准不准”“稳不稳”“怎么解释”就都有了,而不是停留在“R²是多少”这种单薄维度。
6. 新手最容易翻车的几个细节与我的处理经验
6.1 offset漏加导致系数虚高
这是我在实际项目中踩过最隐蔽的坑。有一段时间做各城市投诉量预测,直接拿投诉次数当y,结果模型显示人口变量系数是0.8,表面看没什么问题。后来核对发现,大城市的投诉天然就多,如果不把人口规模放进offset,人口变量的系数其实是在替“总量差异”背锅。加了 (\ln(\text{population})) 作为offset之后,这个系数明显下降,模型回头去解释“投诉率”而不是“投诉量”。
用glmfit加offset的写法很简单:
matlab复制[b, dev, stats] = glmfit(X, y, 'poisson', 'offset', log(exposure));
这里exposure是每个样本的暴露量,比如营业天数、订单量、人口数。要注意offset必须取对数,因为它在模型中直接加在线性预测器上,原始规模直接加进去会把模型结构搞乱。
6.2 特征量纲差异大会影响迭代收敛
泊松回归的参数估计走的是IRLS迭代,虽然不像神经网络那样对特征尺度特别敏感,但量纲差异过大时依然会拖慢收敛,极端情况下还会报收敛警告。比如一个特征的取值范围是0到1,另一个特征的范围是几万,初始梯度的方向会被大尺度特征主导,导致小尺度特征的系数更新非常慢。
解决办法很简单:连续型特征做标准化,分类变量保持0/1编码即可。标准化不会改变系数的显著性,只会让解释方式从“x每增加1个单位”变成“x每增加一个标准差”,业务解读时注意这一点就可以。
6.3 样本量少、零特别多时怎么办
泊松回归的极大似然估计依赖渐近理论,样本量太少时标准误的估计并不可靠。常见的经验准则是“每个预测变量至少需要10个事件”,这里的“事件”指的是y的总和,不是样本量。比如预测变量有5个,那所有样本的y加起来最好不少于50,否则模型容易过拟合,系数估计的方差会很大。
如果样本量不够,可以考虑用惩罚似然(Firth修正)或者正则化方法。Matlab里可以通过fitglm配合正则化实现,或者用lassoglm做带L1惩罚的广义线性模型。另外,如果数据里0特别多,先想想业务机制:是真的“没有事件发生”,还是事件根本不可能发生?前者用零膨胀模型,后者可能需要把数据做二值化改用逻辑回归。
6.4 别把“泊松回归”和“泊松重建”搞混
搜索资料的时候经常发现有人在Poisson这个关键词上踩到另一个大坑:泊松重建。这是计算机图形学里用于点云曲面重建的经典算法,英文叫Poisson Surface Reconstruction,和本文讲的Poisson Regression完全是两回事。前者是几何处理,后者是统计建模。如果你搜“Poisson matlab”,出来的结果有一半是曲面重建相关,别怀疑是自己理解错了。找资料时建议直接搜“Poisson Regression matlab”或“glmfit poisson”,能少走很多弯路。
6.5 这两年和计数数据打交道的体会
做了一段时间计数预测之后,我的一个明显感受是:泊松回归的真正价值不在于“准”,而在于“稳”和“可解释”。它给你的是一个基线模型,帮你理清哪些变量真正影响事件发生率,影响方向是什么,量级有多大。在此基础上再去叠加复杂模型,结果会扎实得多。我也遇到过用XGBoost把RMSE压得更低的情况,但业务侧更喜欢泊松回归的系数解读,毕竟能直接讲清楚“促销提升57%客流”这件事。如果你的场景也是计数预测,先跑一版泊松回归,把离散程度、变量显著性、offset这些基本功练扎实,后续即使换更复杂的模型,你对数据的理解也已经领先大多数人了。
