文章核心：用”区间不确定”战胜”数据不平衡”
一、问题背景：高频期货预测的”大海捞针”
|
|
|
|
中国期货市场每0.5秒产生一笔数据，但真正值得交易的显著波动很少（像大海里的鱼），小幅震荡很多（像海水）。模型容易被”海水”淹没，学会”躺平”——干脆全部预测为”不波动”，准确率95%却赚不到钱。
|
设类别标签 ，其中”1″（显著波动）为少数类，占比约5%，”0″（非显著波动）为多数类，占比约95%。数据极度不平衡：。
|
传统方法的困境：
二、核心创新：给概率”留余地”
2.1 关键洞察
|
|
|
|
传统模型说”这个样本有60%概率是显著波动”，但这个60%本身就不靠谱——因为训练时见过的”真鱼”太少。与其赌一个精确数字，不如说”概率在50%-70%之间“，然后按**最保守的70%**做决策。
|
传统点估计：（单一值）次线性期望：（区间）决策规则：若 ，判为”1″
|
2.2 “安全垫”机制图解
传统LR/SVM预测流程：输入x → [模型计算] → 得分z → σ(z) → 概率p → 与0.5比较 → 输出类别 ↑ 精确但"头铁"均值不确定性方法：输入x → [模型计算] → 得分z → σ(z+μ̄) → 上概率P̄ → 与0.5比较 → 输出类别 ↑ 加安全垫μ̄，更"保守"
三、两种具体方法详解
3.1 均值不确定性逻辑回归 (Mean-Uncertainty LR)
|
|
|
| 第一步
：先正常训练一个逻辑回归，得到”粗糙预测”。第二步：观察这个粗糙预测在训练集上的表现，发现它总是系统性低估真实概率（比如该发生的说不会发生）。第三步：算出需要”补多少分”才能消除这种低估，把这个分数加到所有预测上。
|
Step 1
：标准LR估计Step 2：估计均值不确定性参数 解方程：得估计值 Step 3：用上概率分类
|
关键公式对比：
3.2 均值不确定性支持向量机 (Mean-Uncertainty SVM) ⭐本文创新
|
|
|
|
SVM的核心是找一条”分界线”把两类分开，看样本在分界线的哪一边。传统SVM：刚好在分界线上的算”不确定”，离得远的算”很确定”。新方法：承认这个”距离”本身测不准，给所有距离都加上一个保守偏移，让原来”可能不是”的变成”可能是”。
|
传统SVM决策函数
：符号决定类别：均值不确定性SVM：将距离映射为概率区间：估计 后，用上概率决策：若 ，判为”1″
|
核函数选择（高斯核）：
四、”安全垫”怎么算？—— 次线性期望(SLE)框架
4.1 核心思想：一族分布，而非一个分布
|
|
|
|
传统统计学假设”真实世界只有一个概率分布”，但我们不知道它是什么。SLE说：”真实世界可能是很多个分布中的任意一个，我们只知道它们都在某个范围内”。就像天气预报：不是”明天下雨概率30%”，而是”根据模型A是20%，模型B是40%，真实概率在20%-40%之间“。
|
经典线性期望：（单一概率测度）次线性期望：（一族概率测度）满足四个性质：1. 单调性：2. 常数保持：3. 次可加性：4. 正齐次性：
|
4.2 最大分布：刻画”均值不确定”的利器
|
|
|
|
如果只知道某随机变量的”平均值在之间”，不知道具体分布形状，就用最大分布来描述这种”最粗糙”的不确定性。它代表了”最不利情况下的期望”——你永远假设最坏的那个均值发生了。
|
定义：随机变量 （最大分布）若 特别地，对于指示函数：
|
4.3 从理论到算法：φ-max-min方法
|
|
|
|
如果有一堆独立同分布的样本，想估计它们的”上均值”，最简单的办法是取样本最大值。直觉：如果真实均值最高是，那么你观测到的样本最大值应该接近。
|
定理A.3
（φ-max-min方法）：设 ，则： 是 的最大无偏估计 是 的最小无偏估计应用到本文：用滑动窗口计算预测残差，取残差的最大值作为
|
五、实证结果：数字说话
5.1 实验设置
|
|
|
|
|
|
|
|
|
|
|
95%分位数（上涨任务）/ 5%分位数（下跌任务）
|
|
|
|
5.2 分类性能对比
Recall（少数类识别率）提升最显著：
|
|
|
|
均值不确定性LR |
|
|
均值不确定性SVM |
|
|
|
|
69.7% |
|
|
81.7% |
|
|
|
|
61.5% |
|
|
86.6% |
|
|
|
|
62.9% |
|
|
73.8% |
|
|
|
|
61.0% |
|
|
67.9% |
数学解读：
5.3 投资策略收益
|
|
|
|
|
|
Mean-Uncertainty LR vs 传统
|
|
|
|
Mean-Uncertainty SVM vs 传统
|
80% |
|
|
Mean-Uncertainty LR vs LR相关
|
80% |
|
|
Mean-Uncertainty SVM vs SVM相关
|
67% |
六、方法论总结：一张图看懂
┌─────────────────────────────────────────────────────────────┐│ 数据不平衡问题 ││ （95%噪音，5%信号） │└─────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────┼─────────────────────┐ ↓ ↓ ↓ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ 采样方法 │ │ 权重调整 │ │ 本文方法 │ │(SMOTE等)│ │(代价敏感)│ │(SLE框架)│ └────┬────┘ └────┬────┘ └────┬────┘ │ │ │ ↓ ↓ ↓ 修改数据分布 修改损失函数 修改概率解释 （外部干预） （强制学习） （内在不确定性） │ │ │ └─────────────────────┴─────────────────────┘ ↓ ┌─────────────────────────────────────────┐ │ 本文核心：承认预测不确定性，保守决策 │ │ │ │ 点估计 p = 0.6 → 区间估计 [0.5, 0.7] │ │ │ │ 决策规则：max([0.5, 0.7]) = 0.7 > 0.5 │ │ → 判为少数类（更积极） │ └─────────────────────────────────────────┘
七、一句话精髓
🎯 通俗版：与其在数据上”造假”（合成样本）或”硬逼”模型（调权重），不如诚实承认”我看不准”，然后用最保守的估计做决策，反而能抓住更多真正的机会。
📐 数学版：通过次线性期望 将点估计扩展为区间估计，利用最大分布 刻画均值不确定性，以 作为保守决策依据，在不平衡数据分类中实现Recall与Bacc的显著提升。
加入星球，一起讨论这篇文章
