首页 > 编程语言 >Python不平衡数据集SMOTE过采样处理方法

Python不平衡数据集SMOTE过采样处理方法

来源：互联网 2026-07-13 08:00:00

python资讯合集

使用SMOTE前需确保X为二维数值数组，编码分类变量、处理缺失值；k_neighbors应小于少数类样本数，固定random_state；仅对训练集重采样，并验证合成样本分布合理性，避免测试集混入假样本导致评估虚高。

在使用SMOTE之前，需要确保数据干净且类型正确：X必须是二维数值型数组，剔除无关特征列，对分类变量进行编码，处理缺失值；k_neighbors应小于少数类样本数量，random_state务必固定；训练集与测试集必须严格分离，仅对训练集进行重采样，并验证合成样本的分布合理性。

长期稳定更新的攒劲资源： >>>点此立即查看<<<

许多用户在调用 fit_resample() 时直接遇到报错，例如 ValueError: Expected 2D array, got 1D array instead 或 TypeError: A sparse matrix was passed, but dense data is required。根本原因并非SMOTE本身，而是输入数据尚未准备好。

X 必须是二维数组（pandas.DataFrame 或 numpy.ndarray），不能是 pandas.Series 或一维向量
所有列必须为数值型——分类变量（如 gender、product_type）需先通过 pd.get_dummies() 或 OneHotEncoder 进行编码，不能保留 object 类型
缺失值需要提前处理：SMOTE 不接受 NaN，否则会引发 ValueError: Input contains NaN
避免混入 ID、时间戳、文本等非特征列——这些列在 X 中必须通过 drop() 移除，否则插值结果将失去意义

`SMOTE(random_state=42, k_neighbors=5)` 的参数如何选择

k_neighbors 是最常被忽略但影响极大的参数。默认值为 5，但它并非适用于所有情况：当少数类样本总数小于 k_neighbors 时（例如只有 3 个欺诈样本），SMOTE 会直接报错 ValueError: Expected n_neighbors <= n_samples。

如果少数类样本数少于 20，建议将 k_neighbors 设为 3 或 2；取值过小会导致合成样本多样性下降，过大则无法运行
random_state 必须固定，否则每次运行生成的合成样本不同，模型无法复现
不要盲目增大 k_neighbors 来“提高质量”——邻居范围过大，可能将分布边缘甚至噪声点纳入，反而稀释少数类的真实模式
如果特征维度较高（>50），可考虑先使用 PCA 降维再运行 SMOTE，否则欧氏距离失效，邻居选择会失真

训练集和测试集必须严格分离，不能对全量数据使用 `fit_resample()`

这是线上模型崩溃的最常见原因。有人将整个 df 直接传入 SMOTE，再分割训练集/测试集，导致测试集中混入了基于自身信息合成的“假样本”，评估结果严重虚高。

务必先使用 train_test_split(..., stratify=y) 进行切分，再仅对 X_train 和 y_train 调用 smote.fit_resample()
y_test 绝对不能参与任何重采样——它必须保持原始分布，才能真实反映业务场景下的泛化能力
如果使用交叉验证，需要将 SMOTE 封装进 Pipeline，确保每次折叠的重采样独立发生在训练折内
注意：stratify=y 参数不可省略，否则切分后训练集可能不含少数类样本，后续 SMOTE 会直接失败

过采样后不要只看 `value_counts()` 就认为万事大吉

分布数字平衡了，并不代表模型效果就会变好。常见陷阱是合成样本聚集在少数类边界附近，导致决策面被强行“撑开”，反而降低鲁棒性。

使用 scatter_matrix 或 PCA 投影绘图，观察合成样本是否明显偏离原始少数类簇（尤其是离群点附近大量聚集）
检查 SMOTE 后的 X_res 是否出现极端异常值——插值本身不会越界，但如果原始数据存在未清洗的离群点，合成点可能放大其影响
务必使用 classification_report(y_test, y_pred) 对比召回率（recall）和 F1，而不是准确率（accuracy）；前者才能反映对少数类的真实捕捉能力
如果合成后模型在验证集上 precision 大幅下降（例如从 0.8 降至 0.3），说明新样本引入了大量误判风险，应降低采样比例或改用 ADASYN