首页 > AI教程 >Horizon模型多Batch配置详解

Horizon模型多Batch配置详解

来源：互联网 2026-07-16 06:13:20

Horizon模型多Batch配置中，input_shape定义张量维度，input_batch扩展batch数，separate_batch控制NV12输入内存组织。静态多Batch固定batch，动态多Batch可灵活调整。三种部署方案：静态featuremap、动态featuremap、NV12输入加separate_batch。常见错误为batch参

一、基础概念

在 Horizon 模型的转换与部署过程中，有三个关键参数需要优先理清：input_shape、input_batch 和 separate_batch。只有明确它们各自的作用与限制，才能正确配置模型，迈出部署的第一步。

Horizon模型多Batch配置详解

长期稳定更新的攒劲资源： >>>点此立即查看<<<

input_shape 参数详解
input_shape 负责定义模型输入张量的维度，格式为 N × C × H × W。单 batch（N=1）时，写成 1 x 3 x 224 x 224；多 batch（N>1，静态）时，则写成 4 x 3 x 224 x 224。第一维 N 即 batch size，在 input_shape 中写入的值决定了模型固定接受多少张图像。
input_batch 参数机制
input_batch 并非用来替代 input_shape，而是一种扩展机制——它将一个 batch=1 的模型，在编译阶段扩展为 batch=N 的模型。使用此参数需满足两个前提：input_shape 第一维必须为 1，且原始 ONNX 模型本身支持 batch 推理。配置示例：input_shape: 1x3x224x224，input_batch: 4，最终生成的模型支持 batch=4 的输入。它与直接写 4x3x224x224 的区别，将在后文详细说明。
separate_batch 参数作用
separate_batch 决定多 batch 场景下，输入数据的内存组织方式。设为 False（默认值）时，所有 batch 数据必须在连续内存中一次性送入，形状为 (4, 3, 224, 224)；设为 True 时，每个 batch 独立送入，不要求内存连续，每个形状为 (1, 3, 224, 224)。此选项仅在配置了 input_batch 参数时生效，主要用于 NV12 / pyramid 图像输入场景——因为摄像头输出的帧天然是一帧一帧独立的，无法合并成连续 buffer。

二、两种模型导出形态

在理清三个参数后，模型导出对应两种形态。

形态一：静态多 Batch 模型

input_shape 直接指定目标 batch size，例如 4x3x224x224，编译时 batch 即固定。特点包括：batch size 不可修改；校准数据（calibration data）的 shape 必须完全匹配，即也需要为 (4, 3, 224, 224)；不支持 input_batch 参数（两者冲突）；不涉及 separate_batch，输入本身即为连续 tensor。

形态二：动态多 Batch 模型

input_shape 保持 batch=1，通过 input_batch 指定目标 batch size，例如 input_shape: 1x3x224x224，input_batch: 4。特点包括：校准数据只需 batch=1，准备简单；batch size 可在不同部署场景中灵活调整，仅需修改 input_batch；推理时实际送入的是 batch=4 的数据，runtime 内部负责调度。这也是工程部署中较为推荐的方式。

三、三种部署方案

根据输入数据来源和处理方式的不同，实际部署对应三种方案。

方案一：静态多 Batch + Featuremap 输入

适用场景：输入数据已走完外部预处理（resize、归一化等），以 tensor 形式直接输入，不经过板端图像处理流水线。模型 shape 固定，batch 无需变化。配置为 input_type_rt: featuremap，input_type_train: featuremap。数据准备时，校准数据和推理数据的 shape 必须为 (4, 3, 224, 224)，即每次喂入 4 张已预处理完的图像 tensor，并合并于连续内存中。需特别注意：不能在此方案中使用板端 resize / crop 等图像预处理操作，一旦 batch > 1 且使用了图像预处理，编译阶段会报错：Insert image convert/resize for batched input is not allowed。

方案二：动态多 Batch + Featuremap 输入

适用场景：同样是预处理好的 tensor 输入，但希望部署更灵活——不想每次修改 batch 都重新编译，或校准数据准备成本较高。配置示例：input_shape: 1x3x224x224，input_type_rt: featuremap，input_type_train: featuremap，input_batch: 4。数据准备时，校准数据只需准备 batch=1 的单张图像，推理时 runtime 会自动将 batch 扩展为 4。这是工程部署最推荐的方式——配置简单，校准数据准备成本低，部署灵活。

方案三：NV12 图像输入 + separate_batch

适用场景：输入来自摄像头、图像 pipeline（pyramid / resizer），数据格式为 NV12（YUV420），不经外部预处理，直接送入原始图像帧。配置如下：input_type_rt: nv12，input_batch: 4，input_shape: '1x3x224x224'，separate_batch: True。数据准备时，每帧图像独立送入，无需拼接为连续 buffer。关键限制：separate_batch 必须设为 True，否则 NV12 输入无法正确处理。

四、常见错误与解决方法

错误一：batch>1 时使用了板端图像预处理

报错信息类似：error: insert image convert/resize for batched input is not allowed, got 4 ERROR *** ERROR-OCCUR-DURING hbdk.insert_image_convert ***。原因很简单：input_type_rt 设置为 nv12 或 yuv 等图像类型，同时 batch > 1，板端图像预处理不支持批量操作。解决方法有两种：要么改为 featuremap 输入，在外部完成预处理后再送入模型；要么将 separate_batch 设为 True。

错误二：校准数据 shape 与模型不匹配

报错信息类似：ERROR cannot reshape array of size 602112 into shape (1,3,224,224) ERROR The file batch_00000.rgb.npy load failed。根源在于：模型是静态 batch=4（input_shape: 4x3x224x224），但校准数据准备的是 batch=1 的 .npy 文件。解决方法：重新打包校准数据，使 shape 与 input_shape 匹配；或者改用动态多 batch 方案（方案二），从根本上规避此问题。