首页 > 编程语言 >nnU-Net v2预处理数据加载卡住解决方案

nnU-Net v2预处理数据加载卡住解决方案

来源：互联网 2026-07-02 08:05:01

当使用 nnUNetv2_plan_and_preprocess 处理大规模数据集（比如 704 例）时，程序经常因为多线程死锁而卡在预处理阶段动弹不得。根子上的原因是默认线程数设得太高，导致资源竞争或 I/O 阻塞。对策很直接：显式限制线程数。说实话，用 nnUNetv2_plan_and_pr

当使用 nnUNetv2_plan_and_preprocess 处理大规模数据集（比如 704 例）时，程序经常因为多线程死锁而卡在预处理阶段动弹不得。根子上的原因是默认线程数设得太高，导致资源竞争或 I/O 阻塞。对策很直接：显式限制线程数。

说实话，用 nnUNetv2_plan_and_preprocess 处理大规模数据集（比如 704 例）的时候，卡在预处理阶段是常有的事。界面一动不动，日志也不往下走，挺让人头疼的。问题十有八九出在默认的多线程并发上——nnU-Net v2 默认会启用多进程并行加载和预处理数据。数据集一大（例如 704 个样本），磁盘 I/O 又有限（比如还在用 HDD 或者网络存储），再加上系统内存、文件句柄这些资源紧张，过多的并发线程很容易引发死锁、进程挂起或是无限等待。如果你把样本量降到 600 就能跑通，那基本可以确定就是并发负载的问题，和数据格式或者路径没关系了。

推荐解决方案：显式控制预处理线程数

解决办法其实不复杂，通过 --num_processes 参数指定一个合理的并发进程数（注意这里是进程，不是线程，nnU-Net v2 内部用的是 multiprocessing），就能避免资源争用：

长期稳定更新的攒劲资源： >>>点此立即查看<<<

nnUNetv2_plan_and_preprocess -d 201 --verify_integrity --num_processes 4

参数建议参考

一开始可以试试设成 4（适用于 16GB 内存加 SSD 的常见工作站）；
如果还是卡，逐步降到 2 甚至 1（单进程模式最稳，就是慢一点）；
别超过 CPU 物理核心数，而且至少要留 2 个核心给系统和别的任务用；
要是用 NFS 或者慢速存储，强烈建议直接设成 --num_processes 1。

其他关键检查项

确认所有 NIfTI 文件都符合规范：没损坏、头文件完整（可以用 nibabel.load() 快速验证一下）；
检查 dataset.json 里的 numTraining 字段，确保它和实际样本数（704）一致，免得索引越界；
运行前做一次完整性校验：nnUNetv2_plan_and_preprocess -d 201 --verify_integrity（这一步本身很快，能快速定位缺失或异常文件）；
看看日志末尾有没有 OSError: Too many open files —— 如果有，需要提升系统文件句柄限制（ulimit -n 8192）。