首页 > 人工智能 >MIT开发图表理解AI训练数据集ChartNet

MIT开发图表理解AI训练数据集ChartNet

来源：互联网 2026-06-04 06:16:07

MIT等机构开发了ChartNet图表理解训练数据集，包含超百万张图表图像及配套代码、描述、表格和问答对。采用两步式合成数据生成流程，小型开源模型经训练后在图表重建、数据提取等任务上超越大型商业模型，降低AI应用门槛。

企业在激烈的市场竞争中抢占先机，决策速度与质量至关重要。而决策背后，往往依赖堆积如山的市场报告与财务文件中的图表。因此，越来越多企业开始借助生成式AI，让模型解读图表、提取信息。然而问题随之而来：即使是目前最先进的视觉语言模型（VLM），在面对这些图表时也常出现错误——因为任务要求模型同时理解图像、数字以及语言逻辑，三重能力叠加，难度显著提升。换句话说，企业投入重金采购顶级模型，最终获取的仍可能是不准确、不完整的信息。

长期稳定更新的攒劲资源： >>>点此立即查看<<<

麻省理工学院（MIT）与MIT-IBM计算研究实验室的研究人员瞄准了这一短板，专门开发了一套针对视觉语言模型的训练资源，目标明确：让模型真正看懂图表。

研究团队走了一条新路——不再依赖从网络抓取的零散图片，而是自主生成数据。最终产出的数据集名为ChartNet，包含超过一百万张高质量图表图像，每张图均配有生成代码、文字描述以及带数值的数据表格。更为关键的是，每条数据还附有问答对，相当于手把手指导模型如何回答图表相关问题。如此一来，模型不仅能看，还能综合理解视觉、语言与数值三者之间的关联。

研究团队利用ChartNet训练了一系列开源视觉语言模型。测试结果令人瞩目：许多参数量远小于商业模型的模型，在数据提取与图表摘要等任务上，表现竟然超越了体型大出数倍的商业模型。这意味着预算有限的中小企业也有机会获得可靠的图表理解能力，不再被高价商用模型所制约。

“我们将ChartNet打造成一个‘一站式图表理解解决方案’——几乎覆盖了训练过程中可能用到的所有资源。”论文第一作者、MIT电气工程与计算机科学系研究生Jovana Kondic表示，“希望这项研究能激励更多人探索如何用更小的模型、更低的算力达到顶尖性能。”

论文合作者还包括来自MIT、MIT-IBM计算研究实验室与IBM Research的多位研究者：Pengyuan Li、Dhiraj Joshi、Isaac Sanchez、Aude Oliva和Rogerio Feris。相关成果将在IEEE计算机视觉与模式识别大会（CVPR）上正式发布。

数据瓶颈制约发展

自然语言处理与自然图像推理近年来进展显著，但图表理解始终是一块硬骨头。图表理解几乎是所有行业——尤其是金融行业——的刚性需求。金融行业对图表的依赖程度极高，几乎每一个决策环节都离不开它。若能自动从图表中提取趋势、识别数据，下游业务流程的效率将大幅提升。

问题在于高质量训练数据极度稀缺。现有数据集要么图表数量有限，要么来自互联网抓取，规模与质量均不足，模型难以从中真正学习。正如Kondic所说：“与人类不同，VLM可能需要观察几千个折线图示例，才能可靠地识别出什么是折线图。”研究团队选择用合成数据破局——算法生成的数据虽然是人造的，但能够模拟真实数据的统计特征。

ChartNet数据集包含超过一百万张高质量图表图像，每张图均配有生成代码、文字描述和数值表格。另有问答对用于训练模型正确回答问题。部分数据还带有专家标注，提供额外的图表类型与可靠性保证，可用于微调并提升特定场景下的模型性能。

Kondic表示：“这些额外的数据模态，其实是在引导模型将图表图像中分散的信息片段一一对应地关联起来。”