szftx.com科学 · 物理化学
技术 · 前沿动态

多模态训练数据的瓶颈,卡在哪里

图片、视频与音频的清洗成本远高于文本。规模不再是唯一问题,标注质量成了新的瓶颈。

编辑部约 6 分钟技术 · 前沿动态

多模态模型的进步,很大程度取决于能否拿到足量、干净、成对的训练数据。

文本语料相对容易获取,图像与视频则要处理分辨率、编码格式、镜头质量等一长串问题。

文本之后是图像与视频

成对数据尤其稀缺,一段画面配上准确描述,往往需要人工标注,成本随规模线性上升。

清洗环节的难度被低估:重复、模糊、水印、字幕残留,都会让模型学到不该学的东西。

清洗比收集更难

自动筛选可以过滤掉一部分低质样本,但判断标准本身要靠人定,阈值松紧影响很大。

视频还带来时间维度,动作与因果关系的标注难度比单帧图像高出一个量级。

授权与来源的约束

来源授权是硬约束,用不了的数据再多也没意义,可商用语料的竞争因此相当激烈。

规模仍有作用,但边际收益在下降。同等算力下,数据质量带来的提升往往更直接。

本文由本站编辑部整理撰写,内容仅作知识分享,不构成医疗、投资、法律建议,转载请注明出处。

读者留言 · 3 条

数
数据工程

清洗这段讲到了痛处。

算
算法从业

成对数据稀缺,确实难。

读
长期读者

没吹规模,客观。

留言为读者个人观点,不代表本站立场。