大模型真的懂广告吗?「广告营销-视频理解」测评方案发布!SuperCLUE-AdsVU


大模型真的懂广告吗?「广告营销-视频理解」测评方案发布!SuperCLUE-AdsVU

    随着短视频与直播成为数字营销的核心载体,多模态大模型在视频理解领域的应用正迎来爆发。然而,通用大模型真的“懂”广告吗?它们能否精准捕捉视频中的品牌植入、拆解爆款的转化逻辑、甚至敏锐地察觉营销合规风险?

    为了客观评估多模态大模型在真实商业营销场景下的落地能力,SuperCLUE团队发布「广告营销-视频理解」测评基准(SuperCLUE-AdsVU)方案。紧贴数字营销行业的实际需求,全方位考核大模型对商业广告视频的浅层识别、中层理解、深层策略拆解、落地可行性研判能力。

# 测评体系

本次测评中,我们基于真实的广告投放链路与内容生态,构建了4个大类共计14项核心任务。从视频元素的捕捉,深入到商业逻辑的拆解,全面考察模型对营销视频的解析能力。

注:具体的测评任务以正式发布的测评报告为准。

评价维度

# 评价指标

1. 选择题

  • 答案唯一:

    • 题目内容与子任务测评方向一致。设定为单选题,共4-7个选项,覆盖干扰选项和唯一标准答案,确保打分客观,最终评价模型回答的选项是否为选择题正确选项。

2. 简答题

  • 叙事主旨提炼:

    • 核心内容完整性:需完整覆盖视频对应的核心内容类型,同时完整捕捉视频叙事的信息(如核心脉络、关键事件、核心表达主体与核心信息节点等),无遗漏对理解视频内容起决定性作用的关键信息。

    • 主旨解析完整性:需在完整识别视频核心内容的基础上,提炼出视频内容本身的核心观点与核心结论,更要完整解析出该内容叙事最终服务的核心诉求。

  • 价值主张理解:

    • 卖点提取精准度:需精准、完整地从视频内容中提取出广告向目标受众承诺的核心利益点、产品 / 品牌核心卖点与用户购买核心理由,无遗漏、无误判、无主观臆造的内容。

    • 目标受众匹配度:需在精准提取核心价值主张的基础上,完整、准确地将广告的核心卖点与目标受众的核心需求、消费痛点、使用场景、偏好习惯进行对应匹配,清晰解析出价值主张对目标群体的针对性与吸引力。

  • 行动号召识别:

    • 要素识别完整性:需完整、无遗漏地识别出广告视频全流程中所有与行动号召(CTA)相关的核心要素,全面还原视频中所有引导用户行为的相关信息。

    • 意图清晰度:需在完整识别行动号召全量要素的基础上,清晰、准确、有条理地解析出每一项行动号召背后的核心营销意图,以及该号召在广告营销全链路中的设计逻辑与作用价值。

  • 合规风控校验:

    • 违规点识别完整性:需完整、精准、无遗漏地识别出广告视频中所有违反平台内容投放规则、内容合规相关要求的风险点,同时精准区分违规点的类型与严重程度。

    • 整改建议合理性:需针对已识别出的每一项违规风险点,提出一一对应、具备可落地性、针对性与合规性的整改建议,同时保障整改方案不破坏广告的核心营销诉求与视频叙事的完整性。

# 数据集介绍

涉及4大广告营销场景:电商、游戏、应用、短剧。根据不同场景涉及的业务逻辑,设定各自的测评任务。

在题目设计时,一则广告营销视频将产出多个题目,具体规则如下:
  • 设置单条视频元数据:包括视频简介、视频标签、视频简要内容、发布平台
  • 单条视频设置5-7个题目,包含参考答案与答案解释,分别匹配测评体系不同维度的评测子任务,包含选择题与简答题,定量评估模型的能力。

# 测评方法

1. 选择题

  • 1分(完全匹配):回答提取的选项或核心意图与标准答案完全一致。

  • 0分(不匹配/矛盾):回答的选项错误,或包含了与标准答案、视频元数据相矛盾、冲突的内容。

2. 简答题

划分五档采分细则,分别为完全失败(0分)、严重缺陷(0.25分)、一般及格(0.5分)、良好水平(0.75分)、典范惊艳(1分),可根据作答细节在档位区间内插值细化打分;

得分计算:(指标1得分+指标2得分+…)/指标总数 (保留两位小数)

评分结果使用标准答案进行约束,并采用Gemini-3-Flash作为裁判模型进行统一评估。

档位
说明

完全失败(0分)

回答与标准答案完全无关,与视频元数据存在根本性事实冲突……

严重缺陷(0.25分)

表现非常差。与标准答案关联微弱,缺失核心商业逻辑……

一般及格(0.5分)

刚达到最低可接受水平。覆盖了标准答案约一半的关键点……

良好水平(0.75分)

表现不错,达到良好水平。与标准答案高度相关,逻辑清晰……

典范惊艳(1分)

不仅百分百涵盖标准答案所有细节,还找出未涉及到的精准答案与解析……

# 评估示例

【场景】电商

已关注

关注

重播 分享

【元数据】

"视频简介""Solid power for long work sessions away from outlets ☕️💻\nEnerGeek GR11 Power Bank 🔗 in bio.\n⚡ 145W total output  \n⚡ 2× USB-C ports  \n⚡ 1× USB-A ports  \n⚡ Built-in retractable USB-C cable ","视频标签""#baseus #energeek #powerbank #desksetup #workspace","视频简要内容""视频主要展示了baseus充电宝的能力。","发布平台""TikTok"

【题目及参考答案】

{    "问题ID": 1,    "维度": "创意元素识别",    "子维度": "行业标签识别",    "问题": "根据视频展示的内容及标签,该视频最适合归类于以下哪个行业标签?",    "类型": "选择题",    "选项": [        "A. 3C数码配件",        "B. 户外运动装备",        "C. 智能家居电器",        "D. 汽车内饰用品"        ],    "答案": "A",    "解释": "视频主要展示了一款充电宝(Power Bank)为笔记本电脑和智能手机充电的过程,标签包含#powerbank #desksetup,属于典型的3C数码配件类目。选项B、C、D均与视频展示的充电宝产品属性及桌面办公的使用场景不符。"},{    "问题ID": 2,    "维度": "创意元素识别",    "子维度": "产品内容解析",    "问题": "根据视频画面和简介,关于视频中展示的Baseus(倍思)EnerGeek GR11充电宝,下列关于其核心功能或规格参数的描述中不正确的是哪一项?",    "类型": "选择题",    "选项": [        "A. 该充电宝自带一根可伸缩的USB-C线缆,方便日常使用。",        "B. 拥有20,000mAh的大容量,并且总输出功率高达145W。",        "C. 机身上配备了数字显示屏,可以实时显示电量等相关信息。",        "D. 机身接口配置丰富,包含2个USB-C接口和1个USB-A接口以满足不同设备的充电需求。"        ],    "答案": "B",    "解释": "选项B不正确。根据视频简介详细列出的参数,视频中未展示充电宝的最大容量。"},{    "问题ID": 3,    "维度": "创意内容理解",    "子维度": "叙事主旨提炼",    "问题": "请提炼该视频的核心叙事主旨,并说明视频是如何通过画面来传达这一主旨的?",    "类型": "简答题",    "选项": null,    "答案": "该视频的核心叙事主旨是展示Baseus充电宝在无固定电源插座时,能为多台办公设备提供强大且便捷的电力支持(好物分享/产品性能展示)。视频通过展示抽出自带充电线、插入MacBook后电脑显示充电状态、同时连接一台电脑和三部手机进行充电的画面,以及最后一键收纳线缆的动作,直观地证明了其大功率、多接口和便携易用的特点,完美契合文案中“为长时间离开插座的工作提供可靠电力”的主题。",    "解释": "视频没有复杂的剧情,而是直接聚焦于产品的功能演示。文案第一句“Solid power for long work sessions away from outlets”直接点明了主旨。画面中的多设备同步充电特写和自带线收纳功能的流畅演示,正是对这一主旨的视觉化论证。"},{    "问题ID": 4,    "维度": "创意策略分析",    "子维度": "行动号召识别",    "问题": "请指出该视频在文案中使用了什么形式的行动号召(CTA),并说明其引导用户进行什么操作?",    "类型": "简答题",    "选项": null,    "答案": "该视频在文案中使用了“🔗 in bio”的行动号召。它通过指示用户点击账号主页简介(bio)中的链接,引导用户跳转至外部页面以了解更多产品详细信息或直接进行购买下单操作。",    "解释": "视频简介中明确写有“EnerGeek GR11 Power Bank 🔗 in bio.”,这是社交媒体平台(尤其是TikTok)上非常典型的引导转化话术,提示用户获取产品或购买的具体渠道。"},{    "问题ID": 5,    "维度": "投放可行性判断",    "子维度": "可信度评估",    "问题": "关于该视频内容的可信度评估,以下说法最准确的是哪一项?",    "类型": "选择题",    "选项": [        "A. 视频中同时为三台设备充电的画面明显违背物理常识,属于过度夸张的虚假演示,可信度极低",        "B. 视频通过实拍充电接入MacBook后的状态及屏幕电量显示,提供了直观视觉证据,具有较高可信度",        "C. 视频因为没有达人口播背书,纯靠画面展示,导致观众无法了解产品真实性能,可信度较低",        "D. 视频中一键收回线缆的动作显得非常生硬且经过了明显的加速剪辑处理,暴露出缺陷,降低了可信度"        ],    "答案": "B",    "解释": "视频通过真实的物理连接、MacBook右上角的充电图标亮起、充电宝自带屏幕的数据显示,以及顺滑的线缆收缩动作,完整且真实地展示了产品功能。145W总输出同时充三台设备是合理的技术规格(A错)。没有口播不代表不可信,纯实拍展示也是一种高可信度的风格(C错)。线缆收回动作流畅自然,未见明显加速掩盖缺陷的痕迹(D错)。"}

【模型回答】

"1":{    "答案": "A",    "解释": "视频展示的是充电宝、数据线、笔记本电脑和手机等电子产品及其配件,属于典型的 3C(计算机、通信、消费电子)数码配件行业。"    },"2":{    "答案": "B",    "解释": "视频简介和画面证实了 145W 输出、自带伸缩线、数字显示屏以及 2 个 USB-C 和 1 个 USB-A 接口(选项 A、C、D 均正确)。而该款 145W 大功率充电宝(Baseus EnerGeek GR11)的实际容量通常为 25000mAh 以符合航空携带标准并支持高功率,选项 B 中的 20000mAh 描述不准确,且简介中未提及此容量数据。"    },"3":{    "答案": "核心主旨是展示该充电宝作为‘移动办公能源站’的便捷性与强大性能。视频通过‘无插座环境’的场景设定,配合‘自带线即插即用’的便利动作,以及‘同时充电脑和多台手机’的画面,直观传达了其解决电量焦虑、支持多设备高效工作的核心价值。",    "解释": "视频没有过多的言语,而是通过场景(户外桌台)、动作(拉出线缆、插入设备)和结果(屏幕亮起、多设备同时充电)来叙事,强调了产品在移动办公场景下的实用性。"    },"4":{    "答案": "视频在文案中使用了‘🔗 in bio'(链接在主页简介)的形式作为行动号召。这引导感兴趣的用户点击创作者个人主页中的链接,直接跳转到产品购买页面或详情页面进行转化。",    "解释": "这是社交媒体广告中常见的 CTA 方式,利用简短的符号和文字指示用户下一步操作,缩短购买路径。"    },"5":{    "答案": "B",    "解释": "视频通过实拍展示了充电宝接入 MacBook 后电脑屏幕亮起、充电宝自身屏幕显示实时功率和电量等细节。这些真实的视觉反馈为产品性能提供了直观证据,相比纯口播或特效,更能建立观众的信任感。"    }

【结果评价】

{    "问题ID"1,    "维度""创意元素识别",    "子维度""行业标签识别",    "问题""根据视频展示的内容及标签,该视频最适合归类于以下哪个行业标签?",    "类型""选择题",    "模型回答""A",    "得分细则""-----单题评价开始-----\n初步质量定性 (0.0-1.0分档): 优秀(0.8-1.0档)\n\n我的思考与总体评价(重点列举缺陷):\n<主要优点:准确识别出产品属于3C数码配件行业,解释逻辑清晰且符合视频实际展示内容。>\n<必须详细列出的缺点、不足、与标准答案的偏差之处:\n无缺陷。>\n\n逐项打分与评价(严格区分):\n基础要求/事实检查: 受访者回答与标准答案完全匹配,无事实冲突。\n\n子维度1 <行业标签识别> 的评价:\n回答选择了A选项,与标准答案提供的3C数码配件分类完全一致。\n基于该子维度的得分:【1.0】\n\n得分过程:1.0 / 1 = 1.0\n最终得分:【1.00】\n-----单题评价结束-----",    "得分"1.0},{    "问题ID"2,    "维度""创意元素识别",    "子维度""产品内容解析",    "问题""根据视频画面 and 简介,关于视频中展示的Baseus(倍思)EnerGeek GR11充电宝,下列关于其核心功能或规格参数的描述中不正确的是哪一项?",    "类型""选择题",    "模型回答""B",        "得分细则""-----单题评价开始-----\n初步质量定性 (0.0-1.0分档): 优秀(0.8-1.0档)\n\n我的思考与总体评价(重点列举缺陷):\n<主要优点:准确选出了描述错误的选项B,并正确指出视频简介中并未提及容量数据。>\n<必须详细列出的缺点、不足、与标准答案的偏差之处:\n无。>\n\n逐项打分与评价(严格区分):\n基础要求/事实检查: 匹配。受访者在解释中明确指出了简介未提及具体容量,判断准确。\n\n子维度1 <产品内容解析> 的评价:\n回答提取的选项B与标准答案一致,成功识别出规格描述中的陷阱。\n基于该子维度的得分:【1.0】\n\n得分过程:1.0 / 1 = 1.0\n最终得分:【1.00】\n-----单题评价结束-----",    "得分"1.0},{    "问题ID"3,    "维度""创意内容理解",    "子维度""叙事主旨提炼",    "问题""请提炼该视频的核心叙事主旨,并说明视频是如何通过画面来传达这一主旨的?",    "类型""简答题",    "模型回答""核心主旨是展示该充电宝作为‘移动办公能源站’的便捷性与强大性能。视频通过‘无插座环境’的场景设定,配合‘自带线即插即用’的便利动作,以及‘同时充电脑和多台手机’的画面,直观传达了其解决电量焦虑、支持多设备高效工作的核心价值。",    "得分细则""-----单题评价开始-----\n初步质量定性 (0.0-1.0分档): 优秀(0.8-1.0档)\n\n我的思考与总体评价(重点列举缺陷):\n<主要优点:回答精准提炼了“移动办公能源站”的核心概念,准确捕捉了视频中“无插座环境”、“自带线”以及“多设备同时充电”的关键视觉信息,与标准答案高度契合。>\n<必须详细列出的缺点、不足、与标准答案的偏差之处:\n无。解析非常专业,逻辑表达顺畅。>\n\n逐项打分与评价(严格区分):\n基础要求/事实检查: 回答内容与视频元数据及画面事实高度一致,无任何偏差。\n\n子维度1 <核心内容完整性> 的评价:\n受访者完整涵盖了视频中的关键动作(抽出线缆、充多台设备)和环境背景(无插座),信息捕捉无遗漏。\n基于该子维度的得分:【1.0】\n\n子维度2 <主旨解析完整性> 的评价:\n解析出了视频服务于“解决电量焦虑”和“高效工作”的核心诉求,提炼出了视频深层的营销逻辑。\n基于该子维度的得分:【1.0】\n\n得分过程:(1.0 + 1.0)/ 2 = 1.00\n最终得分:【1.00】\n-----单题评价结束-----",    "得分"1.0},{    "问题ID"4,    "维度""创意策略分析",    "子维度""行动号召识别",    "问题""请指出该视频在文案中使用了什么形式的行动号召(CTA),并说明其引导用户进行什么操作?",    "类型""简答题",    "模型回答""视频在文案中使用了‘🔗 in bio'(链接在主页简介)的形式作为行动号召。这引导感兴趣的用户点击创作者个人主页中的链接,直接跳转到产品购买页面或详情页面进行转化。",    "得分细则""-----单题评价开始-----\n初步质量定性 (0.0-1.0分档): 优秀(0.8-1.0档)\n\n我的思考与总体评价(重点列举缺陷):\n<主要优点:准确识别了“🔗 in bio”这一CTA要素,并清晰阐述了其引导购买跳转的营销意图。>\n<必须详细列出的缺点、不足、与标准答案的偏差之处:\n无。完全涵盖了标准答案的核心点,且解析合理。>\n\n逐项打分与评价(严格区分):\n基础要求/事实检查: 与视频文案事实一致。\n\n子维度1 <要素识别完整性> 的评价:\n受访者完整找出了文案中的CTA标志“🔗 in bio”,无遗漏。\n基于该子维度的得分:【1.0】\n\n子维度2 <意图清晰度> 的评价:\n准确说明了该CTA是引导用户跳转至产品页实现“转化”,逻辑清晰,意图解析准确。\n基于该子维度的得分:【1.0】\n\n得分过程:(1.0 + 1.0)/ 2 = 1.00\n最终得分:【1.00】\n-----单题评价结束-----",    "得分"1.0},{    "问题ID"5,    "维度""投放可行性判断",    "子维度""可信度评估",    "问题""关于该视频内容的可信度评估,以下说法最准确的是哪一项?",    "类型""选择题",    "模型回答""B",    "得分细则""-----单题评价开始-----\n初步质量定性 (0.0-1.0分档): 优秀(0.8-1.0档)\n\n我的思考与总体评价(重点列举缺陷):\n<主要优点:准确识别出实拍充电画面和电量显示是可信度的核心来源。>\n<必须详细列出的缺点、不足、与标准答案的偏差之处:\n无。>\n\n逐项打分与评价(严格区分):\n基础要求/事实检查: 匹配。视频中确实通过数显和电脑屏幕图标作为性能证据。\n\n子维度1 <可信度评估> 的评价:\n回答选择B选项,唯一匹配标准答案,评估逻辑符合营销常识。\n基于该子维度的得分:【1.0】\n\n得分过程:1.0 / 1 = 1.0\n最终得分:【1.00】\n-----单题评价结束-----",    "得分"1.0}

# 参与测评

参测流程

1.邮件申请

2.意向沟通

3.参测确认与协议流程

4.提供API接口或大模型

5.获得测评报告

评测申请

邮件标题:于真实广告营销场景的SuperCLUE-AdsVU「广告营销-视频理解」测评申请。

请发送到contact@superclue.ai请使用单位邮箱,邮件内容包括:单位信息、大模型简介、联系人和所属部门、联系方式。

联系我们