谷歌研究团队近日发布了全新的通用视频编码器——VideoPrism，其在3600万高质量视频字幕对和5.82亿视频剪辑的数据集上进行了训练，并在33项视频理解基准测试中刷新了30项SOTA（最先进技术）成绩。
VideoPrism的设计旨在通过单一冻结模型处理各种视频理解任务，包括分类、定位、检索、字幕和问答等。其设计理念主要基于预训练数据和两阶段训练法。预训练数据方面，谷歌团队通过汇集高质量视频字幕对和带有噪声的并行文本，构建了一个庞大的语料库。在建模方面，VideoPrism采用了对比学习和掩码视频建模两个阶段，以优化语义视频嵌入和全局提炼。
VideoPrism的出色表现不仅体现在分类和定位任务上，还能进行视频-文本检索和QA问答。例如，给定一段视频，VideoPrism可以准确地检索出与文本内容相匹配的视频片段，或者根据视频内容回答相关问题。
谷歌团队表示，VideoPrism的成功验证了通用视觉编码器在视频理解领域的巨大潜力。未来，随着数据集的扩大和模型的不断优化，VideoPrism有望在更多领域实现突破，为视频理解和应用提供更强大的支持。
文章来源于互联，不代表科技云立场！如有侵权，请联系我们。
相关推荐
-
Canalys：苹果预计2025年第一季度发布全新M4芯片，强化AI功能
科技巨头苹果公司正积极准备下一代革命性芯片——M4系列。根据彭博社知名记者马克·古尔曼（Mark Gurman）的最新爆料，苹果已经开始着手开发搭载M4芯片的全新MacBook P…
-
高通骁龙X Elite芯片组将助力新一代Windows电脑 预计2024年面世
2023年10月，高通公司发布了针对Windows驱动的个人电脑的最新旗舰芯片组——骁龙X Elite。公司当时预计，搭载这款SoC的产品将在2024年年中正式上市。近日，高通在收…
-
《战锤》游戏联合创始人布莱恩·安塞尔去世 享年68岁
游戏界传来了一则令人悲痛的消息。享年68岁的布莱恩·安塞尔（Bryan Ansell），《战锤》系列游戏的联合创始人，已于2023年12月30日离世。 安塞尔是英国著名的桌面角色扮…
-
Redmi Note 13系列即将来袭：采用1.5K屏+IP68级防尘防水
据海外媒体报道，Redmi Note 13系列将于1月15日在海外发布，其中包括Redmi Note 13 5G、Redmi Note 13 Pro 5G和Redmi Note 1…
-
马云、蔡崇信增持阿里巴巴Alibaba股票 马云成最大股东
有媒体报道，阿里巴巴创始人马云和现任董事长蔡崇信近期纷纷增持阿里巴巴Alibaba股票，以实际行动表达对公司的坚定信心。这一消息也引发了市场对阿里巴巴Alibaba前景的看好。 据…
-
谷歌Google Messages网络版遭遇中断：用户遭遇503和502错误
继去年年底的重大更新之后，Google Messages 的网络版在今晚遭遇了服务中断的问题。从太平洋时间下午 5 点左右开始，用户在访问 messages.google.com/…
-
高通引领未来通信：5G到6G的演进之路
随着5G的广泛应用，通信技术正步入新的发展阶段。高通在今年的世界移动通信大会MWC 2024上发布了一系列新技术，展现了5G Advanced和6G的潜力。 高通展示了如何利用超大…
-
【直播】一加夏季性能生态新品发布会
直播简介： 一加 Ace 3 Pro，旗舰双芯，性能凶猛！征服重载性能场景，挑战行业最强性能！6月27日19:00，新品发布。 文章来源于互联，不代表科技云立场！如有侵权，请联系我…
-
小米14系列海外正式发布！小米14 Ultra售价过万
近日，小米公司在全球范围内召开了一场引人注目的发布会，正式向海外市场推出了小米14系列。而在这一系列当中，备受瞩目的当属全新旗舰机型——小米14 Ultra。 小米14 Ultra…
-
小米15系列参数曝光：全新旗舰即将登场，配置全面升级
随着智能手机市场的不断发展，小米作为国内知名的手机厂商，始终致力于为用户带来更高性能、更优秀体验的产品。近日，知名博主@数码闲聊站曝光了小米即将发布的新旗舰——小米15系列参数信息…
