🚀 创新设计: DocLLM采用分离的空间注意机制，专注于边界框信息，解决文本和空间模态交汇处的复杂语义问题。
“O”:视频输出。2023年，我们看到了文字到视频合成的浪潮:WALT（谷歌）、EmuVideo(Meta)、Align Your Latents(英伟达)、Pika等等，数不胜数。然而，大多数生成的片段仍然很短。我将它们视为AI视频的“系统1”——“无意识”的局部像素运动。
然后，这些特征表示会被进一步转化为一系列离散的代码，每个代码都对应码本里的一个离散词向量。码本就像一个字典，里面有限个数的离散词向量。特征表示通过在码本中找到最匹配的那个离散词向量，来获得对应的离散代码。
「地震预测」，不再是无稽之谈
CogAgent还提供了可视化代理的能力，能够返回任何给定任务的计划、下一步行动和带有坐标的具体操作。它还增强了与图形用户界面相关的问题解答功能，可以处理与网页、PC应用程序、移动应用程序等任何图形用户界面截图相关的问题。另外，通过改进预培训和微调，CogAgent还增强了OCR相关任务的能力。这些功能的提升使得CogAgent在多个基准测试上实现了最先进的通用性能。