机器人能否像人类一样感知时间？新研究使用强化学习赋予时间感知

　　大数据文摘专栏作品

　　作者：Christopher Dossman

　　编译：VICKY、Joey、云舟

　　大家好，本周的AI Scholar Weekly栏目又和大家见面啦！

　　AI ScholarWeekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。

　　每周更新，做AI科研，每周从这一篇开始就够啦！

　　本周关键词：视频理解、时间感知、BERT

　　本周最佳学术研究　

　　在本文中，研究人员通过结合知识和视频问答，提出了一种新的视频理解任务。

　　首先，他们提出了一个称之为KnowIT（knowledge informated temporal）VQA的视频数据集。该数据集源自电视剧生活大爆炸（The Big Bang Theory），其中包含了众多知识问答。KnowIT拥有24000多个人工生成的问答对，并将视觉、文本和时间与基于知识的问题相结合。其次，他们提出了一个视频理解模型，将视频的视觉和文本内容与特定的节目知识结合起来。

　　他们发现：

　　知识的结合为视频中的VQA带来了显著改进；KnowIT VQA的性能仍然落后于人类的准确性，这表明它对于研究当前视频建模的局限性是有所帮助的。

　　他们的工作表明了基于知识的模型在视频理解问题中的巨大潜力，这些模型将会为将自然语言处理（NLP）和图像理解的进步结合发挥重大作用。

　　该框架证明，视频理解和基于知识的推理都是回答问题所必需的。它能够检索并融合语言和视频的时空域，以便对问题进行推理，从而来预测正确答案。

　　但相比于人类的表现，（该框架）仍存在着很大差距。研究人员希望该数据集将有助于在该领域开发更鲁棒的模型。

　　原文：https://arxiv.org/abs/1910.10706v3　用强化学习教机器人感知时间

　　众所周知，人类和动物的大脑具有负责时间认知的不同区域，而机器人则根据将时间视为外部实体（例如时钟）的算法来执行任务。是否有可能从生物学上激发时间感知机制，并在机器人中重现它们呢？

　　在这项工作中，研究人员观察了大脑用来负责时间感知的计时机制。他们利用贝叶斯推断得出的结果来预估数据的时间流逝，并利用TD学习特征表示来训练代理成功完成与时间相关的任务。由于选择了代表时间的特征，他们表明，在这种情况下，他们能够为代理提供一种类似人类和动物所经历的时间流失的感知。

　　本文的主要贡献：

　　提出了一种从机器人传感器收集环境数据的建模方法；在特定假设下，可以从数据中获得正确的时间估算；成功将时间认知机制应用于强化学习问题当中；赋予机器人在与时间有关的任务中复制动物行为的能力。

　　这项工作提出了一种为代理提供时间认知的过程。对机器人来说，对于时间的感知能够让它们像人类一样，在不同的环境和人物中学习适应对话。该框架已被提议在未来在真正的机器人中实现。