今天，谷歌公开了一种机器学习模型，它可以指向自然语言问题的答案（例如，“哪个摔跤手统治的次数最多？”）在电子表格和数据库中。 该模型的创建者声称，它甚至能够找到遍布细胞的答案，或者可能需要聚合多个细胞。
Google Research的Thomas Muller在一篇博客文章中指出，世界上大部分信息都以表格的形式存储，比如全球金融统计和体育结果。 但这些表格往往缺乏直观的筛选方法——谷歌的人工智能模型旨在解决这个问题。
为了回答像“作为前两名摔跤手冠军的平均时间？”这样的问题，模型将问题以及表内容逐行编码。 它利用了基于Transformer的BERT体系结构-它是双向的（允许它从过去和未来的方向访问内容)和无监督的(这意味着它可以摄取既不分类也不标记的数据）-与称为嵌入的数值表示一起扩展，以编码表结构。
Muller认为，一个关键的补充是用于编码结构化输入的嵌入。 学习了列索引、行索引和一个特殊秩索引的嵌入，向模型表示数值列中元素的顺序。
上图：有预期答案的表格和问题。 答案可以选择（#1，#4)或计算(#2，#3）。
对于每个表单元格，模型生成一个分数，表示单元格将成为答案的一部分的概率。 此外，它还输出一个操作(例如，“AVERAGE”、“SUM”或“COUNT”)，指示必须应用哪个操作（如果有的话）才能产生最终答案。
为了对模型进行预训练，研究人员从英语维基百科中提取了620万对表文本，作为训练数据集。 在预训练期间，该模型学会了恢复已删除的表格和文本中的单词，准确率相对较高。 事实上，71.4%的项目被正确地恢复了在训练期间看不见的桌子。
在预训练之后，Muller和他的团队通过弱监督对模型进行了微调，使用有限的来源为训练数据的标记提供信号。 他们报告说，最好的模型的性能超过了最新的顺序回答数据集，一个微软创建的基准，以探索在表上回答问题的任务，12分。 它还在斯坦福大学的Wiki Table Questions上使用了以前的顶级模型，其中包含来自维基百科的问题和表格。
Muller说：“薄弱的监管场景是有益的，因为它允许非专家提供训练模型所需的数据，并且比强监管花费的时间更少。