研究人员已经找到了如何可靠地创建挑战计算机的问题，并通过人机协作反映人类语言的复杂性，开发了1200多个问题的数据集，这些问题虽然易于人们回答，但仍然是当今最好的计算机应答系统。学习掌握这些问题的系统将比目前存在的任何系统更好地理解语言。
人工智能的最终目标之一是真正理解人类语言并从复杂，细致入微的段落中诠释意义的机器。当IBM的Watson电脑击败了着名的“Jeopardy!”2011年的冠军Ken Jennings似乎已经达到了这个里程碑。但是，任何尝试与虚拟助手Siri进行对话的人都知道计算机还有很长的路要走，才能真正理解人类语言。为了更好地理解语言，计算机系统必须使用挑战它们的问题进行训练，并反映人类语言的完整复杂性。
马里兰大学的研究人员已经找到了如何通过人机协作可靠地创建这些问题，开发了一个包含1,200多个问题的数据集，这些问题虽然很容易让人们回答，却是今天最好的计算机应答系统。学习掌握这些问题的系统将比目前存在的任何系统更好地理解语言。这项工作在2019年出版的“计算语言学协会交易”期刊上发表。
“大多数回答问题的计算机系统都没有解释他们为什么回答他们的做法，但我们的工作有助于我们了解计算机实际理解的内容，”UMD计算机科学副教授，该论文的高级作者Jordan Boyd-Graber说。 。“此外，我们已经制作了一个数据集来测试计算机，这些数据集将揭示计算机语言系统是否实际上正在阅读并进行人类能够进行的相同类型的处理。”
目前大多数改进问答程序的工作都是使用人类作者或计算机来产生问题。这些方法的固有挑战是，当人们写问题时，他们不知道他们的问题的哪些具体要素会混淆计算机。当计算机写出问题时，他们要么写出公式化，填写空白问题，要么犯错误，有时会产生废话。
为了开发人类和计算机一起工作以产生问题的新方法，Boyd-Graber和他的团队创建了一个计算机界面，揭示了计算机“思考”作为人类作家键入问题的内容。然后，作者可以编辑他或她的问题以利用计算机的弱点。
在新界面中，人类作者键入问题，而计算机的猜测在屏幕上按排名顺序出现，并且突出显示导致计算机猜测的单词。
例如，如果作者写道“海顿的主题作曲家的变化是由卡尔·费迪南德·波尔启发的?”并且系统正确回答“约翰内斯勃拉姆斯”，界面突出显示“费迪南德波尔”这个词，以表明这句话引发了它的答案。使用该信息，作者可以编辑问题，使计算机更难以改变问题的含义。在这个例子中，作者取代了鼓舞勃拉姆斯的人的名字，“Karl Ferdinand Pohl”，描述了他的工作，“维也纳Musikverein的档案保管员”，并且计算机无法正确回答。然而，专家人类测验游戏玩家仍然可以轻松地正确回答编辑过的问题。
通过合作，人类和计算机可靠地开发了1,213个计算机难题，研究人员在竞争期间测试了经验丰富的人类玩家 - 从初级校队高中琐事团队到“危险边缘”!冠军 - 对抗电脑。即使是最弱的人类团队也击败了最强大的计算机系统。
“三四年来，人们已经意识到计算机问答系统非常脆弱，很容易被愚弄，”UMD计算机科学研究生，该论文的共同作者石峰说。“但这是我们意识到的第一篇真正使用机器来帮助人类打破模型的论文。”
研究人员表示，这些问题不仅可以作为计算机科学家的新数据集，更好地了解自然语言处理失败的地方，还可以作为开发改进的机器学习算法的训练数据集。这些问题揭示了六种不同语言现象，这些现象一直困扰着计
这六种现象分为两类。第一类是语言现象：释义(例如说“从悬崖跳跃”而不是“从悬崖跳跃”)，分散注意力的语言或意外的背景(例如提及出现在关于某些无关内容的线索中的政治人物政治)。第二类包括推理技巧：需要逻辑和计算的线索，问题中元素的心理三角测量，或组合多个步骤以形成结论。
“人类可以更多地概括并看到更深层次的联系，”Boyd-Graber说。“他们没有无限的计算机记忆，但他们仍然有能力看到树木的森林。编目计算机的问题有助于我们理解我们需要解决的问题，这样我们才能真正得到计算机开始通过树木看到森林，并以人类的方式回答问题。“
在此之前还有很长的路要走还有博伊德 - 格拉伯，他还在马里兰大学高级计算机研究所(UMIACS)以及UMD的信息研究和语言科学中心共同任命。但这项工作提供了一个令人兴奋的新工具，帮助计算机科学家实现这一目
“本文正在制定未来几年的研究议程，以便我们能够让计算机更好地回答问题，”他说。