论文摘要

选自arXiv 作者：Sandeep Subramanian等 机器之心编译 参与：Panda 写论文是一件「痛并快乐着」的事情。快乐的是可以将自己的研究公之于众，痛苦的是有大段大段的文本内容需要完成。特别是摘要、引言、结论，需要不断重复说明论文的主要研究、观点和贡献。现在，这样的工作可以依赖 AI 完成了。Element AI 的研究者们提出了一种新的模型，使用 Transformer 架构，自动地生成论文的摘要。AI 攒论文的进程又往前走了一步。 在开始正文前，请读者们先读下面一段摘要： 译文：「我们提出了一种通过神经摘要为超过数千词的长文本生成抽象摘要的方法。我们先在生成摘要之前执行一个简单的抽取步骤，然后再将其用于在相关信息上调整 transformer 语言模型，之后将其用于生成摘要。我们表明这个抽取步骤能显著提升摘要结果。我们还表明这个方法能得到比之前的使用复制机制的方法更抽象的摘要，同时还能得到更高的 rouge 分数。」 读起来怎么样？事实上，以上你看到的摘要内容都不是人类完成的，它是由论文中的机器学习模型写出来的。这是来自 Element AI 的研究者最新公布的研究成果，他们使用了一种类似 GPT 的方法生成了相关研究论文的摘要。 文本摘要是 NLP 中的常见任务了。文档摘要如果能做到很好，可以极大程度减轻文字工作者的工作量，快速提炼文本核心内容，加速文本信息的提取、阅读和生产效率。如果能够将相关算法应用在论文写作上，是不是摘要、引言、相关工作、结论部分都可以省很多功夫了？ 但是，正是因为现有的相关算法不够成熟，能够实际应用在生产中的文档摘要算法不多，而且现有的算法普遍只能生成短的、描述事实的文本（在一些新闻平台有所应用）。要将带有逻辑结构的长文本进行抽取和摘要化处理，这样的算法并不常见。 现在，这篇介绍论文摘要抽取生成的论文，也许会给这个 NLP 中的经典任务带来新的解决思路。 论文地址：https://arxiv.org/abs/1909.03186 Transformer 怎样生成论文摘要 语言模型的训练目标是使用某个大型文本语料库来学习估计任意的词或字符序列的联合概率。它们已经在多种不同的语言任务上取得了出色的表现。近期 Radford 等人提出的 GPT-2 表明，如果使用较大的感受野并在大量数据上训练 transformer，那么得到的语言模型能够学习到文本中的长程依赖关系。 如果有人想为长文档生成连贯的、高质量的摘要，那么这样的类 GPT 架构具备很多所需的性质。它们的结果还表明，无条件语言模型可以隐式地学会执行摘要总结或机器翻译，这是其在数据上训练得到的结果。如果将这个数据按序列格式化为文档的不同方面（引言、正文、摘要），那么就可以让模型学习生成其中的一个方面。比如，通过在测试时提供相似格式的数据，可让模型学会解决摘要任务；即语言模型可以基于文档的引言和之后更长的正文生成一个摘要。 具体而言，论文的研究者使用了单个类 GPT...

梅宁航 发自 凹非寺量子位 报道 | 公众号 QbitAI “无聊的人类”，还在为写不出论文摘要发愁吗？ 无趣的直立猿，还在为辛辛苦苦凑字数挠头吗？ 有个网站适合你，无聊的人类。真的叫无聊的人类。 △boredhumans 这个网站目的在于“通过互联网向大众展示人工智能。” 里面可以说应有尽有，从简单的写文章到画油画，乃至于人脸生成都可以，足足有40+款应用。 眼花缭乱，应有尽有。 让AI帮我们写篇论文摘要吧，毕竟，生产力才是最重要的。 △AI写论文 手癌患者的福音，一键生成论文标题、摘要，灌水arXiv不是梦。 当然，这是不可能的，现阶段的AI还没强大到这个地步，这只是随机生成的文本。 当然，务必注意，这些都是假的，千万不要拿这些去投稿哟~ 使用简介 当然，除了用AI来写论文摘要，还可以有很多奇妙的用途等你去探索。 并且用法非常简单。 以论文摘要生成为例，只需两步操作。 第一步，打开网址，地址见文末链接。 第二步，一键点击即可生成符合arXiv格式的论文信息。 虽然不能真的用来发论文，但拿来自娱自乐，激活学术创意也是极好的。 这不是全部，不仅能给你写论文摘要，还可以有很多有意思的系列。 其他类型的应用也非常简单，两步走，再也不用自己写代码了！ 还有更好玩的 比如想看看大统领年轻时出演的电影吗？ 马上奉上，往下看: △deepfake 还有夫人的亲情出演，这是根据电影《煤气灯下》中的场景制作的。大统领和梅拉尼娅替换了男女主角亲自上阵。 和论文摘要生成类似，这里也是GAN的运用。 通过对他们每个人的几个小时的视频进行了训练，以便能够用这些面孔来创造新的镜头。 没看够，还有权力的游戏最新剧集，很多权游粉丝对大结局不满意，不如试试AI编写的内容。 当然，因为《权游》本身一贯就比较大尺度，所以有些内容可能不太适合小朋友观看。 请家长注意监督！ 当然，不止能娱乐，也是能干正事的，比如创造一幅真正的艺术作品。 如果不特地强调AI，你能分辨出这不是出自人手吗？ 还是GAN的妙用，两个神经网络在训练中相互对抗，一个神经网络创造出假的艺术作品，而另一个神经网络则作为评论家，试图找出哪些图像是真的，哪些是假的。 通过这个过程，创造艺术品的神经网络会随着时间的推移在“造假”方面越来越好，最终达到以假乱真的效果。 网站slogan是向大众展示AI，但以上都是GAN的运用，下面来个RNN的运用，比如给你的baby起个不重名的英文名。 △比Jack、rose个性多了 这是用的递归神经网络（RNN）。 RNN对于建立一个语言模型特别有用，在这里，我们想预测每个单词给定之前的单词的概率。然后可以将其转化为一个生成模型，当对宝宝名进行训练时，输出新的宝宝名。...