文章主题：ChatGPT4, 生成论文摘要, 信息密度, CoD提示
新研究：如何利用ChatGPT4生成优质论文摘要
近期，一篇名为《From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting》的研究文章发表，该文提出了一种利用人工智能生成论文摘要的新方法。作者强调，在生成摘要时，我们需要考虑到人类的阅读习惯和易于理解的关键信息，因此并非信息密度越大越好。相反，一个合适的密度摘要应能准确地传达出关键信息。为了达到这一目标，我们需要通过不断的实验来寻找最佳的策略。
在众多关于自动化生成摘要的技术讨论中，人们似乎往往忽视了一个核心问题，即信息密度。尽管这些技术已经发展了数年，但人们仍然没有充分认识到摘要信息密度的重要性。实际上，摘要是对正文的概括和提炼，因此其信息密度要远高于正文。在这个问题上，我们必须强调信息密度的重要性。若信息密度过低，则可能导致叙述失去实际意义；而相反，若信息密度过高，读者可能会觉得难以理解。因此，在处理这类技术时，我们需要关注信息密度的平衡，以确保摘要能够准确、有效地传达正文的核心内容。
以下是关于原文信息的解读，希望可以帮助理解：
图片来自论文原文
实验前的准备
为了开展研究，作者设计了一套基于提示的迭代策略——CoD（Chain of Density）提示。简而言之，这是一种名为“密度链提示”的方法，其作用在于提高摘要中“实体”的密度，进而使其比常规的GPT-4生成的摘要更为集中。
实验样本及限制大致如下：
1.对CNN/Dalymail的文章进行人工和自动评估，以综合结果。
2.最终实验目的是生成可以控制密度和长度的区别GPT4的摘要.
在本研究中，我们采用了CNN/DalyMai的摘要方法，从其测试集中选取了100篇论文，并针对这些文献产生了CoD摘要。这一过程充分体现了我们对相关研究的高度关注，以及对提高我国科研领域影响力的重要性的坚定信念。
4.「写一篇非常简短的文章摘要。请勿超过 70 个字。」
5.同时作者以“实体缺失”判定生成摘要质量的
以下为实验数据：
图片来自论文原文
图片来自论文原文
作者从直接统计和间接统计的两方面数据进行了总结。
直接统计数据
（直接统计数据：token-令牌、实体、实体密度，由 CoD 直接控制）
如图1展示的那样，在移除不必要的词语并删除冗长摘要的过程中，我们成功地在第二步中平均减少了5个token的长度。值得注意的是，这种修改方式使得实体密度得以提升，从最初的0.089增长至0.167，这一数值甚至超过了人类以及Vanilla GPT-4的相应值（分别为0.151和0.122）。这说明我们的修改策略对于提高文本质量具有显著的效果。
间接统计
在进行CoD的过程中，我们需要不断评估摘要的抽象度和概念融合度。随着每个步骤的推进，摘要的抽象度逐渐提升，这是由于每次新增一个实体都要求摘要进行相应的改写以腾出空间。与此同时，随着实体的不断加入，摘要的概念融合度也呈现出单调递增的趋势。此外，作者还预测，摘要中所包含的内容在原文中的分布将会发生变化，也就是说，摘要中各部分的内容在原文中的相对位置将有所调整，但这并不会改变其原有的含义。
在分析CoD摘要的过程中，作者发现摘要最初的阶段可能会呈现出一种显著的“引导偏向”，即摘要主要关注于文章的中心思想，而忽略了一些细节。然而，随着分析的深入，摘要会逐步转向关注文章的中间部分和结尾，从而使得实体逐渐融入其中。为了准确衡量这一转变，作者采用了在融合过程中对齐的结果，并对所有对齐源句进行了平均句子等级的测量。
通过实验验证，我们发现作者提出的假设是正确的：随着重写步骤的增加，文本的抽象性逐渐提高（如图左 extract 部分所示）。同时，融合率也呈现上升趋势（如图中所示）。此外，我们的研究结果表明，摘要内容逐渐融入文章的中间和结尾部分（如图右 extract 所示）。值得注意的是，所有 COD 摘要在人类编写和基线摘要的基础上，表现出了更高的抽象程度。这些发现为我们提供了有关文本抽象性和摘要撰写的重要信息，有助于我们更好地理解和改进相关领域的技术。
成果
为了更好地理解 CoD 摘要的 tradeoff，作者开展了一项基于偏好的人类研究，并使用 GPT-4 进行了基于评级的评估。
图片来自论文原文
对于人类评选：根据一定的摘要定义，让每个注释者对500个摘要样本进行评估，指出他们认为的“优秀摘要”。总的来说，61% 的第一名摘要（23.0+22.5+15.5）涉及≥3 个致密化步骤。首选 CoD 步数的中位数位于中间（3），预期步数为 3.06。
图片来自论文原文
在系统层面，一些趋势开始显现。对于4个注释者中的3个，CoD步骤1在100个示例中获得了最多的第一名投票(分别为28、43和31.4%)然而，总的来说，61%的第一名摘要(23.0+22.5+15.5)涉及>3个致密化步骤。首选CoD步长中位数在中间(3)，期望步长为3.06。
根据第3步总结的平均密度，可以大致推断出CoD候选对象的首选实体密度为~0.15。从表1中可以看到这个密度与人工编写的摘要(0.151)一致，但明显高于普通GPT-4提示生成的摘要(0.122)。
GPT-4从5个方面对COD摘要(1-5)进行评级:信息、质量一致性、归因性和整体性。表3表明，desfcat是有效的，但有一个限制，得分在第4步达到峰值(4.74)。
无文章维度:质量和连贯性，下降得更快(分别在2步和1步之后)。所有摘要都被视为归因于源文章。总体得分倾向于更密集、更翔实的摘要，第4步得分最高。从各个维度的平均来看，第一个和最后一个COD步骤最不受欢迎，而中间三个步骤接近(分别为4.78、4.77和4.76)。
定性分析：摘要的连贯性/可读性与信息量之间存在明显的权衡。为了说明这一点，在图4中，作者给出了两个CoD步骤:在其中一个步骤中，摘要得到了更详细的改进，而在另一个步骤中，摘要受到了损害。平均而言，中间的COR总结最好地实现了这种平衡，将其留。
Goval等人(2022)在新闻文章摘要上对GPT-3进行了基准测试，发现与之前的监督基线相比，人类更喜欢GPT-3摘要，不反映现有的基于参考和无参考的指标。
作者结论
作者研究了总结摘要致密化对人类整体质量偏好的影响。当摘要包含太多的实体时，很难保持可读性和连贯性。我们有开源注释的测试集以及一个较大注释的训练集，用于进一步研究固定长度、可变密度摘要的主题。
以上所有内容全部基于：《From Sparse to Dense: GPT4 Summarization with Chain of Density Prompting》一些细节内容还是需要阅读原文。
想要查看更多，欢迎关注惟研~返回搜狐，查看更多
责任编辑：
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
