卡内基梅隆大学的研究人员团队着手研究大型语言模型 (LLM) 与人类书写文本风格的匹配准确度。他们的研究成果最近发表在《美国国家科学院院刊》上。 “我们人类会根据情况调整写作和说话的方式。有时我们说话正式，有时我们说话非正式，或者在不同的语境下会采用不同的风格，”统计与数据科学系的首席作者兼副教授 Alex Reinhart 说。
“我们了解到，像 ChatGPT 和 Llama 这样的 LLM 有特定的写作方式，它们不一定会适应写作风格。上下文和它们的风格实际上与人类在不同语境中通常的写作或说话方式非常不同。没有人像我们一样测量或量化这一点。”
在这项研究中，莱因哈特和他的团队通过向大语言模型学生提供各种体裁的写作摘录（如电视剧本和学术文章）来展示他们的写作方式。他们使用英语系副教授兼研究合著者戴维·韦斯特·布朗编写的代码，发现大语言模型学生和人类撰写的文本在语法、词汇和风格特征方面存在很大差异。
对于经过指令调整的模型（例如 ChatGPT）来说，这些差异最大，这些模型经过了额外的训练来回答问题和遵循指令。
研究人员表示，大语言模型使用现在分词从句的速度是人类文本的二到五倍，正如 GPT-4o 写下的这句话所示：“布莱恩凭借自己的敏捷，在拳击台上跳舞，躲避肖的重击。” 他们使用名词化的频率是人类的 1.5 到 2 倍，而 GPT-4o 使用无主语被动语态的频率只有人类的一半。这表明 LLM 被训练成以信息密集、名词为主的风格写作，这限制了他们模仿其他写作风格的能力。
研究人员还发现，经过指令调整的 LLM 拥有独特的词汇，某些词汇的使用频率远高于人类写作同一类型的词汇。例如，ChatGPT 版本使用“camaraderie”和“tapestry”的频率比人类高出约 150 倍，而 Llama 版本使用“unease”的频率比人类高出 60 到 100 倍。两种模型都对“palpable”和“intricate”有强烈的偏好。
“教师们中弥漫着很多焦虑情绪。作为一个从事计算工作并经常在英语系从事数据科学工作的人，我心想，这并不是作家真正应该做的事情，”布朗说。“我们不会只写一次。我们会一遍又一遍地写。所以，问题是：（大语言模型）能否产生看起来可信的一次性成果？
“我认为我们真正想传达的信息是，要仔细考虑在什么情况下（使用大语言模型）是可行的，”布朗说。“我关心医生的笔记是否准确。我并不关心它们是否出自医生之口。
“但如果我要写求职信，想脱颖而出，这一点就很重要了。作为讲师、作家和传播者，我们需要意识到大语言模型的特点和缺点。” 莱因哈特还指出，人们越来越担心学生使用大语言模型学位来完成作业会发生什么。
“有些人会说这就像我们以前在数学课上使用计算器一样。现在你只需使用计算器，这很棒。我们了解到，它并不完全像计算器，”莱因哈特说。“你使用计算器，它会做与你相同的数学运算，但它不会出错，也不会忘记进位。但在这里，你得到的东西与普通人写的东西不同。”
研究人员指出，需要进一步研究和更广泛地审视更多的大语言模型，以了解教学调整对这些模型的重要性和影响。博士生 Ben Markey 正在进行的一个项目涉及研究如何使用大语言模型来评估人类写作，例如学生论文，以及他们的评估有多一致。
“你能给出一个大型语言模型，比如一篇文章，然后对其进行评估吗？”布朗问道。“（马基）所做的是，不是只给大语言模型一篇文章或类似的东西，如果你给它标准，然后一遍又一遍地给它，会发生什么？它会给你相同的分数，还是每次都会做不同的事情？所以，我们也在考虑使用这些模型的其他类型的应用程序，看看我们是否能理解它们。”
评论