蒙大拿大学及其合作伙伴的最新研究表明,在创造力标准测试中,人工智能可以与人类思想家中排名前1% 的人相媲美。

人工智能测试原创创意思维进入前1%

该研究由密歇根大学商学院临床助理教授 Erik Guzik 博士指导。他和他的合作伙伴使用了托伦斯创造性思维测试,这是几十年来用于评估人类创造力的著名工具。

研究人员提交了由 ChatGPT(该应用程序由 GPT-4 人工智能引擎提供支持)生成的 8 个响应。他们还提交了由 24 名参加 Guzik 创业和个人理财课程的 UM 学生组成的对照组的答案。这些分数与 2016 年参加 TTCT 的全国 2,700 名大学生进行了比较。所有提交的成绩均由学术测试服务机构评分,该服务机构并不知道人工智能的参与。

结果将 ChatGPT 评为创造力精英公司。人工智能应用程序在流畅性(产生大量想法的能力)和原创性(提出新想法的能力)方面名列前茅。在灵活性、产生不同类型和类别想法的能力方面,人工智能略有下降——下降到了第 97 个百分点。

“对于 ChatGPT 和 GPT-4,我们首次表明它的原创性位于前 1%,”Guzik 说。“那是新的。”

他很高兴地注意到他的一些 UM 学生的成绩也进入了前 1%。然而,ChatGTP 的表现优于全国绝大多数大学生。

古兹克在春季学期测试了人工智能和他的学生。他的工作得到了UM Western大学的Christian Gilde和维尔纽斯大学的Christian Byrge的协助。研究人员于五月在南俄勒冈大学创造力会议上展示了他们的工作。

“我们在会议上非常小心,没有过多地解释数据,”古兹克说。“我们刚刚公布了结果。但我们分享了强有力的证据,表明人工智能似乎正在发展与人类能力相当甚至超过人类的创造力。”

Guzik 表示,他询问 ChatGPT 如果在 TTCT 上表现良好,会表明什么。人工智能给出了强有力的答案,他们在会议上分享了这一点:

“ChatGPT 告诉我们,我们可能无法完全理解人类的创造力,我相信这是正确的,”他说。“这还表明我们可能需要更复杂的评估工具来区分人类和人工智能产生的想法。”

他说 TTCT 是受保护的专有材料,因此 ChatGPT 无法通过访问互联网或公共数据库中的测试信息来“作弊”。

古兹克长期以来对创造力很感兴趣。作为在马萨诸塞州帕尔默小镇长大的七年级学生,他参加了一个针对才华横溢的学生的项目。这段经历让他了解了埃利斯·保罗·托伦斯 (Ellis Paul Torrance) 开发的未来问题解决流程,埃利斯·保罗·托伦斯是心理学家先驱,也是 TTCT 的创建者。古兹克说,他当时就爱上了头脑风暴以及它如何挖掘人类的想象力,并且他仍然积极参与未来问题解决组织的活动,甚至在该组织的一次会议上见到了他的妻子。

Guzik 和他的团队在过去一年尝试过 ChatGPT 后决定测试它的创造力。

“我们一直在探索 ChatGPT,我们注意到它做了一些我们没有想到的有趣的事情,”他说。“有些回应是新颖且令人惊讶的。就在那时,我们决定对其进行测试,看看它到底有多有创意。”

古兹克说,TTCT 测试使用模仿现实生活中的创造性任务的提示。例如,您能否想到产品的新用途或改进该产品?

“假设这是一个篮球,”他说。“尽可能多地想象篮球的用途。您可以将其射入篮筐并在显示器中使用它。如果你强迫自己思考新的用途,也许你会把它切碎并用作花盆。或者用砖块可以建造东西,或者可以用作镇纸。但也许你会把它磨碎并改造成全新的东西。”

Guzik 期望 ChatGPT 能够善于创造大量想法(流畅),因为这就是生成式 AI 所做的事情。它擅长用许多在评估者眼中相关、有用和有价值的想法来响应提示。

更令他惊讶的是它能如此出色地产生原创想法,这是人类想象力的标志。测试评估人员会收到针对提示的常见响应列表 - 几乎预计会提交的响应。然而,人工智能在提出新的回应方面名列前茅。

“在会议上,我们了解到一年前完成的 GPT-3 先前研究,”Guzik 说。“当时,ChatGPT 在涉及原创思维的任务上得分不如人类。现在有了更先进的 GPT-4,它已跻身所有人类反应的前 1% 之列。”

随着人工智能进步的加速,他预计它将成为未来商业世界的关键工具,以及地区和国家创新的重要新驱动力。

“对我来说,创造力就是以不同的方式做事,”古兹克说。“我喜欢创业的定义之一是,成为一名企业家就是要以不同的方式思考。因此,人工智能可以帮助我们将创造性思维的世界应用到商业和创新过程中,这对我来说很着迷。”

他表示,密西根大学商学院对人工智能教学持开放态度,并将其纳入课程作业中。

“我认为我们知道未来将以某种方式包含人工智能,”古兹克说。“我们必须谨慎对待它的使用方式,并考虑所需的规则和规定。但企业已经将其用于许多创造性任务。就创业和区域创新而言,这是一个游戏规则改变者。”