GPT-4变懒又变蠢!传OpenAI正在重新设计GPT-4 – TechNice科技岛-掌握科技与行销最新动态

编译/庄闵棻

为了降低成本、提高回应能力,OpenAI似乎正在重新设计GPT-4。但与此同时,有很多 GPT-4 的用户都纷纷出来抱怨该人工智慧(AI)聊天机器人的性能下降问题,他们认为,最近GPT-4与前一代的推理能力和其他输出相比似乎「更懒」、「更笨」。

最近GPT-4与前一代的推理能力和其他输出相比似乎「更懒」、「更笨」。(示意图/123RF)

据外媒报导,造成此原因很可能是因为OpenAI正在对GPT-4进行所谓的「多专家学习」(Mixture of Experts, MOE)训练法。也就是把模型分成好几个较小的GPT-4 模型,让这些较小的「专家模型」都接受不同任务和主题领域的训练,如生物学家 GPT-4 、物理学家GPT-4,和化学家GPT-4等。 当 GPT-4 用户提出问题时,新系统会知道要将该查询发送给哪个专家模型。为了以防万一,新系统可能会决定向两个或多个专家模型发送查询,然後将结果混合起来。

帮助开发人员建构订制大型语言模型的新创公司Lamini 首席执行长 Sharon Zhou 就表示, OpenAI 似乎正在创建几个,行为与大型模型类似,但运行成本较低的较小 GPT-4 模型。他说:「这个想法已经存在一段时间,这自然是AI发展的下一步。OpenAI 可能正在将GPT-4转变为由较小船只组成的舰队」。

几位AI专家也在 Twitter 上发布其声称是 GPT-4 架构的详细资讯。 新创公司创始人 Yam Peleg 就在Twitter上表示,透过使用由 16 名专家组成的混合专家模型,OpenAI就能够降低成本;开发人员兼骇客 George Hotz 也提到GPT-4 的「八种混合模型」。

但这些都还没得到OpenAI的证实。艾伦AI研究所创始下兼首席执行长Oren Etzioni表示:「我推测这些猜测大致准确,但仍无法证实」。他解释说,使用 MOE 方法有三个主要的技术原因:生成更好、更便宜、更快的回应。

参考资料:Insider

※更多ChatGPT相关讯息,请参考【生成式AI创新学院】。