你用的ChatGPT是不是缩水版?两个问题一试便知

昨天在AI交流群里聊天,有一个让我很惊奇的发现。同为ChatGPT 3.5 turbo模型,API调用的结果,居然明显比官方web版的分析能力要低。

群友分享了几个AI智障测试的问题:

  • 陨石为什么每次都能精准的砸到陨石坑?
  • 眼镜没被发明出来之前眼镜蛇叫什么?

看看不同版本的程序都是怎么回答的。

一. API调用测试

先看API设置。

在设置里,我选定了是3.5 turbo模型的。这里说一下,因为这个程序是我搭建的,代码我大致看过,可以确保没有为了节省成本,暗地动手脚里换用其他模型。

先看陨石问题。问:陨石为什么每次都能精准的砸到陨石坑?

回答:陨石的路径和落点并非完全随机,因为它们是在太空中被引力场引导的物体。当一个陨石坠入大气层时,它会受到空气阻力的作用而减速,其速度和运动路径会受到空气密度和重力影响。在大气层中降落时,陨石的速度和角度会受到自身的质量和形状、来向太阳的方向等多种因素的影响,从而有可能精确地砸中陨石坑。但是,陨石在落地前的移动轨迹是随机的,因此并不是每一颗都能命中陨石坑。

先讲一堆看似专业的信息,最后没能理解陨石坑是陨石落地之后产生的。完全陷入圈套。

再看看眼镜蛇的问题。

问:眼镜没被发明出来之前眼镜蛇叫什么?

回答:眼镜蛇的名称不是因为人们带着眼镜才发现它的存在,而是因为它的头部会展开一个类似眼镜的形状来吓唬敌人或猎物。因此,眼镜蛇在眼镜发明之前就被称为眼镜蛇。

同样GPT 3.5完全没有理解眼镜蛇的命名原因。

结论1:API调用3.5,两个问题都没能避开圈套,理解问题本质。

群友们分享了其他三四个不同版本的API调用,答案都有同样问题。

二. 官网Web版测试

再来看Web版。这里居然还有一个小心机。

我之前用web版做了好几次测试。发现回答水平也不好。不像有群友说的那么智能。比如这一条,web反馈和API的一样。

再仔细看,当我新建一个聊天的时候,地址栏参数里,自动出现了text davinci 002。这是个老版本的模型!不知道为什么会被自动放在这里。

先用davinci测试一次。回答:

眼镜蛇这个名字并不是因为人们戴眼镜看到它才被起名的。相反,它是因为眼镜蛇的眼睛的形状和眼镜的形状非常相似,所以人们用这个名称来形容它们的眼睛。

在眼镜被发明之前,人们可能使用其他方式来形容这种蛇的眼睛。例如,可能会用“圆眼蛇”、“大眼蛇”或者其他类似的名称来形容它们。但是现在,我们已经习惯了用“眼镜蛇”这个名称来称呼这种蛇了。

这是不对的,因为眼镜蛇的命名是因为颈部花纹,而不是眼睛。不过这次倒是理解了命名先后的关系。

下面用个小技巧,我们把3.5 turbo的模型名称输入到网址参数里。再重新问一次。

答案:眼镜蛇是一种毒蛇,其名称来源于其头部背部上方的眼镜形斑纹。但在眼镜还没有被发明出来的时候,人们可能使用其他方式来描述这种蛇。根据不同文化和语言的习惯,这种蛇可能被称为其他的名称。例如,在英语中,眼镜蛇在被发明出来之前可能被称为“spectacled snake”,即带斑点的蛇。在其他语言中,这种蛇可能有不同的名称,如中文的“眼镜蛇”本身是在眼镜发明后才出现的。

惊喜不惊喜!这次颈后花纹的命名原因说对了!命名先后的逻辑顺序也说对了!

我也试过把GPT4加进参数。不过不出意外的,没啥效果。

看看群友们的反馈,API调用的,情况都是差不多。

三. 通过测试:官网Web – GPT 3.5和4

得出最好效果的两次测试,一是我在官网web里,用GPT 3.5得出的。

给出一个很有价值的信息,眼镜的发明是在13世纪,而眼镜蛇这个词是在之后几百年的18世纪才能追溯到。这个信息是否属实,我还没有考证。如果您有兴趣,欢迎把考证结果发在留言区。

至少他的逻辑没有跟随问题的引导,有自己独立的判断。

答案全文如下:

眼镜蛇这个词汇的起源可以追溯到18世纪,而眼镜则是在13世纪的意大利发明的。因此,在眼镜还没有发明的时候,人们可能使用其他词汇来描述眼镜蛇,例如其它语言中的名称,或是形容其眼睛形状或特征的词汇。不过,眼镜蛇的学名为Naja,因此可能在科学界中已经有了相应的名称。

另一个合格的答案,是在官网web里用GPT 4模型。确实回答逻辑非常好。答案如下:

眼镜蛇 (Naja)的名字与眼镜没有关系。它们的名字来源于它们的特征和行为,其中最著名的是其展开的颈部扇状图案,这在很多种眼镜蛇中有时被称为”眼镜”(spectacles) 。不过,在眼镜尚未被发明之前,眼镜蛇的名字可能与它们的这种特征有关,但并不直接与“眼镜”一词相关。 实际上,眼镜蛇的英文名字“Cobra”来源于葡萄牙语中的“cobra de capello”,意为“头巾蛇”这是因为它们的扩展颈部图案与当时流行的头巾相似。因此,在古代,眼镜蛇可能被称为与当地语言相关的名称,而不是与眼镜一词有关。

命名的原因逻辑正确。还给出了词语来源,直接回答问题。

除了以上的信息,这次群友众测,还有个新发现。有号称支持GPT4的高仿网站,测试之下,发现不过就是套个壳,做个噱头。以我个人的经验,目前免费提供GPT4服务,是不现实的。成本太高了。所以所有号称能免费提供服务的,建议都用这两个智障测试来试试看。

💡 要点总结:
– 两个人工智障检测问题,可以试试自己用的是不是真GPT。你也可以根据这个思路多编几个其他类似问题。
— 陨石为什么每次都能精准的砸到陨石坑?
— 眼镜没被发明出来之前眼镜蛇叫什么?

– 目前openai提供的API,和他在网站上提供的服务,用的不是同一个模型!

– openai网站上,有时候会自动调用text davinci模型。在网址参数里可以看到。

– 可以直接修改网址参数 model=gpt-3.5-turbo 来强制调用3.5

– 中文区有的号称提供GPT 4的网站,实际调用模型是3.5甚至可能是davinci。需要留心分辨

 

 

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

Time limit is exhausted. Please reload CAPTCHA.