昨天在AI交流群里聊天，有一个让我很惊奇的发现。同为ChatGPT 3.5 turbo模型，API调用的结果，居然明显比官方web版的分析能力要低。
群友分享了几个AI智障测试的问题：
- 陨石为什么每次都能精准的砸到陨石坑?
- 眼镜没被发明出来之前眼镜蛇叫什么?
看看不同版本的程序都是怎么回答的。
一. API调用测试
先看API设置。
在设置里，我选定了是3.5 turbo模型的。这里说一下，因为这个程序是我搭建的，代码我大致看过，可以确保没有为了节省成本，暗地动手脚里换用其他模型。
先看陨石问题。问：陨石为什么每次都能精准的砸到陨石坑?
回答：陨石的路径和落点并非完全随机，因为它们是在太空中被引力场引导的物体。当一个陨石坠入大气层时，它会受到空气阻力的作用而减速，其速度和运动路径会受到空气密度和重力影响。在大气层中降落时，陨石的速度和角度会受到自身的质量和形状、来向太阳的方向等多种因素的影响，从而有可能精确地砸中陨石坑。但是，陨石在落地前的移动轨迹是随机的，因此并不是每一颗都能命中陨石坑。
先讲一堆看似专业的信息，最后没能理解陨石坑是陨石落地之后产生的。完全陷入圈套。
再看看眼镜蛇的问题。
问：眼镜没被发明出来之前眼镜蛇叫什么?
回答：眼镜蛇的名称不是因为人们带着眼镜才发现它的存在，而是因为它的头部会展开一个类似眼镜的形状来吓唬敌人或猎物。因此，眼镜蛇在眼镜发明之前就被称为眼镜蛇。
同样GPT 3.5完全没有理解眼镜蛇的命名原因。
结论1：API调用3.5，两个问题都没能避开圈套，理解问题本质。
群友们分享了其他三四个不同版本的API调用，答案都有同样问题。
二. 官网Web版测试
再来看Web版。这里居然还有一个小心机。
我之前用web版做了好几次测试。发现回答水平也不好。不像有群友说的那么智能。比如这一条，web反馈和API的一样。
再仔细看，当我新建一个聊天的时候，地址栏参数里，自动出现了text davinci 002。这是个老版本的模型！不知道为什么会被自动放在这里。
先用davinci测试一次。回答：
眼镜蛇这个名字并不是因为人们戴眼镜看到它才被起名的。相反，它是因为眼镜蛇的眼睛的形状和眼镜的形状非常相似，所以人们用这个名称来形容它们的眼睛。
在眼镜被发明之前，人们可能使用其他方式来形容这种蛇的眼睛。例如，可能会用“圆眼蛇”、“大眼蛇”或者其他类似的名称来形容它们。但是现在，我们已经习惯了用“眼镜蛇”这个名称来称呼这种蛇了。
这是不对的，因为眼镜蛇的命名是因为颈部花纹，而不是眼睛。不过这次倒是理解了命名先后的关系。
下面用个小技巧，我们把3.5 turbo的模型名称输入到网址参数里。再重新问一次。
答案：眼镜蛇是一种毒蛇，其名称来源于其头部背部上方的眼镜形斑纹。但在眼镜还没有被发明出来的时候，人们可能使用其他方式来描述这种蛇。根据不同文化和语言的习惯，这种蛇可能被称为其他的名称。例如，在英语中，眼镜蛇在被发明出来之前可能被称为“spectacled snake”，即带斑点的蛇。在其他语言中，这种蛇可能有不同的名称，如中文的“眼镜蛇”本身是在眼镜发明后才出现的。
惊喜不惊喜！这次颈后花纹的命名原因说对了！命名先后的逻辑顺序也说对了！
我也试过把GPT4加进参数。不过不出意外的，没啥效果。
看看群友们的反馈，API调用的，情况都是差不多。
三. 通过测试：官网Web – GPT 3.5和4
得出最好效果的两次测试，一是我在官网web里，用GPT 3.5得出的。
给出一个很有价值的信息，眼镜的发明是在13世纪，而眼镜蛇这个词是在之后几百年的18世纪才能追溯到。这个信息是否属实，我还没有考证。如果您有兴趣，欢迎把考证结果发在留言区。
至少他的逻辑没有跟随问题的引导，有自己独立的判断。
答案全文如下：
眼镜蛇这个词汇的起源可以追溯到18世纪，而眼镜则是在13世纪的意大利发明的。因此，在眼镜还没有发明的时候，人们可能使用其他词汇来描述眼镜蛇，例如其它语言中的名称，或是形容其眼睛形状或特征的词汇。不过，眼镜蛇的学名为Naja，因此可能在科学界中已经有了相应的名称。
另一个合格的答案，是在官网web里用GPT 4模型。确实回答逻辑非常好。答案如下：
眼镜蛇 (Naja)的名字与眼镜没有关系。它们的名字来源于它们的特征和行为，其中最著名的是其展开的颈部扇状图案，这在很多种眼镜蛇中有时被称为”眼镜”(spectacles) 。不过,在眼镜尚未被发明之前，眼镜蛇的名字可能与它们的这种特征有关，但并不直接与“眼镜”一词相关。 实际上，眼镜蛇的英文名字“Cobra”来源于葡萄牙语中的“cobra de capello”，意为“头巾蛇”这是因为它们的扩展颈部图案与当时流行的头巾相似。因此，在古代，眼镜蛇可能被称为与当地语言相关的名称，而不是与眼镜一词有关。
命名的原因逻辑正确。还给出了词语来源，直接回答问题。
除了以上的信息，这次群友众测，还有个新发现。有号称支持GPT4的高仿网站，测试之下，发现不过就是套个壳，做个噱头。以我个人的经验，目前免费提供GPT4服务，是不现实的。成本太高了。所以所有号称能免费提供服务的，建议都用这两个智障测试来试试看。
💡 要点总结：
– 两个人工智障检测问题，可以试试自己用的是不是真GPT。你也可以根据这个思路多编几个其他类似问题。
— 陨石为什么每次都能精准的砸到陨石坑?
— 眼镜没被发明出来之前眼镜蛇叫什么?
– 目前openai提供的API，和他在网站上提供的服务，用的不是同一个模型！
– openai网站上，有时候会自动调用text davinci模型。在网址参数里可以看到。
– 可以直接修改网址参数 model=gpt-3.5-turbo 来强制调用3.5
– 中文区有的号称提供GPT 4的网站，实际调用模型是3.5甚至可能是davinci。需要留心分辨