权威综述：GPT3.5、GPT中文版和其他AI模型在逻辑推理能力上的对比
一、GPT3.5在逻辑推理能力中的排名
在过去几年，我一直迷恋于Google的BERT模型，一直在钻研这个模型的应用。直到GPT出现后，我才开始研究GPT模型。我手头有许多逻辑题，这些题目在一定程度上可以测试模型的推理能力。在我看来，只有具备推理能力的模型才能准确地根据自身的知识来回答用户的各种问题。推理能力差的模型，往往会给出比较荒唐的回答。因此，推理能力对我来说非常重要。
接下来，我想分享一些我对几种模型进行逻辑推理能力测试的结果（测试时间为2023年4月至5月），测试基于GPT网页版。每种模型的测试环境都是使用母语，比如llama系列是使用英文进行测试。需要说明的是，这次测试仅仅针对逻辑题的推理能力，采用了zero shot的方式，即单轮对话，没有任何prompt的干预，直接向模型提问考题。如果使用了像prompt优化、cot、autocot、autogpt和tot等新一代框架，得分高的模型会表现得更好。虽然由于我的主观估计存在一些误差，但由于每次测试的是同一道题目进行横向比较，所以各个模型的差距非常明显，所以排名顺序已经准确地说明了模型推理能力的差异。
以下是我对一些模型进行推理能力测试的结果和得分：
- GPT4普通版：得分160
- Claude（一种模型）：得分108
- GPT官方网页版：得分100
- 讯飞星火：得分93
- Llama系列：得分65
- OpenAssistant Llama 30B：得分30
- GPTQ4Bit 128G：得分90
- Vicuna 13B官方8Bit：得分81
- GLM2 6B官方版：得分78
- Alpaca 30B GPTQ4Bit 128G：得分82
- Bard模型：得分75
- Alpaca 7B：得分50
- Chinese Alpaca Plus 7B：得分58
- GLM 6B：得分50
- 文心一言：得分35
二、模型的推荐和适用领域
经过这一系列测试，我得出以下结论：
首选个人电脑的离线版模型是OpenAssistant Llama 30B和GPTQ4 128G版本，这两个版本在推理能力方面表现非常优秀。
而个人电脑的离线翻译模型首选Chinese Alpaca Plus 7B，它的翻译效果接近GPT的90%。另外，GLM2 6B官方原版的翻译精度超过Chinese Alpaca Plus 7B，接近GPT的水平。这两个模型适合翻译科技文章，而且GLM2 6B官方原版还有32K的长上下文优势，适合批处理翻译和阅读理解。
对于批处理翻译和阅读理解，GLM2 6B官方原版也是不错的选择。它兼顾速度和实用性，并且母语是中文，配合中科院的GPT_Academic这个神级UI，可以批量翻译英文书籍、论文和LaTeX，还可以批量解读Python项目和其他语言项目的源代码。我每天都在使用这个模型。
对于联网模型的选择，我首推Claude模型。他在推理、翻译和总结方面都表现出色，而且还是免费的。而且，该模型在国内网络环境下能够正常使用，非常适合科研、编码、教育以及完成生产级设计和任务。
如果你追求最强大的语言模型，那么GPT4是你的不二选择。而文心一言则在推理能力方面相对较弱，我实测推理能力非常差，看到有人回答得分比GPT4还高，我真是哭笑不得。因此，个人测试结果仅供参考。
总结
GPT3.5、GPT中文版和其他AI模型在逻辑推理能力上的表现各不相同。根据我的测试结果，GPT4是当前人类最强大的语言模型，而OpenAssistant Llama 30B和GPTQ4 128G版本在逻辑推理上表现优秀。对于离线翻译和批处理翻译阅读理解，Chinese Alpaca Plus 7B和GLM2 6B官方原版是首选模型。对于联网模型的选择，Claude模型在推理、翻译和总结方面都具备领先的能力。总的来说，这些测试结果旨在帮助你更好地了解不同模型在逻辑推理能力上的差异，并为你的科研、工作和学习提供指导。
感谢你的阅读！
注：本文测试结果基于2023年4月至5月的逻辑推理能力测试，仅供参考。
相关文章
