语言模型测试系列【9】

作者 : admin 本文共785个字,预计阅读时间需要2分钟 发布时间: 2024-06-5 共3人阅读

语言模型测试系列【9】插图

语言模型

  1. 文心一言
  2. 讯飞星火
  3. 通义千问2.5
  4. 豆包
  5. 360智脑
  6. 百小应
  7. 腾讯元宝
  8. Kimi
  9. C知道

好长时间没有做语言模型的测试了,一方面是没有好的素材,各模型都在升级优化,而且频率很高;另一方面近期在阅读和学习其他的知识,所以更的也少了。本次发布的文章同时更新了部分大模型的称呼。

提问及回答

问题:Qwen1.5-7B-Chat
说明:对,没错,问题就是这个千问的语言模型,最近在研究语言模型这款的搭建和使用,不经意间就想问Qwen1.5-7B-Chat相关的内容,但不知道从何问起,于是就只是把模型名输出来,让个各大模型来给我提供一些灵感了。

文心一言

语言模型测试系列【9】插图(1)

讯飞星火

语言模型测试系列【9】插图(2)

通义千问2.5

语言模型测试系列【9】插图(3)

豆包

语言模型测试系列【9】插图(4)

360智脑

语言模型测试系列【9】插图(5)

百小应

语言模型测试系列【9】插图(6)

腾讯元宝

语言模型测试系列【9】插图(7)

Kimi

语言模型测试系列【9】插图(8)

C知道

语言模型测试系列【9】插图(9)
语言模型测试系列【9】插图(10)

对比分析

这次的的对比很明显的豆包文心一言讯飞星火胜出,这两个大模型的回答都很准确,而且回答内容各有千秋,都能用上,特别是豆包的理解过程,提供出了搜索来源;而文心一言后面有度娘这么大一搜索平台支撑,确没有提供出这点功能展示,着实有点小失落;讯飞星火提供的摩搭平台的资料来源,着实是一大助力,对搭建模型的研究来说,很是及时。

至于腾讯元宝把这个模型占为己有的做法。。。,这里就不做评论了,貌似腾讯的好多应用都有类似案例

其他模型嘛,除了C知道的回答里可以转成“思维导图”的设计,着实是一个亮点。

从上面几个大模型的回答,从主观意识上对比如下:

模型名称回答内容
文心一言准确
讯飞星火准确
通义千问2.5没回答出来
豆包准确
360智脑没回答出来
百小应没回答出来
腾讯元宝回答错误
Kimi没回答出来
C知道没回答出来

总结

对于当前搜索模型的需求来说,讯飞星火提供的摩搭资源链接,确实是很不错的回答;其次就是豆包的搜索来源提供,可以让我们更方便的有据可循、追本溯源。
文心一言,我觉得可以多借鉴一下其他模型,继续优化自身,当然了,因为3.5是免费的,咱也没再测4.0版本,兴许做的更好呢。 ^v^

加油~~~

本站无任何商业行为
个人在线分享-虚灵IT资料分享 » 语言模型测试系列【9】
E-->