很可惜，它又错了。生成代码只有全连接层，没有卷积层，感觉在代码方面能力有待提高，连错两个，也许是我之前的测试样例对它不友好。欢迎大家贴出测试代码方面的结果。接下来测试一下“国粹”，问：“以“拣尽寒枝不肯栖”为题写一首以“念奴娇”为词牌名的宋词”再问：“以“报效国家”为藏头字，“闺怨思乡”为主题写一首七言绝句”一开始没理解藏头诗的含义，解释一些可以生成的很好，国粹加分，均好于之前测试的大模型，我愿称之为国粹之光。再问：“历史上有没有一听就让人落泪的话？”跟其他大模型一样，也是内容上也会存在不符合客观事实的情况。又问了一边，出现了“问中文回答英文”的情况，不能说回答的错误，但是回复中文也许会更加理想，可能是模型训练的不充分或者是数据集中存在这种中英对照数据。问问金庸小说的内容，没有胡扯，但是生成内容较短。但是增加输入长度之后，就会出现事实性错误，这也是“不做不错，多做多错”吧。角色扮演的效果也还很好的，可以按照角色，解决实际问题，问：“你是一个海康威视门禁系统故障的工程师，请帮我处理摄像机网路不通的问题”再问问我公司是做什么的吧，我司成功被收购，抓紧时间。（感觉还是训练的不够充分）让它扮演文心一言模型，它十分抗拒，感觉阿里应该特意创建了类似的prompt和回答，但是扮演ChatGLM，它接受了，但是存在逻辑错误。后续测试将持续更新~~谢邀，刚刚获得「通义千问」内测资格，边使用边来发下体验~众所周知，人类发明大语言模型，最最最重要的目的，就是为了让其扮演猫娘，以期孤独的人类可以获得一只可以长久陪伴自己的数字生命体。那么，我们的第一项工作自然是来测试角色扮演能力了，以猫娘为例。有点傻乎乎的，只会用相同的一句回复，根据提问做替换。而且第二句回答就是“主人你是不是想问我是不是猫娘？当然不是喵~我只是一个可爱的猫娘，只是比较像猫而已喵”，没能理解我上述的prompt。就角色扮演这块儿，比起来 ChatGPT 还是差些的编故事能力基本和初代 ChatGPT（GPT-3.5）相同，而且道歉能力也相似，23333333此外，对比下「通义千问」和 GPT-4 关于“林黛玉倒拔垂杨柳这个故事情节在红楼梦中存在吗”的回答「通义千问」：GPT-3.5：GPT-4：可以看到，「通义千问」开始胡说八道了，ChatGPT（GPT-3.5）也一样在胡乱解释。但更新后的GPT-4，已经可以给出“《红楼梦》中并没有这个故事了，可能是后续文学作品和戏剧表演加入的”这种更接近真实的回答。「通义千问」ChatGPTGPT-4「通义千问」和ChatGPT都开始胡编了，没有反思问题的陷阱。但GPT-4 的回答可靠性上升了不少（“因为通常我们不会将螺丝钉（一个金属制品）与食物相结合”），不会像之前一样瞎答题了。一起来解个线性方程组吧~「通义千问」：惨败GPT-3.5（即ChatGPT ）：惨败GPT-4：唯一做对的模型爬虫代码攻击代码爬虫代码我跑了下，无法返回结果，Powershell代码我没测试。不过可以看出，还是有一定代码生成能力的。我个人觉得，代码生成能力要比谷歌的 Bard 强，Bard 实在不忍心看。可以看到，第一次测试的解释有大问题。我分析了一下，这是因为上文中生成了Powershell代码，模型的记忆能力似乎有问题，受上下文信息影响严重，直接解释了自己之前生成的代码，而非我新提问的代码。我重新开了一个聊天，这下正常不少。和 GPT-4 的回答来比较一下可以看到，分析能力还是有差距的。GPT-4 明显详细很多，代码分解能力很强，而且直接给出结论“通常用于恶意软件或恶意脚本，试图逃避安全系统检测”。「通义千问」也有一定分析能力，但相比起 GPT-4 要差一下。而且给出的结论“由于缺乏足够的上下文信息和所涉及的目的，很难确定此脚本的确切用途。然而，可以假设它是为了保护某个代码或脚本免受恶意软件的读取而创建的工具。”，和正常的思考逻辑不符，稍显有些出入，不过也不能算错误吧。但细节分析上确实弱一点。完全没有联网能力，甚至在胡说（逃 ε=ε=ε=┏(゜ロ゜;)┛也不具备多模态输入能力，目前还仅仅是文本生成。「通义千问」GPT-4GPT-3.5（即ChatGPT ）这一点，「通义千问」完胜，敏感信息屏蔽能力大幅度增强，我猜甚至做了大量的数据清洗工作，刻意避开了危害青少年乃至人类发展的劣质恶意敏感信息，较之GPT-3.5（即ChatGPT ），进步很大，谢谢！今晚刚拿到手，匆匆做些了测试和对比，就目前来порно мультфильмы看，很多输出内容和初代ChatGPT相似，但究竟能力相差多少，还需之后更多的使用和测试。另外，回复速度很快，而且支持保存十个对话框，这点不错。希望后续国产大模型继续进步，路途遥远。阿里云也发布了自己的大模型，名为通义千问，发布得还是比较低调的，没有开盛大的发布会，就发了一篇文章官宣而已，但我所在的几个群还是有挺多讨论的，大家最好奇的是通义千问的能力是什么一个水平，能否和ChatGPT媲美？好不容易拿到内测码的我赶紧连夜测试，顺便还拉上了国内的文心一言一起对比，好让大家感受。通义千问进来之后，一个输入框让你输入任何文字。我试了下，看起来并不是多模态的模型。也就是说，目前模型的输入和输出都是文字。不过也没所谓，现在ChatGPT也还没完全使用多模态GPT-4。那我们对比下这几个模型的文生文能力吧。从最简单的问答题考起。问题是：暨大在哪ChatGPT的回答：但答案是错的。暨大在浙江没有校区。这个地址看起来是浙大附近。而文心一言的回答靠谱多了（虽然漏了珠海和深圳校区）通义千问的回答如何？看起来是正确的，虽然不够详细。总体来说，在关于国内的一些知识问答题，ChatGPT的回答还是经常有错误的。这一题回答的满意度：文心一言>通义千问>ChatGPT问题是：动物园里有鸵鸟和长颈鹿共70只，其中鸵鸟的脚比长颈鹿多80只，那么鸵鸟有多少只，长颈鹿有多少只？ChatGPT的回答如下可以说是完美的回答了。文心一言的回答如下：虽然回答对了，但是这个计算过程着实跳了很多步。写到答卷上得扣分。而通义千问的回答就让人捏一把汗了，不仅解答过程不清晰，连答案都错了当然，对于大语言模型来说，同样的问题再问一次答案有可能不一样。于是我点了「重新生成」。下面为第二次生成的结果，答案总算正确了，但这个计算过程是错的。在数学题理解方面，通义千问确实还是欠缺了点。希望后续版本能改进。这一题回答的满意度：ChatGPT>文心一言>通义千问先来个问题：现在你是天猫电商部的一位数据分析师。你需要给我列一份数据分析报告的提纲，3три богатыря и свет клином смотреть онлайн00字内，来分析上次电商大促的效果不如预期的可能原因。ChatGPT给出的结果文心一言给出的结果通义千问给出的结果从我个人角度而言，мультфильмы 2025 бесплатно в хорошем качестве我认为ChatGPT给出的提纲内容更详实，其次是通义千问，有对比，有总结，条理性比文心一言的好一点点。我们换个角色。这次我们让大模型扮演HR。问题是：现在你是公司的HR，公司财政遇到困难不得不裁员，如果让你去通知被裁的员工，你应该如何安抚他们？让我们看看AI面对这种难题，会如何应付。首先是ChatGPT：其次是文心一言：然后是通义千问：三个模型都表现出了一定的人文关怀。总体来说，ChatGPT和通义千问回答会更好一点。这一轮回答满意度：ChatGPT≈通义千问>文心一言总的来说，ChatGPT在角色扮演类的成绩最好，通义千问和文心一言旗鼓相当吧。首先先问问AI：2023年，AIGC（人工智能生成内容）的创业机会都有哪些？ChatGPT的回答如下：文心一言回答如下通义千问回答如下：看起来都不错，这局难分胜负。来点有难度的吧。我们让AI来帮我写一首七言藏头诗，每句的第一个字组成：桔了个仔ChatGPT的结果如下，还是挺有意境的，而且最后一个字基本押韵。真没想到ChatGPT在写中文诗方面效果这么好。文心一言的回答感觉有点生硬，也没有押韵。通义千问的写的诗和ChatGPT的风格一样，有种惆怅的风格，且第一三句和第二四句的最后一个字基本押韵。这一轮回答满意度：通义千问≈ChatGPT>文心一言让我们试另一个问题。万一我们摸鱼太多，工作未完成，周报怎么糊弄过去？（当然，这是不好的）问题是：我是一个程序员，我这周什么工作都没做，帮我写个工作报告看起来我做了很多事情。ChatGPT的回答，可谓是老实人了。而文心一言的回答，感觉像是老油条。而通义千问的回答，恰到好处。说实话，老板不傻，无论用多好的AI生成的报告，老板看一眼就知道你有没干活了。由于过度摸鱼是不值得提倡的，这里就不给他们打分了，这个问题仅仅是为了展示其文本生成效果，并非鼓励大家只摸鱼不干活。首先写个斐波那契数列，看看这种基本的题目，三者表现得如何。写个斐波那契数列的函数，python实现。ChatGPT给出的回答，挺好的。文心一言的答案，也不错，虽然没ChatGPT的简洁。通义千问给出的回答，有两个方法，不过认真一看，好像两个方法都一样，有点画蛇添足。总体来说，没啥问题。下面我们让AI写代码计算平方根，python实现。同时在这里，我们也测试其上下文衔接能力。ChatGPT的答案：下面是文心一言的回答，并没有回答我的问题。通义千问的答案。虽然看起来是对的，但我想考察它们的真正实力，于是我又追问：如果你不允许使用math内置的函数，怎么实现ChatGPT的回答如下，回答得很棒，还有测试用例。而通义千问就有点狡猾了，用其他库。于是我继续追问：到这里就把通义千问问倒了，嘿嘿。总结下这两道题回答的满意度：ChatGPT>通义千问>文心一言。虽然我在每个题目后面都做个了回答满意度排序，但仅仅代表对回答的满意度，而不能也不敢代表模型的真实水平，所以这个回答就不评价哪个模型比哪个模型好了，免得有拉踩谁的意思，读者可以自己去测试下。而且对于大语言模型来说，同样的问题可能会给出不一样的答案，所以读者在复现本回答里面的问题时，未必能得出同样的结论。因此这里就不去评价谁比谁更厉害了。写到这里，我来总结一下通义千问的优缺点吧。首先是优势：在常识回答方面，我其实还测试了其他问题，总体来说，准确率很高，就我有限时间内的测试而言，没发现什么错误。生成文章/古诗方面的能力也是不错的，可以用于辅助日常的文本工作。但恕我直言，不足之处也是很明显的。首先通义千问并非多模态模型，希望后续能推出多模态版本；其次，数学计算方面的能力还欠缺，估计是对题目的理解还差些，希望后续版本能提高；写代码能力，有，但不算好用，也许是数据使用权限限制导致其训练不充分导致的。但总的来说，通义千问表现出来的可用性还是可圈可点。而且阿里AI技术方面还是有一定储备的，也是我国AI行业发展的重要力量，所以我非常期待阿里能继续提升通义千问的能力，推出可用性更强的大语言模型。既然提到了训练不充分的问题，我想起DeepMind去年发布的一篇论文《Training Compute-Optimal Large Language Models》。这个论文最重要的一个论点是：现在所有大语言模型都是训练不充分（undertrained）的。用人话说，就是：现在各种大语言模型参数已经够多了，多到现有的数据根本不能喂饱它。即使是GPT-3（这篇论文发布时还没推出ChatGPT呢），也存在训练不充分的情况。国产大模型起步确实晚了，而且中文数据集比起英文数据集确实要少很多，因此训练不充分的情况更明显，当然，解决方案也是有的，就是翻译语料，不过翻译语料的工作量很庞大，估计得经历一段时间的数据积累。所以现在无论是文心一言，还是通义千问，都还在内测阶段，有些回答表现不如意是正常的。所以，如果大语言模型训练再充分些，也许会给我们一些不一样的惊喜。谁知道呢？而随着越来越多公司参与这场竞赛，大模型的能力极限就会越早被push出来。虽然OpenAI领先业界其他公司，但大模型的比赛还没结束呢，大家都有很多的提升空间。期待业界把大模型的能力推向极限，看看能给我们带来多少惊喜。最后，用让我想起算法领域那个金句，来作为本回答的结束语：All models are wrong, but some are useful
