推荐阅读:《如何用 ChatGPT 构建你的专属知识问答机器人》by Frank Zhao
这篇文章介绍了如何使用 ChatGPT 和 fine-tune 模型来构建智能问答机器人,并提供了使用 Sealos 文档进行 fine-tune 的实例。
成本这个很有意思:
“其实最大的对比还是成本的对比,ChatGPT 由于没有 fine-tune,所以成本就只有每次问答的成本,但由于大部分时候需要带大量的 prompts,其实隐性的成本是挺高的,我们经常可以看到一个简短的问题会带有上千个字符的 prompts。
而 davinci 的 fine-tune 模型的训练成本是较高的,Sealos 文档的训练一共向专属模型中输入了 25 万多个 token,训练时间 1 个小时左右,成本 8 美元。但一旦获得专属模型后,后续的聊天中就不再需要做预检索和背景知识的 prompts 了,可以直接进行关于该领域的知识问答。不仅 token 消耗会变小,而且速度也会更快。“
看来使用 ChatGPT 和 fine-tune 模型构建智能问答机器人,提高了问答的精确度和效率。
fine-tune 模型的训练成本较高,但一旦获得专属模型后,后续的聊天中就不再需要做预检索和背景知识的 prompts 了,可以直接进行关于该领域的知识问答。
最后附上作者对未来的畅想:
”其实基于大模型的可能性真的非常多,有想象力的话可做的事情太多了,例如将自己的思想和博客作为输入,可以训练出一个包含自己想法的模型,然后给他一个定位是模仿人进行交流,那么就可以得到一个你的虚拟人了,很多情况下,对于领域 KOL,完全可以通过这种方式和粉丝互动,粉丝可以直接针对他的思想来进行提问和交流。
而对于不善写作的人,可以把自己的想法按照简单的问答对的形式输出来训练自己的专属机器人,再配合大模型本身的语言和逻辑能力帮助自己撰写包含自己思想的文章,应该也是非常不错的思路。“
文章链接:网页链接