ChatGPT「代码解释器」Code Interpreter


ChatGPT「代码解释器」正式解禁!30秒图片变视频,动嘴做表 | 十大惊人魔法全集

  新智元报道

  编辑:桃子拉燕

【新智元导读】坐等 3 个多月,ChatGPT「代码解释器」(Code Interpreter)终于全面开放了,一大波魔法来袭。

  家人们,终于来了!

  刚刚,ChatGPT「代码解释器」(Code Interpreter)测试版正式向所有 Plus 用户开放。

图片

  OpenAI 的科学家 Karpathy 对此还宣传了一波,代码解释器测试版相当强大。

  它是你的个人数据分析师:可以读取上传的文件、执行代码、生成图表、统计分析等等。我预计社区将需要一些时间来充分展示其潜力。

图片

  前段时间,GPT4 能力下降在网上引起轩然大波,甚至有人只觉得它比 GPT3.5 强一点点。

  而现在,代码解释器让人们再次感觉到,那个熟悉而且强大的 GPT-4 又回来了!

  插件一上线,许多网友纷纷上手实测了一番。

图片

  功能解禁  

  那么,「代码解释器」究竟能做什么?

  30 秒,图片变视频

  这不,有网友竟用 ChatGPT 把图片变成了视频。这效果简直比 Midjourney、Runway 还炸裂。

图片

  这是如何做到的?网友给出了全套教程。

  第一步:打开「代码解释器模型」。要启用它,请进入设置 -> 测试版功能 -> 代码解释器。

图片

  步骤二:

  从下拉菜单中选择「代码解释器」选项。然后,上传你想做动画的图片。

图片

  步骤三:

  我想展示一家豪华餐厅的一些食物。因此,我要求 ChatGPT 将这个食物图片从左到右制作成动画。通过修改我的 GPT 提示(见下文),你可以创建你自己的动画。

图片

  具体 prompt 如下:

图片

  步骤四:

  按回车键。30 秒后,ChatGPT 会给你一个视频的下载链接。

图片

  联合创始人 Greg Brockman 转发称,在不可能记住 ffmpeg 调用的情况下,用于图像转换的代码解释器。

图片

  事实证明,「代码解释器」确实很牛,现在截个视频,只需要一句话就能搞定了。

图片

  「有一定内存容量限制,不过处理小文件是没问题了。刚扔给 TA 4 秒钟的 gen-2 视频,截取前两秒,没问题,迅速搞定。

  会自动试验合适的代码,如果要编程序也完全可以先扔给 ta 某一文件提出要求,然后看看 ta 提供出来的代码」。

图片

  PDF 转图片

  国内知名互联网科技博主「宝玉」用「代码解释器」实现了把 PDF 转成图片。

图片

图片

  以往需要将每页内容合并成一张图,而现在,一个 prompt 就搞定了。

图片

  GIF 变视频

  图片变视频之外,还可以实现 GIF 变视频。

  网友给 ChatGPT 的提示为:我上传一个 GIF,你给我一个 5s 的 MP4,用一个故事性镜头缓慢放大。

图片

  上传 GIF

图片

  最后 ChatGPT 立即生成了视频

图片

  此外,ChatGPT 还能做个「矩阵」GIF 出来。

图片

图片

  生成 QR 码

  在前两天,OpenAI 宣布 ChatGPT「代码解释器」即将全面开放。

  就展示了一个能够生成 QR 码的例子,短短一句话,简直动嘴就能完成任务。

图片

  「口袋」数据分析师

  代码解释器最大的用例就是进行数据分析。

  比如,让它分析各国预期寿命数据,世界上最大的城市,(可上传 CSV、word、PDF 或视频文件)

图片

  然后,与数据交谈,问任何你可能想问的问题。

  或要求从数据中提取独特的随机趋势,以获得惊喜。

  比如,从两个数据中找出独特的趋势,并以表格的形式显示出来。

图片

  最后一步,可视化。

  把数据变成你想要的任何图表或图形。最重要的是,只需点击一下完成。

  比如,生成一个散点图,说明一个国家的人均 GDP 和其平均预期寿命之间的关系。

图片

  看到这么强大「数据分析师」,网友又开始 R.I.P 了。

图片

  使用指南  

  「代码解释器」怎么用?来自沃顿商学院的一位教授 Ethan Mollick 专门为此写了一篇指南。

图片

  首先,Mollick 就指出,Code Interpreter 这个名字的起法延续了 OpenAI 给他们自己的产品起烂名儿的悠久传统。

  因为——虽说它叫「代码解释器」,但实际上它对那些根本不懂编程的人最有用。

  本质上,「代码解释器」能让 GPT-4 上传和下载信息,并为用户编写和执行程序,这使得 AI 能够做到以前无法做的各种事情。

  具体来说,它为 AI 提供了一个解决问题的通用工具箱(通过用 Python 编写代码)、超大内存(最大 100MB,可以是压缩形式),且用户可以把这个工具箱集成到 AI 里面,发挥 LLM 的优势。

  这有助于解决以前版本的 ChatGPT 存在的许多问题。比方说,

  它允许 AI 处理数学(哪怕很复杂),还能更准确地处理单词(例如实际计算段落中的单词),底层原因就是,它可以编写 Python 代码来解决 LLM 在数学和语言方面的天然弱点。

  比如像下图这样。

图片

  可以看到,「代码解释器」能准确计算出段落中单词的数量。

  此外,「代码解释器」降低了幻觉和瞎编乱造的发生机率。

  当人工智能直接使用 Python 时,代码有助于让它「诚实」。道理也很简单,如果代码不正确,Python 就会报错。由于代码操作的是数据,因此 AI 不会在数据中插入错误信息。

  当然,这并不完美。AI 仍然有概率会产生幻觉,但其实这并不常见,并且不太可能影响到代码或者数据本身。

  这样一来,AI 就更加靠近通用人工智能了——大量问题可以通过代码来解决。

  而且,GPT-4 非常擅长以新颖有趣的方式来决定什么时候用「代码解释器」。

  Mollick 举了个例子,假如他让 GPT-4 向用户证明地球是圆的,那么就会用上「代码解释器」,提供了多个论证,将文本与代码和图像结合在一起。

图片

  此前,各个专业需要编程的人都得会点儿写代码,但写完了还得自己调试。就算之前的 AI 能提供点儿帮助,但是对于没有 Python 学习基础的人来说,还是挺难,得借助 AI 的力量反复修改代码。

  而现在,有了「代码解释器」,AI 就能自己纠错并且 Debug 了!

  接着,Mollick 又讲了如何用「代码解释器」来处理数据,这算是真实戳中大量用户痛点了。

  Mollick 表示,「代码解释器」的运行水平非常先进,可以自动处理许多复杂的定量分析,并且能够采用非常复杂的数据方法。

  用户只需点击加号即可轻松上传数据,甚至是 ZIP 文件等压缩数据。

图片

  同时,在提供数据时,用户能给个 prompt 就最好了。然后,AI 就可以从上下文里找出数据含义和结构了!

  此外,Mollick 指出,在使用「代码解释器」时,用户更多的是在和 AI 进行「对话」,并不需要绞尽脑汁写一个又严谨又凝练的 prompt 出来。

  就像和一个数据分析师聊天一样,和人怎么交谈,就怎么跟「代码解释器」沟通。

  但是这里有两个特殊情况,还是需要写个类似 prompt 的东西。

  一个是 AI 有时候会不记得自己能干什么,此时就需要一个 prompt 来给 AI 点醒。

  比如:「你可以制作 GIF,请尝试一下。」

  另一种情况是在用户对结果不满意的时候,可以通过 prompt 来让「代码解释器」对结果进行优化。

  比如:「请对该结果进行进一步的测试」,或者,「能不能让这个图表更好一点」。

图片

  在加载完数据以后,GPT 就可以执行数据合并和清理的操作了。具体处理方式相当复杂,但就像上面所提到的一样,只要把「代码解释器」当做一个和你面对面的数据分析师就好了。

  同时,Mollick 提醒广大用户,AI 在自我纠错并改正以后最好还是查一下结果,万一出错呢。

图片

  紧接着 Mollick 实操了一下,他让「代码解释器」搞个预测建模出来,预测超级英雄可能会有什么超能力。

  可以看到,「代码解释器」构建了一个随机森林分布器。

图片

  当然,在实操过程中,用户还是得和 GPT「多沟通」。Mollick 就不想让 AI 用数值数据的方法来估算缺失的数据,Mollick 想直接放弃掉没有的部分。

  但他指出,也可以和 GPT 说,让它换个别的处理方法。

  之后,Mollick 给 GPT 输入了一个「你可以进行另一个复杂和有趣的分析吗」的 prompt。他表示,「代码解释器」选择的一些分析方法让他印象深刻。

  就像下图这样。

  「代码解释器」巧妙地分析了超级大国的网络情况。可以看到,方法多样,而且非常有意思。

图片

  「代码解释器」最令人印象深刻的应该就是其推理能力了。Mollick 概括为,非常「人性化」。

  另外,可视化的交互性水平依然在线,且在不断提升。用户可以不断让 AI 来改进或者更改输出的内容。

  Mollick 让 AI 创建了一个交互式表格,包括 6 个图表,其中还有一个是 3D 的。

  为了让图表更加美观,Mollick 不断输入 prompt,调整结果。

  最终成果就像下图右边这样。

图片

  十大惊人魔法

  网友 @GPTDAOCN 近日总结了 ChatGPT 十大令人震惊的用例:

图片

代码解释器的可视化

  1. 将 GIF 转换为 MP4:可以将动态图片(GIF)转换为视频文件(MP4)的功能,使你更方便地分享和使用。

  2. 创建各种图形:你可以利用这个功能来生成各种如柱状图、折线图、饼图等图形,直观地呈现和分析你的数据。

  3. 从图像中提取颜色以创建 PNG 调色板:这个功能可以从任何一张图像中提取主要颜色,然后生成一个 PNG 格式的调色板。

  4. 清洗数据以生成深入的可视化:如果你有一些混乱的数据,这个功能可以帮你进行清洗和整理,再将其转换为清晰的可视化图形。

  5. 将 CSV 文件转换为 GIF:这个功能可以将 CSV(逗号分隔值)文件中的数据以动态的方式展示,生成一张 GIF 图。

  6. 分析歌单以概括你的音乐品味:你可以利用这个功能来根据你的音乐歌单进行分析,从而概括你的音乐品味。

  7. 将你的数据集转换为一个完全功能的 HTML 网站:这个功能能将你的数据快速转换成一个功能齐全的网站,方便你进行展示和分享。

  8. 创建可下载的股票数据集:这个功能能帮你创建一份股票数据集,并且这个数据集是可以下载的,方便你进行更深入的分析和研究。

  9. 将图像转换为文本文件:如果你需要从图像中提取文字,这个功能可以帮你将图像中的文字转换成文本文件。

  10. 对未格式化的数据进行详细分析:对于那些没有规定格式的原始数据,这个功能能帮你进行深入的分析,以获取有价值的信息。

  其实,代码解释器的用例远不止这些。

  网友点评  

  我正在尝试 ChatGPT 代码解释器。到目前为止,我只能建议「每个开发者现在就开始研究它」。

图片

  Code Interpreter 断了多少人的生路?太多行政每天低效率的处理数据,现在只需要自然语言就可以办公自动化。

图片

  参考资料:

  https://twitter.com/karpathy/status/1677512911953231874

来自: 新智元