将语言直接翻译成代码,OpenAI内测AI编码器Codex( 三 )


OpenAI 的科学家们发现 , 随着功能描述中组件数量的增加 , 模型的性能呈指数级下降 。
研究人员在他们的论文中写道:“这种行为不是人类程序员的特征 , 如果一个人能够正确地为一个长度为 2 的链执行程序 , 那么他就应该能够正确地为一个任意长度的链执行程序 。”
将语言直接翻译成代码,OpenAI内测AI编码器Codex
文章图片

文章图片
OpenAI 的 Codex 无法解决需要综合多个组件的编码问题
论文也进一步暴露了 Codex 对程序结构和代码缺乏理解 。“Codex 可以推荐语法不正确或未定义的代码 , 可以调用未定义或超出代码库范围的函数、变量和属性” 。实际上 , 这意味着在某些情况下 , 即使它们并不适合在一起 , 机器学习模型会将之前见过的不同代码片段拼接在一起 。
在论文中 , 研究人员还讨论了 Codex 中的“错位”问题 , 即该模型可以解决一个特定的问题 , 但由于各种错误而不能这样做 。研究人员警告说 , 如果你的代码包含微妙的错误 , Codex 可能“故意”建议代码表面上看起来很好 , 但实际上是不正确的 。
OpenAI 的科学家观察到 , 在目前的状态下 , Codex“可能会通过提高程序员的生产力 , 在一定程度上降低生产软件的成本” , 但它不会取代软件开发人员经常做的其他任务 , 例如“与同事协商 , 编写设计规范 , 并升级现有的软件堆栈 。”
将 Codex 误认为程序员也会导致“过度依赖” , 即程序员盲目地批准模型生成的任何代码 , 而没有对其进行修改 。鉴于 Codex 可能犯的明显和微妙的错误 , 忽视这一威胁可能会带来质量和安全风险 。“安全使用 Codex 等代码生成系统需要人工监督和警惕 , ”OpenAI 的研究人员在他们的论文中警告说 。
值得一提的是 , 如果能够获得成功 , Codex 不仅会成为程序员们的好帮手 , 也有望成为用户与计算机之间的全新界面 。
OpenAI 公司指出 , 他们通过测试确定 Codex 不仅能够控制 Word , 也完全可以操作 Spotify 及谷歌日历等其他程序 。Brockman 总结道 , 虽然目前的 Word 演示只是一种概念验证 , 但微软已经对 Codex 的表现抱有浓厚兴趣 。“总体来讲 , 微软对这套模型颇为关注 , 未来应该会有更多 Codex 应用案例供大家参考 。”
参考链接:
https://www.theverge.com/2021/8/10/22618128/openai-codex-natural-language-into-code-api-beta-access
https://techcrunch.com/2021/08/10/openai-upgrades-its-natural-language-ai-coder-codex-and-kicks-off-private-beta/
https://bdtechtalks.com/2021/07/15/openai-codex-ai-programming/
来源:36氪