普渡大学的一个研究小组于5月初出席计算机-人交互大会，并提交了一份报告，检查了ChatGPT回答的517个StackOverflow问题，发现错误率高达52%。调查结果显示，人类程序员在35%的情况下更喜欢ChatGPT的答案，认为其提供的内容更全面，且有清晰的语言风格；更糟糕的是，在39%的情况下，人类程序员并没有发现ChatGPT给出了错误答案。虽然这只是对ChatGPT功能的一个方面进行的研究，但它确实表明，生成式人工智能机器人仍然容易犯很多错误，而人类可能无法发现这些错误。