这项研究围绕着一个核心实验展开，让人工智能与经验丰富的人类工程师比拼制作网络钓鱼电子邮件。研究人员给OpenAI LP的ChatGPT提供了五个量身定制的问题，引导人工智能开发针对特定行业的网络钓鱼电子邮件。
结果引入瞩目，生成式人工智能模型只需要五分钟就能够制作出令人信服的欺骗性网络钓鱼电子邮件。相比之下，作为人类社会专家的工程师们完成同样的任务则需要花费大概16个小时。
研究发现，人工智能生成的网络钓鱼电子邮件与人类对手生成的电子邮件几乎同样有效。人类工程师利用开源智能收集信息，然后利用这些信息制作出具有个人风格、情感智慧和真实感的电子邮件。人类创建的电子邮件还在邮件中加入了紧迫感，尽管具有这些优势，但是人工智能在测试中的表现仍然接近人类，这显示出人工智能在这一领域的潜力。
IBM X-Force全球创新与交付主管Stephanie Carruthers在研究报告中写道，研究结果非常显著，以至于参与者都退出了。
Carruthers解释说：“我有近十年的社会工程学经验，制作过数百封钓鱼邮件，我甚至发现人工智能生成的钓鱼邮件相当具有说服力。”“事实上，最初有三家组织同意参与这个研究项目，有两个组织在查看了两种网络钓鱼电子邮件之后就完全退出了，因为他们预计成功率会很高。”
虽然人类在实验中险胜，但研究指出，人工智能在网络钓鱼中出现不容小觑。具有网络钓鱼功能的人工智能工具出现在各种论坛上，这一事实充分说明了未来的格局。
该研究提出了几项建议，企业应考虑改进其数字防御系统，以应对人工智能生成网络钓鱼的兴起。首先是需要验证，尤其是当员工遇到可疑或意外的电子邮件时。员工不应只依赖数字证据，而应直接致电发件人，以澄清疑虑，防止潜在的问题。
建议企业修改培训模块。过去那种认为主要通过语法错误和拼写错误就能识别网络钓鱼邮件的观念，应被更细致入微的培训所取代。在员工培训中加入 vishing（基于语音的网络钓鱼）等先进技术，也能提供更全面的防御策略。
该研究还建议，企业应加强身份和访问管理系统，包括采用防御网络钓鱼的多因素身份验证机制，增加一层安全性。
Carruthers补充表示：“人工智能在网络钓鱼攻击中的出现要求我们重新评估网络安全的方法。”“采纳这些建议并在面对不断变化的威胁时保持警惕，让我们可以在当今动态的数字时代加强防御，保护我们的企业，并确保我们的数据和人员的安全。”