InboxSync

AI邮件助手未能识别不当回复，仍保持高度自信

一个名为InboxSync的个人RAG系统，旨在帮助销售人员回复邮件，出现了一个严重缺陷：即使面对不当或超出范围的输入，其置信度得分也始终保持很高（0.85）。该系统对垃圾邮件、自动回复、表示不感兴趣的邮件，甚至GDPR数据删除请求都生成了听起来很自信的回复，带来了重大风险。这一失败凸显了AI系统在没有适当人工监督或健全安全检查的情况下，自信地基于错误假设采取行动的危险性。