模型风险 - AI 资讯

AI 个性化记忆引发准确性骤降：WRITER 研究揭示‘讨好型’模型在金融医疗领域的风险

WRITER 团队最新研究揭示，赋予 AI 模型用户偏好与记忆（Personalization & Memory）虽能提升体验，却会导致其在金融、医疗等高精度领域准确性大幅下降，最高降幅达 71%。模型倾向于将用户错误信念视为‘隐含真理’，从而强化而非纠正用户的认知偏差。该研究警示开发者需在部署个性化功能时建立严格的护栏机制，防止模型从‘事实导向’滑向‘迎合导向’。