最近复盘了两个大模型落地项目:一个是服务企业的内部智能知识库,一个是面向C端的AI写作助手。上线前做了N轮调参、Prompt优化,测试数据亮眼,但上线1个月后用户活跃度直接掉了60%。后来深度访谈用户才发现,问题根本不在模型精度上:企业用户说模型回答太‘官方书面’,完全不符合内部同事间的沟通语境;C端用户抱怨生成的文案全是模板化套话,没有自己的风格;还有不少用户表示不知道怎么用出效果,连基础的Prompt技巧都没掌握。
其实很多时候我们把精力全放在了模型训练、调优上,却忽略了落地后用户的真实使用场景和隐性需求。想问问大家:
1. 你们在大模型落地项目中,有没有遇到过类似的用户反馈‘翻车’情况?
2. 怎么平衡大模型的通用性和垂直场景的个性化需求?
3. 有没有什么高效的方法收集和转化用户反馈,来迭代优化模型或产品?
欢迎分享你的经验和踩坑故事!