调查问卷的两个陷阱:诱导性问题和幸存者偏差

浏览量:25 次

我们在测试一个产品时候,会通过用调查问卷方式看看用户对产品喜好程度和看法,但你调查真有用吗?你调查有没有踩坑呢?

收集回来几千份问卷,你有没有想过有可能数据是无效?访谈了几百位用户,你有没有想过你做可能是无用功?问题在哪?

你不会问问题!

坑1 你喜不喜欢我们产品?

当你查看这个问题数据时,你欣喜地发现99%用户都选择了“是”,于是你屁颠屁颠地去告诉老板“我们家产品,用户很喜欢”,并且拿出数据给老板看,老板一开心,砸了几十万广告费,结果打了水漂。

误区1 诱导性问题

人,皆有怜悯之心。当你问出这个问题时候,其实跟你去跟暗恋人表白说“你喜不喜欢我”一样,你潜台词是“我喜欢你,我希望你最好也喜欢我”,你实际上在告诉用户,“我希望你喜欢我,赶紧选喜欢”。用户想,既然你这么恳求,那么用户就会“我稍微勉为其难地看在你面子是给你个好评吧”。

结果会怎样?或者我这么问,两个人勉强在一起能幸福吗?

类似

这个服务1块钱,你能接受吗?我们打算新推出一个功能,你会用吗?

如何破?

其实,你会发现,很多类似问题选项都是“非此即彼”,第一个很简单方法就是:不要使用“是不是”、“喜不喜欢”这种只有“二元选项”问法。

对于询问用户满意度等较为主观可以使用“五分法”,即如“很不满意”、“比较不满意”、“一般”、“比较满意”、“很满意”五种选项。当然,你可以选择用1-5分作为替代,也可以使用7分,除了10分,不建议使用多于7分选项,用户有选择困难症

对于询问用户对价格接受度,请使用PSM价格敏感度模型。PSM模型下,问题是这样问

(实例 调研知识音频专栏价格敏感度)

是用户对各个价格区间接受度,通常我们只会设置价格敏感相关4个选项,“太便宜”、“比较便宜”、“有点贵”、“太贵”。特别说明:上图我是增加了一个中间选项“刚好”,实际上这个选项在统计中没有什么作用,纯粹是站在用户视角考虑用户习惯思维增加选项。

然后根据各选项数据可以绘出PSM模型曲线图:

(实例 调研知识音频专栏价格敏感度)

P1:是用户可接受价格最低值,“有点贵”和“太便宜”交点; P3:是用户可接受价格最高值,“太贵”和“比较便宜”交点; P2:是最佳价格,用户觉得不会太贵也不会太便宜,“太贵”和“太便宜”交点。

另外,除了用PSM模型曲线图,也可以用百分百堆栈图,这个比较直观,可以看出最佳价格区间是哪个。我判断参考数据是:选择“比较便宜”和“有点贵”比例超过80%价格区间,即为最佳区间。(下图还要加上“刚好”比例)

(实例 调研知识音频专栏价格敏感度)

坑2 你花在我们产品上时间有多少?

问卷收集完后,你查看了下用户回馈数据,你发现用户还挺活跃。但是,一查看后台数据对比,怎么活跃才这么低,不科学呀!

误区2 幸存者偏差

有个故事,美国空军发现能飞回来战斗机中,机翼弹孔比机身多,那么升级设备加强防弹效果时候,应该着重机翼还是机身?按照数据来看,机翼比机身弹孔多,应该着重升级机翼。但是,事实是,应该着重机身。因为机身中弹多都毁在现场飞不回来了,机翼中弹还能安全飞回来。

把问卷投放在自家产品上,愿意给你填问卷其实大部分已经是活跃用户,沉默用户不使用你产品更不会给你填问卷。所以说,给你找茬用户都是真爱。

如何破?

其实方法前面也提到过,就是看后台数据,用户行为比他说更真实。如果后台埋点还没埋得到你想数据,那怎么办?

分为事前和事后,两个应对方法。

事前,根据用户类型进行配比,进行定向随机投放,按比例收集问卷。 事后,根据用户类型比例进行权重配比。比如:用户A和B分别占比30%和70%,根据收集回来问卷按照用户类型分类统计数据,最后乘以权重配比,得出最后数据。

以上是两个具体例子。

来说

在做问卷时候,需要警惕以下问题:

用户通常言行不一。用户给你答案不一定是正确,用户在实际场景中选择,可能和他选择选项大相径庭。可以了解下索尼游戏机黑黄色偏好调研案例。 用户是摇摆不定。当用户面对抽象性问题或他没有面对过问题时,他会给出倾向问卷设计者预设立场答案。尽量用事物或场景触发用户无意识行为,或说出代入场景真实体验。 能触达用户群体是与全体用户有偏差。预防样本少、非随机调研情况出现,不然会出现以偏概全结果。反例比如:只选择本地区用户、优先联系有留联系方式用户。

设计问卷中,除了问卷调研,更多地是要思考问卷本身(含问题设计、文案、排版)对用户影响,尽量还原用户行为和思考,剔除其他影响,这需要关注问卷中很多细节。

最后建议是——多踩坑。

 

作者:湘尘,微信公众号:尘言运营(ID:Operator-Chen)。在全栈运营路上狂奔中1岁半运营喵,喜欢运营、用研、营销,欢迎交流勾搭~

本文由 @湘尘 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自 Pexels ,基于 CC0 协议

 
®关于本站文章™ | 若非注明原创,默认 均为网友分享文章,如有侵权,请联系我们™
㊣ 本文永久链接: 调查问卷的两个陷阱:诱导性问题和幸存者偏差