首页 >> 社会学 >> 研究方法
问卷调查质量研究:应答代表性评估
2014年06月30日 16:48 来源:《社会》(沪)2014年1期第196~214页 作者:任莉颖 邱泽奇 丁华 严洁 字号

内容摘要:随着问卷调查中无应答现象的增多,应答样本代表性问题成为问卷调查研究者的关注焦点。由于自身局限性,应答率无法提供有效的调查质量信息,建构新的应答代表性指标因此就成为研究重点。在综合比较相关研究成果的基础上,本文认为,R指标对于评估并提升问卷调查质量有较好的应用前景,并探讨了R指标的概念界定、计算方法、指标构成和注意事项,同时运用这一指标对“中国家庭动态跟踪调查”2010年初访数据的应答代表性进行了评估。

关键词:社会调查;调查质量;应答代表性;R指标

作者简介:

  【作者简介】任莉颖,北京大学中国社会科学调查中心 邱泽奇,北京大学社会学系 丁华,北京大学中国社会科学调查中心 严洁,北京大学政府管理学院

  【内容提要】随着问卷调查中无应答现象的增多,应答样本代表性问题成为问卷调查研究者的关注焦点。由于自身局限性,应答率无法提供有效的调查质量信息,建构新的应答代表性指标因此就成为研究重点。在综合比较相关研究成果的基础上,本文认为,R指标对于评估并提升问卷调查质量有较好的应用前景,并探讨了R指标的概念界定、计算方法、指标构成和注意事项,同时运用这一指标对“中国家庭动态跟踪调查”2010年初访数据的应答代表性进行了评估。

  【关 键 词】社会调查;调查质量;应答代表性;R指标

  一项严谨的问卷调查,不仅要在设计阶段尽量避免各种抽样误差,还要关注在调查执行阶段因无应答造成的样本代表性问题的影响。随着调查对象流动性和社会对个体隐私保护意识的增强,无应答样本在各国的问卷调查中愈来愈多(de Leeuw and de Heer,2002),社会调查行业使用应答率(response rate)测量调查质量的做法就越来越受到质疑。一般认为,应答率越高,应答样本的代表性就越强,问卷调查的质量也就越高,在一些关于问卷调查的教科书中甚至还设定了“足够好”、“好”、“可接受”等不同级别的应答率区间(Babbie,2007;Singleton and Straits,2005)。但也有研究证明,应答率和代表性之间没有必然的关系(Groves,2006;Groves and Peytcheva,2008;Heerwegh,et al.,2007)。在这种情况下,如何评估一项调查的应答代表性便成为问卷调查研究共同关注的问题。

  以往研究都从多个维度建构应答代表性指标,本文重点探讨其中的R指标(R-indicator)。R是“代表性”(representativeness)英文单词的首字母,这个指标由欧洲的研究者在2007年开始研究构建,并致力于被社会调查行业广泛接受。①本文首先讨论应答率作为代表性指标的局限性,归纳目前问卷调查研究在建构应答代表性指标方面的进展;然后详细讨论R指标的建构原理和计算方法,并基于“中国家庭动态跟踪调查”(CFPS)2010年的初访数据对其应用性进行评估;最后评述R指标在国内问卷调查中的应用前景和对其发展的促进作用。

  一、应答率的局限

  问卷调查的科学性来自代表性抽样(representative sampling),而这个概念的用法却是五花八门。克鲁斯卡和莫斯泰勒(Kruskal and Mosteller,1979a,1979b,1979c)曾就此连续发表三篇文章,汇集了他们在非科学文献、科学文献和统计文献中的发现。他们将代表性抽样的用法概括为9类:

  1.代表性抽样可以使结论显得更为科学和可信;

  2.代表性抽样指没有受到选择性压力(absence of selective force);

  3.代表性样本是总体的微缩或镜像,具有和总体相同的构成;

  4.代表性样本指典型或理想的个案;

  5.代表性样本须囊括总体的多样性;

  6.代表性抽样是一个含混的概念,有待澄清;

  7.代表性抽样是一种特定的抽样方法;

  8.代表性抽样可以得出好的估计值;

  9.代表性抽样取决于特别的研究目的。

  这些用法从松散到严谨,反映了研究者不同的背景。从统计角度理解,在问卷抽样调查中,获取样本代表性的目的就是希望将样本的统计值合理推论到总体。因此,可以认为代表性样本就是总体的微缩或镜像,或者囊括了总体的多样性。为保证这一点,在调查过程中需要关注的一个重要因素就是,样本是否受到其他选择的压力,如样本自选择。

  理论上获取代表性抽样并不等于在实践中会得到代表性应答,评估一项问卷调查质量的好坏需要通过特定的指标反映应答样本在多大程度上具有代表性。这个指标至少需要关注两个标准:与总体特征的估计偏差有关;能侦测出调查执行过程中样本应答的非随机选择机制。

  应答率是问卷调查中最常用的质量指标之一。在美国民意调查研究协会(AAPOR)给出的标准定义中,应答率是指“完成访问的单元个数与样本中符合资格的单元个数的比值”(AAPOR,2011:5)。应答率简单易懂,便于计算,但社会调查研究已经越来越认识到,应答率并不能用来评估应答代表性。

  首先,从理论上看,应答率与无应答造成的偏差没有直接联系。计算应答偏差的公式由两部分组成:一个是无应答样本的比例,另一个是应答者与无应答者在总体均值上的差异,即:

  

  其中是应答者的总体均值,是无应答者的总体均值,N是总体样本规模,M是无应答样本的个数,是应答偏差。只有当应答者和无应答者在总体均值上的差异保持不变时,应答率越高(即无应答率越低),应答偏差才会越小。在前者不确定的情况下,应答率和应答偏差之间不存在直接对应关系。

  其次,应答率不能反映无应答样本缺失的状态。数据缺失机制可以归纳为三类:完全随机缺失(Missing-Completely-at-Random,MCAR)、随机缺失(Missing-at-Random,MAR)和非随机缺失(Not-Missing-at-Random,NMAR)。在无应答样本处于完全随机缺失的状态时,样本缺失不会影响估计值的偏差。应答率高,应答样本的规模就大,如此可以降低估计值的方差,追求高应答率就会有很好的回报。对于随机缺失和非随机缺失两种情形,如果样本的缺失会直接影响估计值的偏差,应答率基本上就与应答样本的代表性无关。

  第三,研究证明,应答率与无应答偏差(nonresponse bias)没有必然关系(Groves,2006;Groves and Peytcheva,2008;Heerwegh,et al.,2007)。斯克顿等(Schouten,Cobben and Bethlehem,2009)设计了一个简单的例子说明这个问题。他们选取了1998年荷兰的一个调查项目(POLS),这项调查历时两个月,采访在进行了一个月和两个月时,分别有不同的应答率。研究者从注册数据中选取了两个变量:荷兰人口中接受社会保障津贴的人数比例和父母至少有一方在荷兰境外出生的人数比例,并分别将两个变量的数据与调查进行一个月和两个月后的应答样本匹配。最后估算出在不同应答率情况下两个变量的估计值(见表1)。数据显示,POLS在进行一个月后的应答率为47.2%,两个月后的应答率为59.7%,增长了12.5%。而在这两个变量的应答均值上,高应答率并没有带来更接近真值的结果,估计误差反而增大了。

  此外,应答率的计数方法是“一人一票”,适用于等概率入选的抽样设计。对于不等概率的复杂抽样设计,则采用简单的应答率计算方式,其结果将只能了解采访执行过程的进展情况,而无法了解应答样本的代表性。

  因此,把应答率作为应答代表性指标存在多个误区。简单的应答率计算方法对复杂的抽样设计不适用,应答率也不能反映无应答样本的缺失机制。最关键的是,应答率与无应答的偏差没有必然联系,因此,在问卷调查中不能把应答率作为评价调查质量好坏的指标。

分享到: 0 转载请注明来源:中国社会科学网 (责编:王村村)
W020180116412817190956.jpg
用户昵称:  (您填写的昵称将出现在评论列表中)  匿名
 验证码 
所有评论仅代表网友意见
最新发表的评论0条,总共0 查看全部评论

回到频道首页
QQ图片20180105134100.jpg
jrtt.jpg
wxgzh.jpg
777.jpg
内文页广告3(手机版).jpg
中国社会科学院概况|中国社会科学杂志社简介|关于我们|法律顾问|广告服务|网站声明|联系我们