在线问卷的设计与评价

尤众喜

摘要：该文从调查技术所面临的四种误差出发，探讨了在线调查问卷的设计指导原则，确定了在线问卷的设计流程和组织结构。并通过实际的评估对十五种工具进行了多角度的分析。最后指出要设计合理有效的问卷须遵循指导原则。

关键词：网络调查；在线调查；技术特色

中图分类号： TP393 文献标识码：A 文章编号：1009-3044(2012)36-8685-03

作为递送问卷的新媒介，互联网成为调查技术中最具革命性潜能的手段。在线问卷与传统问卷相比，在调查费用、速度、外观、功能、灵活性以及可用性方面都有较大的优势[1]。但是就像其他新的技术手段一样，虽然有这样那样的好处，但也不可避免地受到人们的质疑。针对在线问卷的弱点，批评主要集中在四个方面，即有关调查的四个标准误差类型：涵盖误差，不响应误差，抽样误差，还有测量误差。就其中的涵盖误差而言，由于不同国家不同地域发展水平的不一致，计算机和网络普及程度不同造成了更加显著的不响应误差（当然事实上这些所谓数字鸿沟也在被经济的快速发展所填平）。

当一个受访者不能对参与调查的邀请做出响应，或在完成之前放弃问卷，就产生了所谓不响应误差。纸质问卷一目了然，受访者可以很快估计出多久才能完成问卷，在线问卷在形式上不是那么直观，因此设计在线问卷时可适当采用一些辅助手段来减少这种误差[2]。

就在线问卷而言，当预期的样本集中的一小部分参与者被疏忽时（因而也就难以做出响应），抽样误差也就可能产生了。这种疏忽可以表现在多个方面，比如无视网络连接速度、带宽、浏览器的配置、硬件配置以及填答问卷时的用户需求等。类似地，测量误差（由不恰当的题目用词，或导致难以预测的答案的题目引起[3]）会使参与者变得困惑甚至灰心。

在线问卷设计的不合理，抽样、测量和不响应这些误差就有可能发生。受访者不正确地回答问题，放弃问卷，最后甚至拒绝参与后续的调查，因而也就不能处分发挥在线问卷的优势。

1 设计问卷的总体指导

可以看到，就单个而言，上表列出的这些指导原则没有一条是特别创新的；每一条都是从前述的资料中提炼出来的。然而新颖之处在于，这一套从各不相同的来源整理合并得到的实用的指导原则可以拿来支持在线问卷的设计。

2 评估的框架

选择在线问卷的开发工具不是一件简的单事情。问卷的开发者现在必须面对不断增多的各种各样的开发软件工具。大多数这样的工具可以让一个人很快很容易地开发出一份问卷。我们想评估这些工具多大程度上鼓励一个人乐意去开发一份好的问卷（就我们的目的而言，所谓好问卷就是遵从了有关问卷和网站设计的已有原则）；也就是评估开发工具以何种程度和在多大范围内涵盖了我们的指导原则。

由Lumsden开发的SUIT是一个能系统地评估和比较用户界面开发工具的手段[7]。以框架和评估手段为中心，对工具的评估，SUIT引入了基于参考模型的方法。

尽管SUIT本是专注于用户界面开发工具的评估，但SUIT的基本原则仍然可以应用到任何类似事物的评估和比较上[8]。认识到一个网站（自然也包括在线问卷）本质上就是一个用户界面，我们只要通过适当调整若干参数而得到一个修改版的SUIT。因此，将我们拟定的评估原则应用到现有开发工具范围内的评估，似乎也是理想的。

图2所示的是一个评估框架的一部分，我们用它来评估在线问卷开发工具。在该框架中，行代表着指导原则，每行都使用简洁的概括语；行又归于一个标题之下（例如图2中的“文本”），每个标题则代表在线问卷的一个要素。评价工具的依据是它们所拥有的功能，以及每个功能与问卷结合的方式。若一个问卷不支持某项功能，就标记为“不支持”；若支持某功能，则还要考查它是自动地还是手动地与问卷结合，以及对该项功能的控制是手动的还是自动的。总体看，这些测量手段可以让我们确定在线问卷开发工具的功能和控制点。也可以根据它们对指导原则的支持来评估工具，根据指导原则被表现的方式来测量工具；对于任何给定的指导原则，假如该工具会依照指导原则限制相关功能的使用或设置，那么对指导原则的支持可标记为“强制性限制”。支持机制并不是互斥的；就任何给定的指导原则有多种手段的支持也是可能的（见图2中右下角方格区域）。

3 讨论

在本项研究的视野内，我们随机选择了15种在线问卷的开发工具；其中7个是基于Web的软件产品（在线工具，完成的问卷也在其主机上），另外8个是离线的软件产品（离线工具，安装在某人自己的计算机上）。本项研究用到的软件与相关信息来自一些演示版的软件、免费账号和以销售商的教程。

通过一一的测试，平均来讲，74%的时间被用来手动地实现所需功能；这个数字在离线工具方面稍高些（80%），在线工具方面稍低些（68%）。类似地模式也出现在对功能的控制上，平均来看78%的操作是手动完成的。令人感兴趣的是，这些工具不但明显的缺乏相关的操作指引，而且还很少支持在线问卷设计的自动化，因而难以在一定程度上控制问卷品质。

4 结论与展望

在评估的基础上，我们认识到这些在线问卷的设计工具需要加强对指导原则的支持，使在线问卷的开发更加便利。如果不改进这种支持，人们将不再着迷于把在线问卷应用到调查当中，在线问卷的价值将得不到公平的认可。

目前我们仍然在开展这项实证研究，依据指导原则自身的能力，继续评估作为一个综合性的工具，怎样去更好地指导在线问卷的设计与开发。最终我们计划开发一套在线问卷的设计工具，在设计过程中指导开发者，给开发者提示那些违反指导原则的所在。最后，我们计划扩充指导原则，添加关于语言的运用方面的内容。一份“结构合理”的问卷可能由于在表达问题和答案时用词不当；我们愿意就语言的运用提出建议，在我们的开发工具里，主要是藉由一些自然语言检查的形式。

参考文献：

[1] Stiegera S.What are participants doing while filling in an online questionnaire: A paradata collection tool and an empirical study[J].Computers in Human Behavior, 2010,26:1488-1495.

[2] Lia Xiang, Chengb Chia-Kuen,Kimc Hyounggon,et al.A systematic comparison of first-time and repeat visitors via a two-phase online survey[J].Tourism Management, 2008,29:278-293.

[3] Wright K B.Researching Internet-Based Populations: Advantages and Disadvantages of Online Survey Research, Online Questionnaire Authoring Software Packages, and Web Survey Services[J].Journal of Computer-Mediated Communication, 2005, 10(3).

[4] Alreck P.Settle R.Survey Research Handbook[M].3rd ed. New York, NY:McGraw-Hill, 2004.

[5] Aster A Z. Consumer research goes online[J].Marketing Magazine,2004(7): 13-14.

[6] Kwak N,Radler B.A Comparison Between Mail and Web Surveys: Response Pattern, Respondent Profile, and Data Quality[J]. Journal of Official Statistics, 2002,18(2):257-274.

[7] 陈永泰,何有世.网络调查和传统纸质调查的差异性研究[J].统计与决策,2008(16).

[8] 方佳明,邵培基.一种评估网络调查适用度的方法[J].清华大学学报:自然科学版,2006(S1).