内容分析法的信度及其检验步骤（含全球“内容分析法”主要著作与文献）

编码员间信度测试及其步骤一项内容分析研究的编码过程中，最重要的一个环节是编码员间信度测试，其具体操作步骤如下：

1）选择一种或者多种合适的编码员间信度测试指数 。这种选择要基于变量的特性，包括变量的测量层次、在编码类别中的预期分布，以及编码员的个数。从目前的研究文献来看，通常不推荐使用百分比一致性（percent agreement）这种方法，因为它没有考虑到编码员偶然一致性的情况（详见下文说明）。如果要使用该方法的话，最好是再使用一种顾及到偶然一致性问题的指数。无论是哪种，研究者都需要针对其研究的特殊性特别是变量性质和研究目的，为其选择作出解释或合理性说明。而且需要注意的是，编码员间信度测试方法的选择是在数据搜集和计算编码员间信度系数之前就要确定下来的。

2）获取必要的工具以计算所选择的编码员间信度测试指数 。有些测试指数可以人工计算（具体计算方法详见本章下面小节），尽管这种计算也许乏味，而另一些则需要借助计算机完成。国外已开发出一些专门的软件如PRAM来计算测试编码员信度，有些统计软件包也带有这方面的应用程序。

3）针对所使用的信度测试指数确定一个合适的最低接受水平 。虽然社会科学领域里的大多数研究方法专著或教材并未给出信度测试的一个具体的标准或边界数，而那些注明了标准的，其推荐的指数也有所不同。但无论是哪种信度测试，信度系数达到或高于0.90，都是可以接受的。在此之下，如果是等于或大于0.80，那么在大多数情况下是可以接受的。低于此标准的话，则存在着很大的不同意见。虽然有学者称7 0％的一致性即可被认为是可靠的，也有学者曾指出可以将超过0.75～0.80的相关系数视为高信度， 但不少内容分析法权威学者还是认为，在这种情况下要谨慎对待，需要看是何种指数以及什么类型的研究，比如，这一信度水平对于某些测试指数而言，仅仅是在探索性研究的情况下才是可以被接受的。著名的内容分析专家克里本多夫虽然没有具体指明信度系数的类型，但他提出，只有在信度高于0.80时才报告变量的结果，当信度系数为0.67～0.80时只能对变量作出“高度不确定且小心谨慎的结论”。

一般来讲，百分比一致性系数的接受门槛是85％。像斯科特pi和科恩kap-pa这样的排除偶然因素的统计方法，会采取更为自由宽松的标准。但具体标准也有或多或少的分歧，比如，珀玭提议将科恩kappa的接受标准定为0.80或更高。对于此指数，其他学者还提出了这样较低的标准：大于或等于0.75，表明排除偶然的非常好的一致性；0.40～0.75，表明排除偶然的一般至良好的一致性；低于0.40，表明排除偶然的很差的一致性。 【16】 与此有所不同的是，里夫等人却赞同一种相对较高的标准，但他们也未具体指明信度系数的类型，只是一般性地认为研究通常报告的信度系数“为0.80～0.90”，并且“信度评估低于0.70的研究很难予以解释，其方法值得怀疑，不宜复制”。

4）对信度进行试点评估 。在内容分析中，信度往往进行两次评估，一次是正式研究开始之前的试点评估，一次是研究信度报告所需的最终评估。信度的试点评估从研究所用的整体样本中随机选取子样本来进行，子样本需要有代表性，样本大小可以视研究情况而定，但一个不错的一般法则是选取30个样本单位。如果可能的话，在为一项内容分析研究抽取样本的同时，另外抽取一个具有代表性的独立样本，用于编码员培训和信度的试点评估。编码员必须独立完成编码，不要借助咨询或指导。而且，如有可能，研究者本人在此阶段不应作为编码员。如果试点测试的信度水平足够的话，即可对所有样本进行编码；如果测试结果不行，就得另外培训编码员，修正编码表和编码程序，只有在极端情况下才替换一个或多个编码员。一般来讲，如果测试发现严重问题，通常需要修改编码方案。在这种情况下，测试样本数据就不能包含在最终数据分析中，必须以修正后的方案来重新编码。对测试阶段的信度所产生的问题，纽恩多夫提出了三种诊断和矫正方法。

（1）找出有问题的变量。当试点评估发现一个变量的编码员间信度很低时，可以从至少四个方面进行修正：①进一步培训编码员并重新检测该变量的信度；②重新修改、撰写编码指南，使该变量的测量清晰化；③更改该变量的类目（如合并类目）；④如果可能的话，将该变量根据概念维度分解成两个或更多的更简单、更具体（更显性）的变量。

（2）发现一个变量内部有问题的类目或赋值。通过观察编码员A与编码员B的编码赋值矩阵（矩阵图参见本章表6.1），也许能发现关键的分类混淆点，也即一个变量中哪些类目在编码方案中不是很清晰地被区分开来。比如，在实际编码中我们也许看到，编码员A偏向于将某种口头话语编码成“攻击的”，而编码员B则倾向于系统地将同样的口头话语编码成“反对的”。此时，就要首先弄清楚两位编码员各自的依据，找出编码员对编码指南中类目划分的概念说明在理解上的系统误差或距离，并进一步培训该编码员；或者，修改编码表，以消除这种系统性的测量误差。

（3）识别有问题的编码员。对于多位编码员，通过配对检测编码员间信度，也许能发现一个编码员是否与其他编码员相匹配。在作出放弃该编码员的决定之前，也许需要对该编码员进行额外的培训。

5）对信度进行最终评估 。在信度试点评估的基础上对信度水平获得足够信心后，需要使用另一套随机抽取的具有代表性的子样本对研究项目所需要编码的整个样本进行信度的最终评估，以此代表整个研究过程中编码员的表现。研究报告或发表论文中所汇报的信度系数就是由最终评估获得的。该阶段的信度测试所需的样本量大小取决于许多因素，但一般而言应该不少于50个单位，或者是整个样本的10％，而且很少有多于300个单位的时候。在附录一笔者的调查中，有57.1％的论文明确汇报了用于信度测试的样本数，其中，绝大部分论文（85.5％，288篇）所汇报的信度测试样本数要么达到或超过50个样本单位，要么占实际研究样本数或总体数的10％或以上（最多达100％）。虽然有学者通过研究表明样本的5％～7％足以用于信度测试，但经验研究告诉我们，当研究所用的整体样本很大并且预估到内容差异较大，或者信度水平估计较低时，就需要较大的信度测试样本量。与试点评估类似，此阶段的编码测试也必须由编码员独立完成，不要借助咨询或指导。

6）选择并遵循一种合适的程序从而将信度测试样本的编码与研究所用的整体样本的编码结合起来 。除非信度十分完满，信度测试样本中总有些单位会出现编码不一致的情况。编码员之间如果达到足够的一致程度，那么每位编码员的编码决定有理由被纳入至最后的编码数据，而且信度测试样本所获得的结果仅能说明在评估信度过程中所发现的潜在的编码员之间不一致的数据，但尽管如此，研究者还是必须决定如何处理这些编码不一致的问题。处理解决的办法根据数据和编码员的特点而定，或者随机选取不同编码员的编码决定，或者以多数人决定为准的原则（如果编码员数量为奇数的话），或者将研究者本人或另一位专家当做最后裁决者，又或者研究者与编码员商讨并解决不一致的问题。不论采取何种方式，研究者都需要说明选取该处理办法的合理性。

7）在所有研究报告中小心、清楚、仔细地汇报编码员间信度 。即便是编码员间信度测试充分，读者也只能根据所提供的信息来评价一项研究，这些信息必须完整和清晰。至少需要提供如下信息：①信度样本量大小，以及用于择取信度样本的方法和理由；②信度样本和整体样本的关系（也即信度样本是否等同于整体样本，或者是整体样本的下属子集，或者是与整体样本不同的另外的样本）；③信度测试编码员的数目（必须是两个或更多）以及编码员是否包括研究者本人；④每位信度测试编码员和非信度测试编码员所完成的编码量；⑤用于计算信度的指数及其选择理由；以及⑥每个变量针对所选择的每种信度指数所获得的编码员间信度水平。

其他可用于参考的信息还包括：①达到所获信度水平所需要的编码员培训时间（如多少小时）；②信度测试编码中的不一致问题如何在整体样本中得以解决；以及③读者从哪里以及怎样（比如从作者处）可以获取到关于编码工具、程序和指南的细节信息。

Berelson, B. (1952). Content analysis in communications research. New York: Hafner.

Budd, R.W., Thorp, R.K., & Donohew, L. (1967). Content analysis of communications. New York: Macmillan.

Carpenter, M. E. (1941). The treatment of the negro in American history school textbooks; A comparison of changing textbook content, 1826-1939. George Banta Publishing Company.

Coffey, A., & Atkinson, P. (1996). Making sense of qualitative data: Complementary research strategies. Thousand Oaks: Sage.

Fan, D.P. (1988). Predictions of public opinion from the mass media. Computer content analysis and mathematical modeling. Westport, CT: Greenwood Press.

Glaser, B., & Strauss, A. (1967). The discovery of grounded theory. Chicago: Aldine.（扎根理论）

Gottschalk, L. (1995). Content analysis of verbal behavior: New findings and clinical applications. Hillsdale, NJ: Lawrence Erlbaum.

Gottschalk, L., & Bechtel, R. (1993). Psychological and neuropsychiatric assessment survey: Computerized content analysis of natural language or verbal texts. Redwood City, CA: Mind Garden.

Gottschalk, L., & Gleser, G.C. (1969). The measurement of psychological states through the content analysis of verbal behavior. Berkeley: University of California Press.

Greenberg, B.S. (1980). Life on television: Content analysis of U.S. TV drama. Norwood, NJ: Ablex.

Holsti, O.R. (1969). Content analysis for the social sciences and humanities. Reading, MA: Addison-Wesley Publications.

Krippendorff, K. (1980). Content analysis: An introduction to its methodology. Beverly Hills, CA: Sage.

Krippendorff, K. (2004). Content analysis: An introduction to its methodology (2nd ed.). Thousand Oaks, CA: Sage.

Leites, N.C., & Pool, I. De S. (1942). On content analysis. Library of Congress, Expreimental Division for Study of War-Time Communications, Document no.26. Washington, D.C.

Morse, J.M., & Field, P.A. (1995). Qualitative research methods for health professionals (2nd ed.). Thousand Oaks, CA: Sage.

Neuendorf, K.A. (2002). The content analysis guidebook. Thousand Oaks, CA: Sage.

Patton, M.Q. (2002). Qualitative research and evaluation methods. Thousand Oaks, CA: Sage.

Schwartz, H., & Jacobs, J. (1979). Qualitative sociology. New York: The Free Press.

Strauss, A. (1987). Qualitative analysis for social scientists. Cambridge: Cambridge University Press.

Strauss, A.& Corbin, J. (1990). Basic of qualitative research: Grounded theory procedures & techniques. Thousand Oaks, CA: Sage.

Tesch, R. (1990). Qualitative research: Analysis types and software tools. Bristol, PA: Falmer.

Tuchman, G. (1978). Making news. New York: The Free Press.

Weber, R.P. (1990). Basic content analysis. Beverly Hills, CA: Sage.

Alexander, A., Benjamin, L.M., Hoerrner, K., & Roe, D. (1998). "We'll be back in a moment": A content analysis of advertisements in children's television in the 1950s. Journal of Advertising, 27（3）, 1-9.

Allan, D. (2008). A content analysis of music placement in prime-time television advertising. Journal of Advertising Research, September, 2008, 404-417.

Allen, J., Livingstone, S., & Reiner, R. (1997). The changing generic location of crime in film: A content analysis of film synopses, 1945-1991. Journal of Communication, 47（4）, 89-101.

Altheide, D.L. (1987). Ethnographic content analysis. Qualitative Sociology, 10（1）, 65-77.

Altheide, D.L. (1996). Qualitative media analysis. Qualitative Research Methods, 38. Thousand Oaks: Sage.

自贝雷尔森于1952年出版的开山之著《传播研究的内容分析》（Content analysis in communications research）奠定了内容分析在传播学研究的科学地位以来，内容分析法不断发展，已形成系统的理论体系，其应用范围也大为拓展，被广泛应用于新闻传播学、图书情报学、社会学、心理学、行为学等社会科学领域。据国际通用的新闻传播学领域特有的传播和大众传媒全文数据库（Communication and Mass Media Complete，CMMC）的搜索发现，近50年新闻传播学国际学术期刊发表的论文中，运用内容分析法的研究一直占主导地位。而且，美欧等国不断有专门针对内容分析的学术专著涌现，如20世纪60年代出版的霍尔斯蒂的《人文社会科学的内容分析》（Content analysis for the social sciences and humanities）和巴德等人的《传播学的内容分析》（Content analysis of communications), 80年代克里本多夫的《内容分析：方法论导论》（Content analysis：An introduction to its methodology), 90年代里夫等人的《内容分析法：媒介信息量化研究技巧》（Analyzing media messages：Using quantitative content analysis in research）和21世纪初纽恩多夫的《内容分析指南》（The content analysis guidebook）等。通过世界上最大的在线图书馆Questia的搜索发现，以内容分析为主题或运用内容分析法进行研究而写就的专著就有近6万本。对内容分析法的应用，国际上已有学者按照研究目的和研究问题、抽样方法、数据收集和类目构建、编码过程以及信度测试、研究结果等方面，进行了较为全面的介绍和论述。