医学杂志中量表类稿件的核查分析
知己者明,知人者智。行为研究的主要目的是要了解人们对问题或现象的认识与态度如何影响他们的行为。通过量表对人的行为进行研究是一门科学,也是一种应用心理学。这种研究在国内外十分普遍,是社会学、管理学、心理学、教育学、医学等科学研究领域的基本方法。目前,量表已成为现场调查常用的数据收集手段,医学论文中的量表研究非常常见。随着量表的广泛应用,医学论文中关于量表分析的不恰当表述和统计学方法的误用也接踵而来,大大降低了论文的科学性。虽然已有文献对医学期刊稿件中常见的统计学问题进行了总结,并提出了防范对策,但这些统计学问题和对策并不适用于量表类稿件。由于量表有维度和条目信息,需采用特殊的分析方法,即信度分析、效度分析和因子分析等。为此,本文以《中国卫生统计》杂志2011年11月1日至2018年11月1日投稿系统中的量表类稿件为研究对象,结合稿件的审理过程,对稿件中存在的统计学问题进行辨析,并总结稿件的核查要点。本研究一方面可以帮助作者对症下药,了解稿件问题所在,提高投稿的命中率;另一方面可以帮助编辑掌握相关统计学知识,提升审读水平,以期为提高期刊的稿件质量提供参考。
一、研究对象与方法
《中国卫生统计》杂志在卫生统计专业领域具有一定的代表性,有助于较集中地发现量表类稿件中存在的问题。本研究以《中国卫生统计》杂志网上投稿系统为资料来源,检索时限为2011年11月1日至2018年11月1日,以“量表”“调查问卷”为检索关键词,前者检索出量表类稿件117篇,后者检索出12篇,共计129篇稿件。截至目前,129篇量表类稿件中已正式发表稿件53篇,录用待排刊期稿件2篇,被退稿件45篇,尚在审理状态的稿件29篇。本文以129篇量表类稿件为研究对象,逐篇回顾其编校过程,结合外审专家审理意见,对量表类稿件中存在的问题进行分析。
二、结果与分析
针对量表类稿件中存在的稿件题目不贴切、描述性数据问题、讨论欠佳和参考文献格式不正确等共性问题,已有相关研究做出了总结[5-7],笔者在此不再赘述。本文主要针对量表类稿件中特有的统计学问题进行分析。
(一)研究对象不合理
任何科学研究必须明确研究对象,才能根据研究对象收集数据。量表类稿件的研究对象通常是人,主要涉及以下问题。(1)样本量不足。某家庭一般功能正向评定量表(6条目)的研究中,研究对象仅51人。按照验证性因子分析的要求,样本量至少是观测条目数的15倍,即90人,稿件中使用的样本量明显偏小,后期作者对样本进行了扩充,样本量达到了107人。(2)代表性差。某新疆地区的慢性病研究中,研究对象说是“新疆地区”其实只是“新疆医科大学附属及时医院”的患者,用该医院某时间段的慢性病数据代表“新疆地区”,不能反映研究总体的全貌。(3)选取标准和过程模糊不清。例如,某住院病人第三方满意度量表的信度和效度研究中,研究对象来源只交代了“年龄大于18岁、意识清楚、能正确回答问题、住院3天以上的病人”,并未说明是如何选择这些对象的,是简单随机抽样还是方便抽样方法,样本的选取过程对调查结果会产生很大的偏倚。部分自愿参与调查的人通常会好评,不太情愿参与的患者往往会差评,特别是刚住院不久的患者,鉴于怕医生打击报复等原因,尽管是匿名评价,也有可能勉为其难地做出好评。又如,在大学生健康素养调查量表研究中,作者确定了308名大学生,但未指明所调查的大学生的纳入、排除标准和选取方式,有可能影响量表今后的可推广性与应用价值。
(二)量表框架不明确
量表的框架是量表类稿件研究的核心内容,这部分存在的问题主要有两个。(1)稿件未交待量表内容。某医院行政管理人员服务保障能力测评量表的编制中,尽管提到了5个维度各自的编号,但每个维度各自的条目及对应的编号并没有一一列出,这些恰好是量表至关重要的部分。所以,笔者建议作者在修改稿中将32个条目详细列出,以便让读者判断这5个维度的每一维度的条目组成是否合理。(2)维度划分不合理。某研究构建的肺结核废弃物危害干预IMB(Information-Motivation-Behavior,信息、动机、行为)量表包含4个维度12个条目,条目的归属难以理解。如废弃物处置态度、害怕程度2个条目归类于动机;行为技巧维度包含不乱扔废弃物、主动获取知识、与家人隔离、配备消毒设施4个条目;从稿件所列条目中很难看出“行为维度”与“行为技巧维度”的区别。此外,个别稿件中各维度的条目数量差异较大,多者一个维度包含9个条目,少者一个维度仅1个条目。
(三)条目评价不完整
通常作者需要对完成数据收集的量表进行条目鉴别度分析,删除鉴别度不满足要求的条目,以此来提高量表的效度。有些作者对量表的分析过程未掌握,常常会忽略此步骤而直接进行量表的信度和效度分析,这样某些鉴别度不高的条目没有被删除,直接影响到量表的质量分析结果。常见的问题如下。(1)Delphi法应用不规范。某新疆包虫病手术患者生存质量测定量表的专家分析中,作者仅对及时轮结果进行分析,发现9名专家意见不统一。这个结果是必然的,因为研究尚未完成,中间结果没有报告的价值,应在全部研究过程结束后再报告完整的结果。理论上,Delphi法需对所选定的专家就研究问题进行多轮意见征询,研究者对每一轮的专家意见进行汇总整理,并将整理过的材料再寄给每位专家,供其分析判断,专家在整理材料的基础上提出新的论证意见。如此多次反复,直到意见逐步趋于一致,得到一个一致性较好并且性较大的结论或方案。通常需要3~4轮咨询反馈,才能达成一致。此外,咨询专家只有9名,人数偏少,应在可能的情况下增加专家人数。(2)随意删减条目。某量表编制中,作者提到:“在文献查阅及参照其他量表的基础上,提出的理论构架,形成条目池,通过半结构式访谈和专家咨询,研究工作组通过拆分、合并、添加等方式对备选条目逐条整理,形成哮喘患者生活质量初始问卷”,但结果部分未见文献查阅、专家咨询和其他量表的相关内容,70个条目擅自缩减至40个条目。
(四)信度和效度分析不正确
信度和效度分析是量表类稿件必不可少的一部分内容,可是竟有三分之一的稿件缺少信度和效度分析的结果,导致无法确定调查数据的质量。更有甚者,稿件中无信度、效度评价的相关内容,摘要中却得出“编制的最终量表”的结论,犯了学术论文凭空下结论的大忌。某稿件对SF-36量表(MOSitemshortfromhealthsurvey,健康调查简表)做信效度研究,信度结果未提及,而效度结果中VT(Vitality,精力)、SF(SocialFunction,社会功能)、MH(MentalHealth,精神健康)3个维度所对应的条目存在一定的紊乱情况,且BP(BodilyPain,躯体疼痛)、GH(GeneralHealth,一般健康状况)、SF、RE(RoleEmotional,情感职能)4个维度与理论模型出现了生理和心理维度的颠倒,可能与此次调查信度较低有关,这也许是作者未做信度分析的原因。信效度分析不合理还体现在作者对应用条件理解不透彻。某老年肺结核患者自我健康管理评定量表的信效度检验中,作者对采用自我健康管理前后的50例患者进行重测信度。这一做法是不妥的,因为重测信度应在研究对象状态不变的情况下评价,并保障在适当的时间周期内,而不是在自我管理前后。该量表第3个维度的信度偏低,作者未说明原因,应适当采取措施变更条目或改为提问类问题,以提高量表的信度。
(五)因子分析不规范
通过因子分析,既能够减少量表条目,又能够尽量地保留原有条目所包含的信息。这部分涉及的问题如下。(1)作者对患者进行探索性和验证性因子分析时,未说明是进行了分组还是同一批对象同时做了这两种分析。(2)片面追求拟合效果,而忽略内在联系。例如,作者基于因子分析的结果删除了两个维度来保障后续的良好结果,这将会歪曲原量表代表的意义。此外,某Kogan老年态度量表研究中,提取两个公因子的累积方差贡献率仅31%,表明翻译后形成的量表质量太差。建议作者应参考国外应用此量表的累积贡献率,如果中文版量表累积贡献率远低于英文版,则表明“引进”工作不够成功。
三、核查要点
作为一名统计学专业的医学期刊编辑,笔者通过分析本刊量表类稿件中的常见统计学问题,结合自身的统计学专业知识和工作实践摸索,归纳出医学期刊编辑在审理此类稿件时需关注的核查要点。
(一)量表的条目分析
编辑对量表类稿件进行审核时,应首先关注作者是否对量表的条目鉴别度进行分析,其次判断其分析方法是否正确。量表的条目分析主要有利用独立样本的t检验和利用相关分析两种方法[8]。当采用随机抽样时,调查数据为样本数据,可以将调查对象划分为高分组与低分组并对其平均分的差异进行t检验,即不仅计算高分组与低分组在某个项目上的平均分之差,还要对其差异进行显著性检验。如果结论为“差异有统计学意义”,说明通过测试能够将高分组与低分组区分出来,该条目的鉴别力是高的;反之,如果“差异无统计学意义”,那么此条目的鉴别度不高,应予以删除。对每个条目与所属维度的总分做相关分析,是考察条目鉴别度的另一种有效方法。如果通过检验,某个条目与所属维度总分相关性差异有统计学意义,说明这个条目的鉴别度较高,可以作为这个维度的一个测试题。理论上,当测试的条目是李克特量表时,可以采用积差相关系数;当测试的条目为二项选择题时,要使用点二列相关系数。采用不同的计算方法得到的相关系数数值是不同的,因此,作者在描述结果的同时需写明具体相关系数的名称。
(二)量表的信度分析
信度(Reliability)指测量的性,即随机误差造成的测定值的变异程度的大小。量表的信度反映调查结果的稳定性和一致性。量表信度的高低是通过信度系数的大小来估计的。信度系数包括重测信度、分半信度和克朗巴哈α(Cronbach’sα)系数。其中,Cronbach’sα系数是最常用的信度系数,用于描述量表的内部一致性,可反映量表条目之间的相互关联程度。编辑在审理量表类稿件中的信度分析内容时,应注意以下两个方面。(1)分析多维度量表时应对各维度子量表分别进行信度检验,以综合评估总量表的信度情况,若仅对总量表的信度进行衡量,会造成信度估计的偏差。(2)针对量表信度检验结果的描述应详实具体,不能过于笼统。作者须用明确的统计术语报告采用的信度检验方法和检验结果,具体指出计算出来的是何种相关系数,如内部相关系数(IntraclassCorrelationCoefficients,ICC)、Spearman等级相关系数或Pearson相关系数等。
(三)量表的效度分析
效度(Validity)指测量的有效性,意在反映量表在多大程度上测定到研究者想要测量的态度或行为等。量表的效度主要包括内容效度、效标关联效度和结构效度。
1.内容效度。内容效度指量表的条目在多大程度上代表了所要测量的全部内容。确定内容效度的方法主要通过专家判断和相关分析。相关分析法进行内容判断的过程与前文条目分析中的相关系数法是相同的,在此不再赘述。专家判断法是在调查实施之前,由相关的学者或专家根据专业理论来判断量表本身所测量的内容是否为调查者所要测量的内容,以及量表的条目是否能够体现调查的目的。例如,某项研究预考查护理人员风险感知量表的内容效度。首先,判断量表中是否有与风险感知无关的条目,然后再评估这些条目是否包含了护理人员在护理过程中对于风险感知的内容,即取样的代表性。
2.效标关联效度。效标关联效度指测验与外在效标间关联的程度。量表的效标关联效度是选择一个与量表有直接关系的参照物作为独立标准,以此来考察所设计的量表效度,最常用的检验方法是两种测量工具得分的相关系数,即目前所编制的量表测得的分数与效标测得的分数之间的相关系数。例如,对青少年亚健康多维评定量表(MultidimensionalSub-healthQuestionnaireofAdolescents,MSQA)进行信度和效度评价研究时,为了计算效标关联效度的数值,从调查对象中抽取了85名学生,进行了症状自评量表(SymptomChecklist-90,SCL-90)的测评,结果表明SCL-90量表与MSQA心理子量表总得分的相关性具有统计学意义(P<0.05),SCL-90量表的精神症状部分各因子与对应的MSQA量表各维度间的相关性均具有统计学意义(P<0.05),这说明该子量表具有良好的效标效度。
3.结构效度。结构效度是指测验能够测量到理论上构想的内在结构的程度,也称构想效度或建构效度,是问卷调查中最为常用的效度检验方法。结构效度的测量实质上是一个过程,主要是对研究理论上的假设和对假设的检验,在考虑问卷设计逻辑分析基础上,更强调对于实测数据进行统计分析以检验理论研究的正确性。检验结构效度最常用的方法是因子分析法,主要根据相关性对问卷中的变量进行归类,每一类变量称为一个公共因子,此公共因子就代表了问卷的基本结构,再对子分析所得出的结构与理论构想的结构是否相符合进行分析。例如,研究者对某调查问卷的理论构想是五个维度,并根据这五个维度编制一份问卷进行调查。如果对调查后收集的资料数据进行分析,得出了五个公共因子,而且每个公共因子所包含的项目与理论构想一致,这说明问卷维度与理论构想的维度相吻合,认为此问卷对于所要测量的概念具有良好的结构效度。
(四)因子分析
因子分析是将描述某一事物(或概念)的多个观测变量简化为少数几个潜在变量的多元统计分析方法。在进行因子分析之前,需要先判断数据是否适合做因子分析。一般采用KMO(Kaiser-Meyer-Olkin)检验或巴特利特球形检验(Bartlett’sTestofSphericity)。在KMO检验中,KMO越接近1,说明变量间的相关性越大,原有变量越适合做因子分析。巴特利特球形检验是通过检验原始变量的相关系数矩阵是否为单位矩阵,进而判断其是否适合进行因子分析。因子分析除用于寻求变量之间的基本结构、简化指标体系之外,还可以通过因子得分,将样本或变量进行分类,主要分为探索性因子分析(ExploratoryFactorAnalysis,EFA)和验证性因子分析(ConfirmatoryFactorAnalysi,CFA)。
1.探索性因子分析(EFA)。EFA是为了得到测度项与因子、因子与因子之间的关系。对于一个新的测量工具,我们往往不知道其中的条目是否具有足够的区别效度,为此,我们好先假定因子的数目未知,让数据根据一定的统计规则产生合适的因子数目[17]。作为一种重要且实用的数学统计方法,EFA在心理学、社会学和医学等领域的调查问卷研制过程中得到广泛的应用。因此,期刊编辑掌握一定的EFA方法和理论,对于审理稿件大有裨益。在审理稿件EFA内容时,编辑应考虑以下方面。
(1)研究样本容量及观测变量数目是否达到分析的基本要求。EFA一般要求样本容量至少为100,观测变量的数目与所提取的因子数目之比至少为4。
(2)对因子进
行提取的方法是否正确。EFA中最常用的因子提取方法是主成分分析法和主轴因子法,两者区别在于分析目的不同:前者利用降维思想,用最少的因子较大程度解释原始数据的方差;后者用于确定数据结构。
(3)EFA结果
描述的信息是否完整。作为EFA的基础,稿件中须提供相关矩阵的分析结果、旋转前后因子所解释的方差数值、因子载荷矩阵等信息,否则,研究结果缺乏重复验证的可能。
2.验证性因子分析(CFA)。CFA是研究者为再次确认量表中各维度及所包含的条目是否如原使用者所预期而采用的验证方法。通常情况下,EFA和CFA是因子分析中不可分割的组成部分。在量表分析过程中,首先应采用EFA建立模型,再用CFA对模型进行检验和修正,前提是在分析过程中必须要两组分开的数据来做。例如,在血糖负荷相关饮食知信行量表的因子分析研究中,为确定量表的结构和模型拟合程度,作者首先通过EFA对量表的所有条目进行筛选和分类,再根据EFA的分析结果,通过CFA对模型的拟合效果进行检验,以证实量表的结构效度良好。随着量表在医学领域中的应用越来越广泛,医学期刊中的量表类稿件也会越来越多,编辑掌握适当的统计学知识对于此类稿件的审校意义重大。量表的质量分析是量表研究中最重要的结果呈现形式,然而,现有的文献无法具体指导期刊编辑对此类稿件的审编,加之一些期刊编辑对量表的质量分析方法不是很熟悉,造成已发表的期刊论文中出现了质量较差的量表类文献。笔者结合本刊的实践经验,对量表类稿件中的统计学问题和审查要点进行了总结,方便同仁掌握其中的统计学方法。编辑掌握了量表类稿件的统计方法,可以对稿件进行高效的审核,从而降低出错概率,提升期刊的稿件质量。
更多医学卫生职称职务资格评审条件和论文期刊要求相关信息推荐:
联系方式详见:医学全在线论文投稿联系方式
医学全在线-论文频道(www.med126.com/lunwen/)第一时间整理发布全国各地医学职称评审公告、评审结果、论文评审条件、期刊目录等通知。