- 综合评价方法及其医学应用
- 孙振球
- 6181字
- 2020-08-28 18:24:46
第三节 评价指标的权重估计
在利用挑选出来的评价指标建立评估模型时,还应当考虑各指标对评价结果的影响大小,即各个评价指标在评价模型中的权重问题。
目前用于确定指标权重的方法很多,归纳起来,有主观定权法和客观定权法两类,前者主要包括专家评分法、成对比较法、Saaty权重法等;后者主要包括模糊定权法、秩和比法、熵权法、相关系数法等。无论哪一种方法所定权重分配有相对合理的一面,也有局限的一面,这表现为:定权带有一定的主观性,而且用不同方法确定的权重分配,可能不尽一致,这将导致权重分配的不确定性,最终可能导致评价结果的不确定性。因而在实际工作中,无论用哪种方法确定权重分配,都应当依赖于较为合理的专业解释。
以下介绍几种较为常用而简便的定权方法。
(一)专家评分法
这是一种依靠有关专家,凭借他们在某一学科领域内的理论知识和丰富经验,以打分的形式,对各评价指标的相对重要性进行评估,然后借助统计手段,以确定各评价因子权重大小的方法。
1.评估专家的选择
所谓专家,应当是在自己所擅长的领域很少犯错误的专门人才。擅长领域 A i是大系统 S中某个子系统的 S i的组成部分,评估专家在 A i领域拥有专门的知识和经验。例如,在临床医学系统中, A i领域可能是内科、外科、妇产科或儿科等。在 A i领域,评估专家应当拥有一定的信息贮备量,例如:一般方法学和基础;理论规律性与基本趋势的知识;参考资料量; A i领域及其相近领域的交叉学科知识;以往评估的经验;对该部门其他评估专家不同观点的独立见解等。
某一评估专家的水平可以用“擅长系数”来表示。
q=1-2 p
(1-7)
式中 q为擅长系数; p为答错的概率。
若答对与答错的概率相等( p=0.50),则 q=0;理想的“绝对正确”评估专家, p=0, q=1。当然,错答的概率还取决于提问的复杂性与重要性。通常在选择评估专家时,其擅长系数不应低于0.80。
评估专家的挑选,取决于具体课题的目的与任务,宜从本部门内外,甚至从国内外同时挑选。从外部选择专家比较困难,首先要搜集本部门职工较熟悉的专家名单,再从有关期刊和出版物中物色一批知名专家。然后发给这两部分专家以某种形式的调查表,并了解该专家能否自始至终参加评估,并要求他们再推荐1~2名有关专家。评估领导小组从推荐名单中,选择一批有2人以上同时推荐的专家。
在选择专家的过程中,不仅要注意选择有一定名望的本学科专家,还需要选择有关的边缘学科及社会学与经济学方面的专家。选择承担各种技术领导的专家固然重要,但应考虑他们是否有足够的时间填写调查表。经验表明,一个身居要职的专家匆忙填写的调查表,其参考价值不如一个一般专家认真填写的调查表。对某些课题,如专家来源困难时,可挑选在该领域内从事10年以上技术工作的专业干部作为评估专家。
至于专家组人数,取决于评估问题的规模。人数太少,限制学科代表性,人数太多,难于组织与进行结果处理。据研究,对于预测而言,预测精度与参加人数呈函数关系,即随人数增加精度提高,但当人数接近15人时,进一步增加专家人数对预测精度影响不大(图1-1),此点似可供确定评估专家人数时借鉴。有人提出以10~50人为宜。
图1-1 专家人数与预测误差的关系
2.几种主要的专家评估方法
(1)直接评分法
1)评分方式:
可分别采用专家个人判断、专家会议、“头脑风暴”等各种方式。
个人判断,即分别征求专家个人意见,在专家各自单独给评价因子的相对重要性打分的基础上,进行统计处理,以确定各因子的权重。该法主要优点是专家打分时不受外界影响,没有心理压力,可以最大限度地发挥个人创造能力;主要缺点在于仅凭个人判断,易受专家知识深度与广度的影响,难免带来片面性。
专家会议,即召开所有被挑选的专家开会,以集体讨论的方式进行评分,然后再以统计手段确定各因子的权重。该法目前较为常用,其主要优点是可以交换意见,相互启发,弥补个人之不足。然而专家会议也有明显的缺点,主要表现在易受心理因素的影响,不愿公开修正已发表的意见等。为了克服以上缺点,近年来有人提出召开“头脑风暴”式的专家会议。所谓“头脑风暴”,是通过专家间的相互交流,使专家的意见不断集中和精化。该方法作为一个创造性思维方法已在预测与评价中得到广泛应用。这种方法对参与会议的专家及专家发表意见的方式都有一些相应的规定,例如,当参加会议的专家相互认识时,要从同一职位人员中选取,领导人员不应参加,否则对下属人员将产生心理压力;当参加者互不认识时,可在不同职位的人员中选取,这时无论成员的职务与职称等级,都给予同等对待;而且提倡会议的参加者即席发言,不对别人的意见提出质疑和批评等。这样将有助于克服一般专家会议的短处,而发扬其长处。
2)评价指标权重的确定:
首先由参加评估的专家给各评价指标的相对重要性一个评价分数,通常用100分制或10分制评分法;有时也可根据需要采用等差或等比级数评分法。例如将权重分为极重要、重要、一般和不重要四级时,各级权数评分之比可按等差(例如4∶3∶2∶1)给分,或按等比(例如16∶8∶4∶2)给分。然后计算每一评价指标的平均分数,如果不考虑专家的权威程度,则据各评价指标的平均分数便可确定各指标的权数;如果考虑专家的权威程度,则应计算每一指标的加权平均分数,并以此确定各指标的权重。
例1-1
选定6个专家对4个评价指标进行权重评估,得分见表1-3。
表1-3 各评价指标得分
如不考虑各专家权威程度,则各评价指标的权重比例为: W A∶ W B∶ W C∶ W D=75∶57∶33∶18,经归一化处理后,权重分配为: W A∶ W B∶ W C∶ W D= 0.41∶0.31∶0.18∶0.10。
如果考虑各专家的权威程度,则应计算另一个指标:各专家权威程度系数。
专家的权威程度一般由两个因素决定,一个是专家水平及其打分的判断依据,用 A i表示;一个是专家对问题的熟悉程度,用 A s表示。专家权威程度以自我评估为主,有时也可相互评估。自我评估时,应填写判断依据及其影响程度表和对问题熟悉程度表(分别见表1-4和表1-5)。
表1-4 专家判断依据及其影响程度
表1-5 专家对问题的熟悉程度系数
续表
然后分别据表1-4和表1-5求出某专家的判断系数 A i与熟悉程度系数 A s,则某专家权威程度系数为:
A a=( A i+ A s)/2
(1-8)
A a求出后,把它作为权数,对各评价指标的评分值进行加权平均,即可得到加权后的权数分配。
设上面讨论的问题主要涉及内科、生理学、流行病学及卫生统计学等方面的问题,某专家填表结果如表1-4和表1-5中“∗”所示,则该专家:
A i=0.3+0.4+0.05+0.05+0.05+0.05=0.90
A s=1.00+0.70+0.50+0.30=2.50
A a=(0.90+2.50)/2=1.70
并按此法分别求得其他5位专家的 A a为:1.80,1.60,1.40,1.20,1.30,那么加权后的权数分配为: W A∶ W B∶ W C∶ W D=114∶83∶51∶27,经归一化处理后, W A∶ W B∶ W C∶ W D=0.41∶0.30∶0.19∶0.10。
3)专家意见协调系数:设参与权重评估的专家数为 m,待评估指标数为 n,则反映 m个专家对全部 n个指标权重评估的协调程度(或一致程度)的指标称为协调系数,以 w表示。现以上题为例,说明其计算方法(表1-6)。
表1-6 专家协调系数计算表
续表
① 按专家对各指标评分排秩,遇相等评分时,取平均等级,并按指标计算等级和,然后再计算各指标的平均等级和:
(1-9)
式中 T j为第 j个评价指标之等级和; R ij为第 i个专家对第 j个指标的评分等级。
(1-10)
式中 为各指标平均等级和。
本例 A指标等级和为: ,余类推。
各指标平均等级和为:
② 计算协调系数:
(1-11)
式中
(1-12)
(1-13)
当有相同秩次时,要对 ω进行校正:
(1-14)
式中 t k为相同秩次的个数。
协调系数在0~1之间取值,越接近1,表示所有专家对全部指标评分的协调程度较好,反之,则意味着专家们协调程度较差,说明专家之间对各评价指标相对重要性的认识存在较大的不一致性。当然,我们希望协调系数越大越好,这说明各评价指标的权重估计较为稳定可靠。本例,
(2)成对比较法:
专家组根据评价目的,将每一评价指标分别与其他评价指标成对比较,其中较重要的记1分,较不重要的记0分;在建立成对比较矩阵的基础上,建立评价指标权数矩阵,以确定权重。
例1-2
拟选用5个指标对某型载重汽车进行质量综合评价,试确定各指标的权数。
首先将各指标进行一一对比打分,并列出成对比较矩阵,如表1-7所示。
表1-7 成对比较矩阵
表1-7的最左边纵向列出的指标称为列指标,表的最上边横向列出的指标为行指标。当专家组认为列指标优先于行指标时,相应格子中斜线的上半部记1,下半部记0,反则反之。显然,当列指标与行指标系同一指标时,相应格子的斜线上下不作任何标记。对于本例,经专家组比较后确认: A不如 B, A得0分, B得1分; A优先于 E, A得1分, E得0分;……所有各种组合的成对比较结果见表1-7,并累积各评价指标总分,见表1-7最右边一栏。
为确定各评价指标的权数,必须建立如表1-8所示的权数矩阵。该表中,首先按得分顺序,将各指标自上而下排序;而后由专家组确定各评价指标间的相对重要程度,如 D为 E的1.2倍, A为 D的1.5倍, C为 A的1.5倍, B为 C的1.2倍等,如表中第(3)栏所示;然后计算各指标的初始权数,令得分最低指标 E的初始权为1.0,再结合第(3)栏数据求出各指标的初始权数。例如 D的初始权数为1.0×1.20=1.20, A的初始权数为1.20×1.50=1.80,……,为计算方便,最后将各指标的初始权数进行归一化处理,便得到各指标的权数分配,如第(5)栏所示。
表1-8 用成对比较法确定各指标权数
(3)Saaty权重法:
系Saaty在层次分析法中提出的权数计算方法。其主要步骤如下:
1)将评价指标进行对比打分,评分标准见表1-9。
表1-9 目标树图各层次评分标准
2)根据各指标对比打分值,建立判断矩阵。例如:拟据医疗工作、护理工作、膳食供应三个评价指标评价医院工作质量,试用Saaty法估计各指标的权数分配,见表1-10。矩阵中各元素为行因素重要程度的对比值,例如第一行第二列元素为3,表示医疗工作(行指标)之重要性略大于护理工作(列指标);第二行第一列元素则为第一行第二列元素的倒数,表示护理工作(行指标)的重要性略次于医疗工作(列指标),依此类推。
表1-10 第一个子目标分层成对比较判断优选矩阵
3)求判断矩阵的最大特征根 λ max及其相应的特征向量 W max, W max中的各分量即各指标的权重。
实际计算时,先用近似解法求各指标的权重:
(1-15)
式中 W′ i表示第 i个指标的权重; a i 1, a i 2,…, a im分别表示判断矩阵中第 i行各元素; m表示评价指标个数。本例:
经归一化处理后: 可得到权重向量为: W 1=0.6370, W 2=0.2583, W 3=0.1047,即权重分配为:医疗工作∶护理工作∶膳食供应=0.6370∶0.2583∶0.1047。
亦有学者提出计算各指标权重更简便的方法,见表1-11。
表1-11 各指标权重计算
4)用一致性指标 CI检验该项目的相对优先顺序有无逻辑混乱,一般认为,当 CI= 时,可能无逻辑混乱,即计算得的各项权重可以接受。其中:
(1-16)
(1-17)
本例
λ 1=(1×0.6370+3×0.2583+5×0.1047)/0.6370=3.024
λ 2=(1/3×0.6370+1×0.2583+3×0.1047)/0.2583=3.016
λ 3=(1/5×0.6370+1/3×0.2583+1×0.1047)/0.1047=3.074
λ max=(3.024+3.016+3.074)/3=3.038
CI=(3.038-3)/(3-1)=0.019<0.10
CR=0.019/0.58=0.0328<0.10
认为各项权重判断无逻辑错误,可以接受。
(4)关于组合权重问题:
当评价指标可分层时,即某项或某几项评价指标可再分为次级评价指标时,则次级评价指标的权重既应考虑其本身在所有次级评价指标中的权数分配,又要考虑其高层评价指标在所有评价指标中的权数分配,即所谓组合权重。本节介绍以下两种求法:
1)代数和法:
仍以载重汽车质量评估为例说明。设前述五个评价指标又可分为三个次级评价指标,即驱动装置、车体与控制系统,试计算次级指标的组合权重。
① 用成对比较法确定评价指标及次级评价指标的权数分配,见表1-12。
表1-12 组合权重计算
② 计算各次级指标的组合权重,见表1-12最下面一行(合计)。
例如:驱动装置的组合权重=0.18×0.4+0.32×0.6+0.28×0.3+0.12×0.20+0.1×0.1=0.382。
2)乘积法:
Saaty在层次分析法中提出了计算各层评价指标组合权重的方法。例如,拟对某市6所综合医院进行质量评估,用Saaty法求得各层次评价指标权重及最后评价指标的组合权重,如图1-2所示。对“医疗工作”而言,最后一层评价指标的组合权重等于各层指标权重的连乘积。例如,有效率的权重=医疗工作权重×医疗质量权重×疗效权重=0.6370×0.5396×0.6670=0.2293。
图1-2 乘积法求各层次评价指标的组合权重
(二)模糊数学综合评价的逆方法
给定单因素评判的组矩阵 R和综合评判 B,求权数分配 A,即为综合评判的逆问题。
逆问题的解 A的存在是有条件的,有时有唯一解,有时可能有多个解。
逆问题有解存在的必要条件是:如果模糊方程A·R=B有解,则对每一个 j列,都有:
(1-18)
式中 r ij为 R中的元素; b j为 B中的元素。
为了判断解的存在性,引入:
1. α合成,设 a, b∈ L[0,1],则 a与 b的 α合成定义为
(1-19)
2.设R=( R ij) n × m,C=( C 1, C 2,..., C n) T,则 R和 C的@合成定义为 R@ C,它的元素为:
(1-20)
3.模糊矩阵的逆矩阵:
(1-21)
即R -1就是R的转置。Sanchez曾给出A·R=B有解的必要充分条件是( R@ B -1) -1为A·R=B的解,并且这时( R@ B -1) -1是它的最大解。
于是,当给出模糊方程A·R=B时,可先根据式(1-18)检查,看其是否满足有解的必要条件,若满足,就用Sanchez的定理算出( R@ B -1) -1,并把它代入方程,检查它是否为其解;若不满足,则该方程无解。如方程:
显然无解。
以下给出一个有解方程的例子:
设某电视机,单就“图像”考虑,有60%的人认为很好,有20%的人认为较好,有20%的人认为尚可,无人认为不好。这样,单就“图像”这一因素考虑,该电视应得的评价为(0.6,0.2,0.2,0.0)。又假设单就“声音”这一因素考虑,对该电视机所作的评价为(0.4,0.4,0.1,0.1),单就“价格”所作的评价为(0.3,0.4,0.2,0.1)。于是得到 R为:
若事先知道该类电视机的综合评判B为(0.4,0.3,0.2,0.1)即综合图像、声音、价格三个评价指标考虑,认为很好的占40%,较好的占30%,尚可与不好的分别占20%与10%。现在的问题是要求出顾客对三个评价指标的权数分配A。
首先,设顾客对三个评价指标的权数分配为:A=( a 1, a 2, a 3);则其模糊方程为:A·R=B,即:
其次,用式(1-18)对以上模糊方程进行检查:因为 (对所有的 j),所以上述方程满足有解的必要条件。
再次,据Sanchez定理计算(R@B -1) -1,即:
最后,求(R@B -1) -1,即
将A代入原方程,等式成立,故A为原方程的最大解,即顾客对三个评价指标的最大权数分配为(0.4,0.3,0.3)。
(三)统计计算法
用某些统计方法进行资料分析时,可得到有关因素权重分配的信息,例如在多元回归分析及逐步回归分析中,各自变量的标准化偏回归系数值,即可视为各指标权重分配的依据;此外,如计数资料判别分析中的指数,计量资料判别分析中各因子的贡献率,主成分分析中得到的因子载荷和贡献率等,都可为确定指标权重提供必要的信息;某些特定的统计方法,例如去某死因后期望寿命的增量, PYLL计算中各年龄组尚可生存年数等,都可为各死因的相对重要性提供有关权重分配的信息;还可根据专业需要,自行设计权重计算的公式。例如拟选用 DO、 BOD、 COD、酚、 CN五项指标进行水污染程度综合评价,考虑到各单项指标在总体污染中的作用,对于不同用途的水,应有不同侧重,因而对各单项指标应给予一定的权重。某单位采用根据分指标超标情况进行加权的方法,其计算公式为:
W i= C i/ S i
(1-22)
式中: C i为 i种污染物在水中的浓度; S i为 i种污染物对于某种用途水的浓度标准值; W i为该污染物,或该项评价指标在综合评价中的权重。
由于 DO指标与其他指标相反,其值愈大说明水质愈好,故计算权重时取其倒数。为了评价的方便,最后将各指标的权重值进行归一化处理。
(孙 平 孙振球)