2.5 检验检测工具与方法要求
2.5.1 检验检测工具通用要求
检验检测机构配备的物联网检测工具通常包括检验检测仪器设备、测试软件等。
检验检测实验室为了确保关键检验检测仪器设备达到规定的准确度、灵敏度及稳定度并符合预期要求,对不同管理类别的检验检测仪器设备分别采用检定、校准、验证的方法进行管理,以确定检验检测仪器设备的性能符合预期的使用要求。
检验检测工具量值的溯源性、参数精度准确性和测量不确定度直接影响检测结果的可信度,因此应定期对检验检测仪器设备采取检定、校准、测量不确定度评定、比对验证等措施,以确保检验检测仪器设备的工作状态、参数精度符合检验检测要求。
2.5.2 物联网软件测试工具要求
物联网检验检测机构所采用的软件测试方法,一般包括测试用例集、测试工具(硬件和软件)及其使用方法、依托测试工具运行测试用例获得测试结果的相关程序三要素。为了保证不影响软件测试方法的运用和测试结果,实验室应具有适当的软件测试方法使用指导书,有措施确保测试用例、测试脚本、测试数据和测试工具的一致性、有效性。
软件测试方法确认应尽可能全面,包括对被测试软件的各种质量子特性的测试顺序、测试约束及测试输入的组合并进行测试方法的验证。
应对测试环境中使用的测试工具软件进行系统性、适宜性检查,检查内容包括验证数据计算、数据转移等。实验室应保证测试环境中所有的测试软件为正式版软件且版本正确。
软件测试设备包括测试工具软件,以及计算机系统、网络系统、适配器、测试输入和结果输出等硬件设备。
在投入使用有指标要求的测试工具前应对其使用范围进行检查。例如,对于允许500个用户的测试工具,在初次使用前,应采用适当的方法对其是否符合要求予以核查确认。
2.5.3 物联网信息安全测试工具要求
物联网检验检测机构应按照检测方法制定可操作的文件化程序。信息安全检测所采用的检测方法可能涉及检测样本集(如病毒样本库、网络攻击数据包、漏洞库等)、检测用例集,以及检测工具/平台等。所有检测方法都应经过适当的验证、确认及其文件化管理。实验室应确保测试使用的检测样本集为最新版本。
信息安全检测设备应包括硬件设备和软件检测工具。实验室应在每个项目测试前对检测设备进行核查。实验室应确保检测设备满足信息安全产品检测的要求。对于性能检测项目,实验室还应具备性能测试能力。实验室所选用的设备应是具有可追溯性的商用软件和硬件。
2.5.4 检验检测设备的检定与校准
检定:由法制计量部门或法定授权组织按照检定规程,通过实验,提供证明来确定测量器具的示值误差满足规定要求的活动。
校准:在规定条件下,为确定计量仪器或测量系统的示值,或实物量具或标准物质所代表的示值,分别采用精度较高的检定合格的标准设备和被计量设备对相同被测量物进行测试,得到被计量设备相对标准设备误差的一组操作,从而得到被计量设备的示值数据的修正值[18]。
检定和校准的区别如下。
1. 目的不同
检定的目的是对测量装置进行强制性全面评定。这种全面评定属于量值统一的范畴,是自上而下的量值传递过程。检定应评定计量器具是否符合规定要求,即评定测量装置的误差范围是否在规定的误差范围之内。
校准的目的是对照计量标准,评定测量装置的示值误差,确保量值准确,是属于自下而上的量值溯源的一组操作。
这种示值误差的评定应根据组织的校准规程做出相应规定,按校准周期进行,并做好校准记录及校准标识。
2. 对象不同
检定的对象是《中华人民共和国计量法》中明确规定的强制检定的测量装置。检定的对象主要是以下三大类计量器具。
(1)计量基准(包括国际计量基准和国家计量基准)。
(2)计量标准。
(3)计量法规定列入强检目录的59种计量器具。
校准的对象是属于强制性检定之外的测量装置。我国非强制性检定的测量装置,主要指在生产和服务提供过程中大量使用的计量器具,包括进货检验、过程检验和最终产品检验所使用的计量器具等。
3. 性质不同
检定属于强制性执法行为,属于法制计量管理的范畴。
校准不具有强制性,属于组织自愿的溯源行为。
4. 依据不同
检定的主要依据是《中华人民共和国国家计量检定规程》(JJG),它是计量设备检定必须遵守的法定技术文件。这些规程属于计量法规性文件,组织无权制定,必须由经批准的授权计量部门制定。
校准的主要依据是组织根据实际需要自行制定的《计量校准规范》,或按照《中华人民共和国国家计量校准规范》(JJF)的要求执行。
5. 方式不同
检定必须到有资格的计量部门或法定授权的单位进行。
校准的方式可以采用组织自校、外校,或自校加外校相结合的方式。
组织在具备条件的情况下,可以采用自校方式对计量器具进行校准,从而大大节省费用。
6. 周期不同
检定的周期必须按《中华人民共和国国家计量检定规程》(JJG)的规定进行,组织不能自行确定。检定周期属于强制性约束的内容。
校准周期由组织根据使用计量器具的需要自行确定,可以定期校准,也可以不定期校准,或在使用前校准。
7. 内容不同
检定的内容是对测量装置的全面评定,要求更全面,除包括校准的全部内容外,还需要检定有关项目。
校准的内容和项目仅评定测量装置的示值误差,以确保量值准确。
8. 结论不同
检定必须依据《中华人民共和国国家计量检定规程》(JJG)规定的量值误差范围,给出测量装置合格与不合格的判定。超出《中华人民共和国国家计量检定规程》(JJG)规定的量值误差范围为不合格,在规定的量值误差范围之内则为合格。检定的结果是给出《检定合格证书》。
校准的结论只是评定测量装置的量值误差,确保量值是否准确,不要求给出合格或不合格的判定。校准的结果可以给出《校准证书》或《校准报告》。
9. 法律效力不同
检定的结论具有法律效力,可作为计量器具或测量装置检定的法定依据,《检定合格证书》属于具有法律效力的技术文件。
校准的结论不具备法律效力,给出的《校准证书》只标明量值误差,属于一种技术文件。
检定、校准的选择如下。
(1)属于国家强制检定目录中计量器具或测量装置的送检,主要用于有法制要求的场合。例如,企业锅炉上的压力表要定期送检。
(2)国家强制检定目录外的计量器具或测量装置,但有JJG标准或JJF标准的,若企业具备标准设备、器具、专业人员及校准方法,可进行自行校准。自行校准主要用于准确度要求较高,或受条件限制必须使用较低准确度计量器具进行较高测量要求的地方,这是企业最常用的方法,如生产装置上大多数仪表的校准。
2.5.5 检验检测方法确认
1. 方法的选择和验证
为社会出具公证数据的检验检测机构,其检验检测方法的选择和确认是检验检测工作的重要环节,应引起高度重视。为确保检验检测工作符合标准或技术规范要求,应选择适宜的检验检测方法。如果选择非标准方法,则应经过确认。
检验检测应首选以下正式颁布的标准或指定的方法。
(1)国际或区域标准。
(2)本国与其他国家的标准。
(3)本国颁布的行业标准或政府发布的技术规范。
(4)本国地方标准。
(5)明示的企业标准。
(6)知名技术组织或科学书籍与期刊公布的方法。
(7)客户指定的方法。
当客户未指定所用的方法时,检验检测机构应选择适当的方法并通知客户。推荐使用国际标准、区域标准或国家标准发布的方法,或由知名技术组织或有关科技文献或期刊公布的方法,或设备制造商规定的方法;也可使用检验检测机构制定或修改的方法。对检验检测方法的偏离,应事先将该偏离形成文件,做技术判断,获得授权并被客户接受。客户接受偏离可以事先在合同中约定。
所有方法、程序和支持文件,如与检验检测活动相关的指导书、标准、手册和参考数据,应保持现行有效并方便检验检测人员获取、阅读。
检验检测机构应确保使用最新有效版本的方法,除非不合适或不可能做到。必要时,应补充方法使用的细则以确保应用的一致性。
如果国际、区域或国家标准,或其他公认的规范文本包含了实施检验检测活动充分且简明的信息,并便于检验检测机构操作人员使用时,则不需要再进行补充或改写为内部程序。对方法中的可选择步骤,可能有必要制定补充文件或实施细则。
检验检测机构在引入方法前,应验证能够正确地运用该方法,以确保实现所需的方法性能,并应保存验证记录。如果发布机构修订了方法,则应在所需的程度上重新进行验证。
当需要开发方法时,应予以策划,指定具备能力的人员,并为其配备足够的资源。在方法开发的过程中,应进行定期评审,以持续满足客户需求。开发计划的任何变更应得到批准和授权。
2. 方法确认
检验检测机构应对非标准方法、检验检测机构自己制定的方法、超出预定范围使用的标准方法或其他修改的标准方法进行确认。确认应尽可能全面,以满足预期用途或应用领域的需要。确认可包括检验检测或校准样品的抽样、处置和运输程序。
可用以下一种或多种技术进行方法确认。
(1)使用参考标准或标准物质进行校准或评估偏离和精密度。
(2)对影响结果的因素进行系统性评审。
(3)改变控制检验检测方法的稳健度,如培养箱温度、增加样品体积等。
(4)与其他已确认的方法进行结果比对。
(5)检验检测机构之间的比对。
(6)根据对方法原理的理解及抽样或检验检测方法的实践经验,评定结果的测量不确定度。
当修改已确认过的方法时,应确定这些修改可能造成的影响。当发现这些修改影响到原有的确认时,应重新进行方法确认。
检验检测机构应保存以下方法确认记录。
(1)使用的确认程序。
(2)规定的要求。
(3)确定的方法的性能特性。
(4)获得的结果。
(5)方法有效性声明,并详述与预期用途的适宜性。
2.5.6 测量不确定度
一个测量结果应有相应的表示测量结果质量的指标,以方便那些使用测量结果的人评定其可靠性。要测量就会有不确定度[19,20],不确定度越小,测量水平越高,测量结果的使用价值越高;不确定度越大,测量水平越低,测量结果的使用价值越低。长期以来,误差和误差分析已成为评价测量结果质量的重要部分,但是大多数测量结果的误差都具有相对性,而测量不确定度作为测量结果质量的量化指标越来越受到世界各国测量领域的重视。我国实验室认可与国际技术的接轨,在测量不确定度的表达和计算方面与国际建议相一致已迫在眉睫。
作为检验检测机构,它出具的检验结果(数据、参数),尽管已经到了量值传递的末端,但它也是传递过程中的一个环节。可以说,前面的每个传递过程提出的不确定度,都是为最后一个环节——检测结果的可靠性服务的。
作为一个综合性的产品质量检验检测机构,特别是一个有能力进行自校准的检验检测机构,既要按照标准要求做好出具检测结果不确定度的评定,又要对自校测量设备的测量不确定度进行评定。能否做好这项工作,已成为评价一个实验室技术质量保证能力的重要因素。
GB/T 15481—2000规定:检验检测机构应具有并应用评定测量不确定度的程序。在某些情况下,检验检测方法的性质会妨碍对测量不确定度进行严密的计量学和统计学上的有效计算。如出现这种情况,实验室至少应努力找出不确定度的所有分量且做出合理评定,并确保结果的表达方式不会对测量不确定度造成错觉。合理的评定应依据对方法性能的理解和测量范围,并利用过去的经验和确认的依据。
1. 测量不确定度的定义
测量不确定度是“表征合理地赋予被测量之值的分散性,与测量结果相联系的参数”。通常,测量结果的好坏用测量误差来衡量,但是测量误差只能表现测量的短期质量。测量过程是否持续受控,测量结果能否保持稳定一致,测量能力是否符合生产盈利的要求,则需要用测量不确定度来衡量。测量不确定度意味着对测量结果的可信性、有效性的怀疑程度,是定量说明测量结果的质量的一个参数。测量不确定度越大,表示测量能力越差;测量不确定度越小,表示测量能力越强。
不确定度的A类评定:用对观测列进行统计分析的方法,来评定标准不确定度。
不确定度的B类评定:用不同于观测列进行统计分析的方法,来评定标准不确定度。
合成标准不确定度:当测量结果是由其他量的值求得时,按其他各量的方差或(和)协方差算得的标准不确定度(可以理解为一种误差分散性的平方为方差,两种误差共同产生的分散性称为协方差)。
扩展不确定度:扩展不确定度是确定测量结果区间的量,合理地赋予被测量的值,使其大部分分布在此区间中,即被测量的值以某一可能性(置信水平)落入该区间中。
2. 测量不确定度的可能来源
从影响测量结果的因素考虑,测量结果的不确定度一般来源于被测对象、测量设备、测量环境、测量人员及测量方法,具体表现如下。
(1)被测量的定义不完整。
(2)复现被测量的测量方法不理想。
(3)取样的代表性不够,即不能代表所定义的被测量。
(4)没有充分了解环境条件对测量过程的影响,或对环境条件的测量与控制的不完善。
(5)模拟仪表读数时存在人为偏移。
(6)仪器计量性能(如灵敏度、分辨力、死区及稳定性等)的局限性。
(7)测量标准和标准物质的不确定度。
(8)引用的数据或其他参量的不确定度。
(9)测量方法和测量过程中引入的近似值及假设。
(10)在相同条件下被测量在重复观测中的变化。
未被认识的系统影响也会导致误差的出现,但在不确定度评定中不可能予以考虑。对上述来源中涉及的检测方法所带来的不确定度,GB/T 15481—2000已加以说明:“某些情况下,公认的检测方法规定了测量不确定度主要来源的值的极限,并规定了计算结果的表示方式,这时实验室遵守该检测方法和报告的说明,可以不再考虑给出检测方法所带来的不确定度。”在编制公认的检验检测方法时,就应该考虑将不确定度减到最小,使之对检测结果的影响降到最低。
3. 不确定度评定在检验检测机构中的应用
机构在进行检验检测活动时遇到下列情况的,必须开展不确定度评定。
(1)当不确定度与检测结果的有效性或应用有关时。
(2)当客户指令中有要求时。
(3)当不确定度影响到对规范限度的符合性时(测试结果处于临界值附近时,不确定度区间宽度对判断符合性有重要影响)。
对于上述情况,在检测报告中需要提供有关不确定度的信息。不过,评定测量不确定度的工作还不仅限于在检测结果中加以考虑。GB/T 15481—2000规定:“校准实验室或进行自校准的检验检测机构,对所有的校准和各种校准类型,都应具有并应用评定测量不确定度的程序。”也就是说,不管是检验检测机构还是校准实验室,只要是在做量值的传递工作,就应根据实际误差来源情况评定测量不确定度。测量不确定度评定总流程如图2-3所示。
图2-3 测量不确定度评定总流程
物联网检验检测机构应根据实际情况决定是否进行软件测试测量不确定度的评定。例如,当软件检测结果涉及测量值并有量值精确度要求的,应具有并应用评定测量不确定度的程序,分析不确定度的因素及其对软件测试结果的可能影响。
物联网检验检测机构应建立稳压、防静电和防范恶意代码篡改、防止计算机病毒、木马程序等不良程序交叉感染的检测环境。例如,实验室应具备有效的恶意代码防护和软件/数据备份程序。实验室还应对检测环境在使用前进行核查。
物联网检验检测机构检测网络的环境应与其他网络隔离。如果同时进行多个检测项目,实验室应保持各个项目检测环境的有效分离,防止外部环境不可控因素对被测试软件和测试结果造成不良影响。当检测活动在实验室以外场所进行时,其检测环境也应满足要求,并确保检测活动在受控环境下执行。
开展好测量不确定度的评定,是检验检测实验室出具检验检测结果可靠、可信的重要保障,是工作的科学性和准确性的体现,是实验室专业技术水平高的体现。