目录

概述
风险管理与可用性测试
商业需求
测试费用
可用性测试剖析
可用性测试的类型
写一份测试计划
选择测试参与者样本和招募志愿者
测试环境
增加真实感
选择任务
执行测试
与测试参与者进行交互
记录测试
分析测试数据
报告结果
验证测试

医疗器械可用性测试通常不涉及接受治疗或服用药物的真正患者。
医疗器械–一种诊断，治疗或监测身体状态的产品
FDA[美国食品药品监督管理局]将医疗器械分为：

• I类：一般控制，器械上市提交上市前通知[pre-market notification,PMN,510(k)]，包括绷带、手套、手持外科器械等，大多数I类器械免除上市前通知或GMP监控
• II类：特殊监管，标签要求，性能标准，上市后监督，包括动力轮椅、输液泵、外科无菌盖布等
• III类：上市前许可，通常用于维持、支持生命或植入体内的器械，需要上市前许可包括人工心脏瓣膜、硅胶乳房填充物、植入式小脑刺激器等，需要上市前通知包括植入式心脏起搏器和周围植入物等

监管者对测试计划建议：

• 找到新的失误
• 设置优先级
• 将测试任务与风险任务分析结果相关联
• 包含辅助任务
• 让代表性用户参与
• 让“低功能”用户参与
• 让语言能力弱的人参与
• 公司员工作为测试参与者

提供培训

• 提供样机培训
• 获取培训/学习材料
• 允许培训效果减退

1. 样本大小
2. 识别离群值[outliers]
3. 收集与使用安全无关的数据
4. 追踪难点和侥幸事件
5. 主观评级的价值
6. 临床发现的价值
7. 任务时间
8. 关注产品级器械
9. 使用失效分析
10. 保护人类受试者
11. 准确地执行任务
12. 确保实际工作流
13. 让用户小组报告结果

医疗器械使用安全：将人因工程纳入风险管理
国际标准化组织[ISO]14971：2007提供了对危险事件[即损害]发生概率进行分级的指导：

• 频繁>=10^-3
• 很可能<10^-3且>=10^-4
• 偶尔<10^-4且>=10^-5
• 极少<10^-5且>=10^-6
• 不可能<10^-6

以相同标准有个危险事件严重性分级指导：

• 灾难性的：导致死亡
• 危急的：造成水久性损伤或危及生命的创伤
• 严重的：造成需要职业医疗介入的创伤或损伤
• 轻微的：导致不需要职业医疗介入的临时性的创伤或损伤
• 可忽略的：不便或暂时性的不适

 三个例子，识别风险与潜在失误

 一个典型的评定量表：

• 10-绝对不可检测
• 9-可检测性非常微小
• 8-可检测性微小
• 7-可检测性非常低
• 6-可检测性低
• 5-可检测性中等
• 4-可检测性较高
• 3-可检测性高
• 2-可检测性非常高
• 1-几乎一定可检测

规划、进行一个报告需要时间eg:

制造商签订可用性测试服务合同时需要形成一份询价单[request for quotation,RFQ]，也可称为招标书[request for proposal,RFP],或工作说明书[statment of work,SOW]。

一份请求医疗器械可用性测试的清单细节：

• 测试类型：形成性可用性测试，总结性可用性测试，基准可用性测试
• 可交付结果：测试计划及测试报告，可能包括测试数据和照片拷贝，原始视频和显著视频，数据收集表格或一份测试结果的个人报告
• 日程表
• 测试参与者：包括在测试内的特殊参与人群[eg:护士，技术人员]
• 测试参与者招募
• 位置：所选国家代表被测医疗器械的主要销售市场
• 设施：包括单向镜隔开的测试室和观察室
• 会议
• 人员配置
• 测试管理员
• 装置：电脑，器械，供操作的解剖模拟器，其他如校准液、试纸、注射器、管路、静脉输液袋
• 培训
• 学习辅助资料：使用说明，参考卡，动画、视频
• 数据收集的目标
• 现场观察员
• 远程观察
• 合同类型
• 投入水平
• 报价单形式
• 报价单内容：特定部分，执行概要，目标，假设和约束条件，技术方法，可交付成果，项目工作人员，日程表，定价，条款和条件，相关工作经验，参考
• 在寄送RFQ时和分享其他相关器械信息前希望供应商签署一份保密协议[NDA]

可用性测试成本：主要有可用性专家的劳动报酬，测试参与者奖励，设施租赁，测试设备，旅行费，运输费，翻译费其他如三餐，茶歇等

可用性测试的投资回报[return on investment,ROI]是不确定的，综合人因工程项目可能产生9：1的投资回报率

典型可用性测试所具有的要素：

• 欢迎测试参与者：2-3min
• 阅读保密性需求：2-3min
• 解释测试有关的风险和保护措施：1-2min
• 概述测试参与者的权利：1min
• 解释测试的目的：1-2min
• 描述测试活动：1-2min
• 教会参与者如何“有声思维”：2min
• 解释评级量表：1min（可能）
• 进行测试前访谈：2-3min
• 提供器械概况：3-5min
• 收集第一印象：3-5min
• 引导参与者执行任务：据医疗器械复杂性决定时间
• 进行测试后访谈：5-10min
• 基于参与者酬劳：1min ,签字
• 感谢并和参与者解除关系：1-2min
• 向利益相关方通报：30-60min

额外的测试会话元素：

• 确定设计优先级，评估学习成果，评估易读性，评估图标清晰度，评估说明书，进行扩展采访，比较设计方案，探索新方案
• 注意：10min欢迎和引导测试者熟悉环境，签署保密协议，测试目的解释，基本规则，一些背景问题和问卷，测前审查；
• 测后5min报酬和感谢，重申保密性，护送离开
• 会话超60-90min，留5-10min休息
• 测试比预估时间长1/3时间，俩个测试间隙分配15min
• 预估10-20%参与者迟到

可用性测试类型

形成性可用性测试：评价演化中的设计[evolving design]，目标是识别设计改进的机会，并确定设计正在朝着正确的方向不断发展

总结性可用性测试：评价产品级设计，目标是确认设计能满足预期用户需求，并能促进安全、有效的用户交互

 基准可用性测试：评估原版器械[predecessor device]或竞品器械

       基准可用性测试需要收集更多性能数据，耗时变长，参与者与多个器械交互并评价，注意控制参与者对竞争器械的熟悉程度，较少关注如何改进基准器械。基准测试数据是最有用的，一些医疗器械可用性目标[IEC,2007]例子如下：

• 用户应能在平均两分钟以内校准好分析仪；
• 用户将应能在平均30秒以内接好呼吸机的呼吸回路；
• 用户对病人监护仪初始易用性的平均评级应超过5.0(等级:1=很糟，7=很好);
• 用户应能在平均15秒钟内停止注射泵;
• 用户应能在平均10分钟内把一次性管路接到机器上;
• 75%的新用户应能在首次尝试中成功地将血糖采集数据上传到数据管理软件中

       建议在一次基准可用性测试中不超过3-4台器械

“开箱”可用性测试

       测试参与者从一个密封或包装的盒子打开包装查看开始测试，根据直觉和说明进行一系列任务，不仅揭示测试参与者如何与包装进行交互，还可以揭示如何处理盒子里物品。此测试评估器械是非处方产品，如血糖仪。

合作发现可用性测试：在器械开发过程的早期进行合作发现是最合适有价值的

整合可用性测试：小组访谈

应急可用性测试：日期安排和预算约束

测试计划

5W+1H：谁执行参与测试，测试什么，测试在哪进行，测试何时进行，为何测试，怎样执行测试、归档和上报

包含内容：背景、目的、测试计划、测试工具、参与者、测试环境、方法学、数据收集、数据分析、报告

测试计划附件还包括：招募宣传、保密性和视频影像发布格式、测试前访谈、设备概要、任务、危险/危害分析、打分和评级方式、任务完成后访谈、测试完成/结束访谈

可用性测试管理部门：美国FDA，日本PMDA，英格兰、威尔士、北爱尔兰MHRA，德国BfArM

CE认证：

制造商想在欧洲经济体[EEA]包括欧盟[EU]成员国和欧洲自由贸易联盟[EFTA]内销售产品需要CE认证[法语，欧洲认可]。

有两个标准与CE标识医疗器械的可用性工程有关：EN/IEC 62366:2007，医疗器械——可用性工程在医疗器械的应用；IEC 60601-1-6，医学电气装备-1-6部分：基本安全要求——附属标准：可用性

可用性测试如何印证可用性目标：

IEC 62366:2007呼吁医疗器械制造商建立可用性目标进行测试设备是否符合，通常这个目标设计效率、效力和使用者满意度，不同于使用安全，原则上一款设备满足制造商的所有目标进而达到标准但不一定能通过审核。

可用性测试计划需要伦敦审查委员会批准吗？

       IRB由研究机构组成，基于人员是否受到足够的保护来独立决定是否通过或要求更改研究方案。

       IRB三个审查等级

可用性测试的危害和相应防护措施

保护知识产权

测试计划阶段：虚拟名，涂改硬件制造商信息，避免远程测试

招募阶段：征召信息避免制造商身份或设备特性细节，通话要求保密，潜在参与者无医疗器械公司工作或提供咨询，招募员不透露

测试阶段：测试环境设置或覆盖设备原型或相关工作人员不得透露信息，签署保密协议，测试发起人身份保密解释，隐瞒相关信息，测后重述保密

测试参与者样本和招募参与者

       医疗器械监管者认为样本量15-25人的总结性测试可满足测试要求。

       测试样本经验：6样本揭示大部分重要可用性问题，12样本获得可靠结果，25人获得可靠结果并证明一定程度的测试表面程度。

儿童参与可用性测试：

• 年龄适宜，通过父母招募儿童且让父母陪同，一些规则如下：
• 通过父母或监护人招募，且签署孩子参与测试和承担相应风险的协议
• 招募时间更耗时控制在1-2周
• 实验室装饰温馨舒适，测前带入父母和儿童，进行简单交流，确保儿童了解，测试简明扼要，父母或监护人留在测试场所
• 测试提问调整词汇和风格
• 提供餐点注意食物过敏现象
• 报酬给儿童

老年人参与可用性测试

       传统为65岁及以上为老年人，现在世纪转变比前辈更长久健康有活力考虑认为65岁可相当于55岁

        测试显著特征：出现失误倾向于自责，犯同一种错误多次，视听障碍，更易疲劳，更多时间请求并做行动，对探索软件界面难以形成结构的心理模型

残疾人参与可用性测试

人口普查显示：

21-64岁，16.5%至少有一种缺陷，11%有一种严重缺陷；

65岁+，51.8%至少有一种缺陷，36.9%有一种严重缺陷

严重[如全身]或非严重[局部]障碍：有某些因素影响到她/他的感觉、行动、看、听和心理与认知活动，难以完成日常活动如走动、洗澡、穿衣、吃饭等可称为障碍；需要其他辅助设备或他人辅助可称为严重残疾

根据医疗器械及其使用情况招募参与者一般如下：

• 轻度的视力减退(20/30到20/60)和不同程度的失明(潜在的原因可以是黄斑变性、白内障、青光眼)
• 听力下降或不同程度的失聪(潜在的原因可能是耳鸣和耳硬化)
• 由于运动障碍导致灵活度受限(潜在的原因可能是帕金森综合征,特发性震颤）;手掌和手指僵硬或疼痛(潜在的原因可能是关节炎,手掌腱膜挛缩症)或感觉丧失(可能的原因是神经病变）
• 短期记忆问题(潜在的原因可能是阿尔茨海默病)
• 注意力分散(潜在的原因可能是注意力缺失型多动症）

招募时通常询问问题：

• 你是否有视力缺陷,佩普通眼镜或隐形眼镜也无法矫正?
• 你是否有听力障碍?如果有,你是否佩助听器?它可以完全纠正你的听力么,或者佩戴后还是会有听力障碍?
• 你有运动障碍么?
• 你有感觉障碍么?
• 你有任何的认知困难么?
• 你有其他任何会影响完成工作的障碍么?诸如开车,使用电视遥控或使用ATM机?

 怎么招募测试参与者

设置适当的报酬水平：2H测试算半天，报酬超过正常感知价值

确保样本全覆盖

• 所有参与者的:性别 年龄 教育程度 职业/工作经历 与电脑交互的舒适性 身体损伤(视力、听力、触觉、协调力等)
• 对病人:剧烈度(如,病人情况的严重程度)
• 对医护人员:

1. 机构性质(私人,公立,培训)
2. 护理环境类型(医院,门诊,医师办公室,野外等)
3. 护理单位
4. 地点(城市,城乡交界,农村)
5. 特殊培训(重症看护,高级生命支持)
6. 操作特殊设备经历
7. 每天、周、月接触的相关案例数
8. 工作量

让工作看起来”物超所值“

避免受骗      专业测试参与者背调eg:透析护士：获得那些资历证书，做过哪几种血液透析，判断用CVVH[连续静脉血液滤过]还是CVVHD[连续静脉血液透析]。近5年使用那些血液透析设备

招募医师      初步背调医师，人际关系联系，强调非推销，留行政管理人员一个联系方式准备一份传真或E-mail正式邀请，利用医师求知欲，联系年长的医师和寻求推荐，社区医院医师，用”报酬“一词，安排晚上测试

招募护士       征求护士管理者同意，出场报酬，告知测试重大意义，与临时护理机构联系等

避免缺席

可用策略       发e-mail确认时间地点，若取消变更提前通知，2天前提前通知；告知测试会话的重要性，解释研究及重要性，；设定报酬水平高；招募数据库删除未到场的人

招募非专业人员

联系地方支持团队，网上发布信息，和医院联系等

测试环境

获得授权而不是请求原谅

模拟医疗环境测试：麻醉机、体外循环机、输液泵、手术台、手术灯、病人监护仪、除颤器等；没有意义的例如血糖仪（家中）、耳镜（医师诊所）、乳腺X光检查工作站（放射科）

如何获取最大限度利用测试环境：

• 提前计划，目标机构能够考虑；
• 测试目的明确，设备、人员、房间配置计划好，部分需要特殊许可如使用摄像机；
• 了解医疗系统的人际关系，适当可向某些组织捐款如慈善机构、护士基金等；
• 测试过程中采取一切必要的保护措施；
• 测试会话安排在夜间（晚7-早7点）；
• 向决策者说明可用性测试的重要性；
• 离开时保证使用的医疗器械或仪器保持原样；
• 支付测试产生的相关费用；
• 完成测试后写一封正式的感谢信

干扰测试的一些环境因素：

• 参与者紧急处理情况或被叫去商议，不得不中止、推迟或取消测试；
• 部分医生认为在测试场所谋取个人利益，可能需要向医院捐款；
• 测试保密性，周围医院人员在场；
• 场所设施不利于可用性测试

采用网络会议服务如WebEX，Live Meeting，GoToMeeting，基于网络可用性测试有以下优点：

• 测试成本比较低廉；
• 候选参与者不同地区的人参与性更多，可愿性高，测试时间更少；
• 支付测试费用大大减少；
• 不同地理位置上的利益攸关者可更容易地观察测试

弊端考虑问题：

• 参与者通过相机拍摄、点击截屏键等，开启摄像头参与测试；不适合高度机密的器械；
• 测前传真或邮件填写保密协议；
• 测前网络连接等问题要解决潜在问题；
• 创新性地给予参与者详细的任务说明；
• 测中确保参与者只与屏幕上的原型进行交互，不允许和其他器械交互；
• 测试安排一到两刻钟空余时间确保有足够的时间解决可能遇到的技术问题；
• 考虑让参与者在测前对相关的测试系统，系统设置等设置好

增加真实感

医学教育技术公司METI

标准化病人SPs

模拟血液：暗红色丙烯酸加入盐水中，10mL涂料注入1L盐水袋中；

模拟皮肤以及注射过程：

       模拟皮肤取决于皮肤特性：质地、颜色、黏着力、穿刺阻力、可压缩性、多孔性、厚度

      采用泡沫塑料模拟皮肤阻力

模拟障碍：

模拟硬件交互

       有时医疗器械会通过定位设备来进行软件用户交互，如轨迹球、操纵杆、球形手柄（漫步轮）、五向指针控制

模拟其他医疗器械：

       监护仪：拍图片ppt演示

       输液泵：等实物纸板盒子

选择任务

• 根据风险分析结果对任务优先级排序：
• 识别和消除风险的方法包括设计失效模式及影响分析（DFMEA）以及故障树分析（FTA）。
• 根据风险管理活动和可用性测试的时间安排，测试规划人员需要使用相应文档：1、为任务分配风险优先数值(RPNs)；2、根据最低合理可行原则（ALARP）确定风险阈值

任务选择受到许多因素影响：测试类型、设计的复杂性、设计进展、原型性能、设计决策、测试会话时长、用户类型

关注具有潜在危险的任务

测试警报： 吸引用户的注意力、传达警报级别和状态、采取适当的纠正措施解除警报

触发报警，在测试中我们提出以下建议

• • 改变信号词(如警告、注意、通知)，使其与报警严重或者紧急程度相配，并要符合现有工业标准；
  • 重新编写报警文字内容,提高可读；
  • 用图例显示文字信息，让解读警报更加容易，处理警报更加合理
  • 改变屏幕上显示报警信息的专用位置
  • 改变所显示警报信息的字体大小和颜色
  • 让用户能够调节报警音量，使其处在合适的音量范围
  • 调整报警声音频率，确保大多数人，包括听不到高频声音以及听力缺陷的人能够听到警报声
  • 更改报警声音使其不同于其他的报警音，但仍在标准范国内

 警告属性和评估方法

测试使用说明

文档设计属性：单页信息量（密度）、完整性、一致性、内容顺序和组织机构、找到信息的容易性、插图/图形质量、文本大小/易读性、使用的例子、视觉吸引力、选词/可读性、写作清晰度

测试标识

标识是器械的用户界面或使用说明的一部分，无论作为组件标签、状态指示器或者警告，标识对器械的安全和可用性有显著影响。

•         给予提示，展示标识让参与者解释含义；
•         连线匹配
•         选择题测试参杂看似正确但不正确的标识定义
•         使用实际的医疗器械或原型让测试参与者描述自己对每个标识的看法

测试易读性

        在评估之前根据人因工程学设计指南进行评估，考虑字符高度、高宽比、笔画宽度、正文-背景对比度、使用的颜色和样式等

        字符高度（英寸）=距离（英寸）*角（弧分）/3438.^8

        根据医疗器械促进协会(AMMI)首选的英文文本视角阅读是20-22角度

评价包装

• 能在长途和途中易于起重和搬运的包装(通常包括包装形状的功、重量和提手设计)
• 显而易见以及容易理解的标签、说明、警告、广告
• 易于打开包装(如撕开纸板盖、打开塑料袋、拧开药物瓶盖子、从塑料托盘剥掉纸衬垫、去除硬件组件的密封圈）同时保持内件的无菌性
• 包装内件之间易于识别和区分
• 包装类似的器械或产品之间易于识别和区分(例如两种浓度不同的同种药物）
• 易于移动包装内件而不用破坏或污染它们
• 易于用一只手搬运包装和组件(如果另一只手用来执行另一个任务)
• 包装的耐久性(如在搬运中耐损害性)
• 包装易于存储(如总体大小和包装形状的适当性)
• 材料废弃物在可接受的范围内
• 包装形状、图形和整体设计的视觉吸引力
• 印刷信息比如警告和有效期的易读性和显而易见性，这可能对减少风险十分必要
• 如果内件受损,要易于确认
• 易于将组件放回包装

标注Label和标签Labeling:

       标注为在任何物品的直接包装上的书写、印刷或图形显示，任何词、声明或出现在标注上的其他信息不应该认为是符合的；

       标签为在任何物品或容器或封装器或这样文章类似物品的随附品上所有标注和其他书写印刷、图形等事项。

 测试医疗器械的吸引力

       诺曼《情感化设计》

       一些基本但有效的问题，感官质量，美学设计

执行测试

       预测试，在研究活动开始之前，必须做出计划决策而不能陷入被动。

       热衷观察测试的人：

              产品或项目经理，确认器械认同度和诉求并努力实现这个目标；

              软件开发经理，认识到人因工程的价值，用户能否良好完成基于软件的业务；

              市场专家，改进的设计是否满足现有用户需求；

              工业设计师，机械工程师，软件工程师，电气工程师，观察可疑的可用性测试问题是否在设计上需要修改；

              技术文档工程师和培训人员，哪些任务能带给用户更大挑战，并确保工作改善状况；

              法规事务专家，监管，寻求可用性问题已被发现并解决；

              用户界面设计者，根据测试结果修改设计

一些可用性测试问题

• 术语：菜单选项模糊；
• 图例解释：图标误解；
• 易读性：数字、文字、背景对比度、屏幕刺眼等原因而读了参数值；
• 确认：没有确认对话框，导致意外删除信息；
• 视觉区分：切换模糊，按钮分区不足；
• 兼容性：组件的外形如颜色和物理兼容性类似，导致管子连接错误端口；
• 提示：如电量过低；
• 防护：缺乏防护装置；
• 手柄：没对准重心，非铰链式导致搬动较重器械非常费力；
• 数据录入：按键去抖动算法
• 说明：缺少说明
• 材料：成分缺陷导致；
• 标签：提示不清；
• 警告：报警饱和，忽略了清理传感器警告；
• 视觉提示：如正面背面相同；
• 稳定性
• 储存：一次性配件无明显空间储存配件；
• 速度
• 可视性：有效日期印刷小、文字不显眼导致注射过期药物；
• 机械性
• 反馈
• 感知：控制和显示过多；
• 负迁移
• 图解
• 声音
• 颜色
• 功能可见性
• 尺寸
• 握姿
• 移动性
• 可读性
• 标签
• 格式
• 视差
• 障碍
• 组织

与测试参与者进行交互

提问方式：

       《主持可用性测试：交互的管理与实践》

问题样例：

• 你认为心率显示尺寸如何?
  • 如果将心率显示数值设为更大,你认为如何?
  • 缺陷:该问题暗示了更大的数值可能会更好。
• 你怎么看待流程图外观?
  • 你喜欢蓝色背景的流程图吗?
  • 缺陷:该问题暗示了就选这个颜色。此外,“你能为流程图想设计个更好的背景颜色吗?”则暗示了蓝色可能不是好的背景颜色。
• 你认为紧急制动按钮的形状如何?
  • 你认为紧急制动按钮看起来像一个停车标志好吗?
  • 缺陷:该问题预先设了紧急制动按钮的形状和停车标志之间关系,应该让测试参与者去发现(或没发现)这个关联。
• 你对信息的布局感觉如何?
  • 新的信息布局能更容易帮助你发现对病人文档做的修改吗
  • 缺陷:该问题暗示了有个新的布局及其潜在的优势,而非让测试参与者自发地进行观察和发现。

记录测试

可用性测试期间收集的数据中,最常见的类型有以下几种:

任务时间
任务完成率(例如,测试参与者是否在测试管理员的帮助下完成一项任务、是否在时间限制内、是否正确)
使用失误率(在一定程度上基于潜在使用失误的预定义清单)
对所选择设计属性(例如,易用性,感知的任务速度,视觉吸引力)的主观判断,通过数值评级量表来收集
替代设计的参数选择(例如,下一代原型vs目前在用的设备)
相关口头评论(即,趣味言论)
对观察到的参与者行为及设备交互的描述

分析测试数据

报告结果

形成性可用性测试ppt一个例子：

• 封面：测试名称，报告日期，项目发起人，一个代表测试场景的图片；
• 执行概要：1-2页描述测试，展示结果和建议，、‘
• 测试目的：1页总结可用性测试的目标；
• 测试参与者：照片阵列，和人数汇总；
• 总体结果：总体设计问题和建议（包括设计示范）的描述；
• 详述结果：关于局部的设计问题和建议，包括示范的描述；
• 数据：表格和图标，表格和图表，展示任务时间、评级、排名以及参与者轶事言论和反馈的摘要。

总结性可用性测试报告写作技巧：

• 用主动语态书写；
• 温和地表达任何负面评论，避免报告带有攻击性；
• 回避基与个人观点进行论断；
• 提取引语；
• 数据和个人信息不联系；
• 解释特别处理一些数据；
• 囊括大量照片