弥合差距:提高护士记录的ICDSC与研究人员CAM-ICU谵妄评估在ICU的一致性

弥合差距:提高护士记录的ICDSC与研究人员CAM-ICU谵妄评估在ICU的一致性

亮点

– 使用标准阈值(≥4)的床边护士记录的ICDSC与受过培训的研究人员CAM-ICU评估(Cohen’s kappa = 0.42)在279名ICU患者的1,535次匹配评估中仅表现出中等一致性。
– 纳入单个ICDSC项目和临床变量(机械通气状态、入院SOFA)的逻辑模型对研究人员识别的谵妄具有良好的区分度(AUC = 0.87),交叉验证F1得分为0.72。
– 即使使用有限的ICDSC信息的更简单模型也比标准ICDSC阈值表现更好(交叉验证F1 = 0.60–0.70),这为基于电子健康记录(EHR)的实用型谵妄表型研究提供了途径。

背景

谵妄是一种急性、波动性的注意力和认知障碍,影响多达一半的危重患者,并与死亡率增加、ICU和住院时间延长以及长期认知功能障碍独立相关。当前重症监护指南建议常规使用经过验证的床边筛查工具——主要是ICU意识评估方法(CAM-ICU)和ICU谵妄筛查清单(ICDSC)——来检测机械通气和非机械通气患者的谵妄。

尽管验证研究表明这两种工具都具有良好的心理测量学特性,但护士在实际工作中的床边记录往往与研究人员进行的参考标准评估之间的协议程度不一。这一差距限制了常规临床谵妄记录在观察性研究、质量测量和基于电子健康记录(EHR)的实用试验中的效用。

研究设计

设置和人群

Toth等人分析了宾夕法尼亚州西南部一个大型学术医疗系统中因急性呼吸衰竭或败血症入住重症监护病房的危重成人的前瞻性收集的每日匹配谵妄评估数据。床边护士和受过培训的研究人员之间的配对评估用于比较谵妄的识别情况。

评估和参考标准

床边护士在常规护理中记录ICU谵妄筛查清单(ICDSC)。受过培训的研究人员进行了CAM-ICU评估,作为分析的参考标准。评估在时间上匹配(同一天),并在主要分析中限于非昏迷患者。

分析方法

作者首先比较了既定ICDSC阈值(ICDSC ≥ 4 = 谵妄)与CAM-ICU的谵妄分类,使用Cohen’s kappa量化一致性。然后,他们开发了逻辑回归模型,以预测阳性CAM-ICU,使用不同程度的ICDSC信息和易于获取的临床变量:ICDSC的组成部分(单项评分)、机械通气状态和入院时的序贯器官衰竭评估(SOFA)评分。模型通过十折交叉验证内部验证,并使用区分度指标(AUC)和F1分数进行评估,以平衡敏感性和精确度。敏感性分析评估了在EHR中可能无法获得完整项目级数据的情况下,使用更有限的ICDSC信息的模型性能。

关键发现

研究样本:来自279名患者的1,535次匹配的护士-研究人员评估。

使用既定ICDSC阈值的一致性

使用标准ICDSC阈值(≥4)与研究人员进行的CAM-ICU评估(Cohen’s kappa = 0.42)相比,仅表现出中等一致性。这一发现与先前的报告一致,即简单的床边ICDSC评分二分法与研究标准评估相比可能会误分类谵妄。

模型指导的预测

最全面的逻辑回归模型——利用单个ICDSC项目数据加上机械通气状态和入院SOFA——对阳性CAM-ICU的预测具有良好的区分度(AUC = 0.87)。在内部验证(十折交叉验证)中性能稳定,F1得分为0.72,表明敏感性和阳性预测值之间有令人鼓舞的平衡。

更简单模型和敏感性分析

当限制项目级ICDSC信息(模拟某些EHR环境中部分文档记录的情况)时,分类性能下降但仍具有临床实用性(交叉验证F1得分0.60–0.70)。重要的是,传统的ICDSC阈值模型在所有评估方法中预测性能最低。

效应大小的解释

尽管研究报告侧重于区分度和F1而不是所有模型的原始敏感性/特异性对,但AUC和F1的显著改善表明,结合临床背景(机械通气、器官功能障碍)和项目级谵妄特征可以显著减少误分类,而不仅仅是依赖ICDSC阈值。

专家评论和意义

临床相关性:常规护士记录的谵妄对于床边护理和质量监测至关重要,但正如本研究所示,原始ICDSC评分——尤其是通过单一阈值二分法——与研究人员CAM-ICU评估并不完全一致。对于依赖EHR记录的谵妄来研究结果、实施绩效指标或触发干预措施的研究人员和医疗系统来说,需要改进的表型方法。

模型效用:Toth等人描述的逻辑模型提供了一个实用的桥梁:通过使用详细的护士记录的ICDSC信息加上EHR中已有的两个临床变量(机械通气状态和入院SOFA),研究人员可以获得与研究标准CAM-ICU评估显著一致的谵妄标签。这种方法可以在不需要新的数据收集流程的情况下,使大规模观察性研究和实用试验中常规收集的数据的高保真度使用成为可能。

指南一致性:当前重症监护学会的实践指南建议常规使用经过验证的工具(如CAM-ICU或ICDSC)进行谵妄监测。本研究并不取代这些推荐,而是建议对ICDSC记录进行分析后处理可以增强其在研究和二次使用中的价值。

局限性和普适性

– 单一医疗系统:数据来源于宾夕法尼亚州西南部的一个学术系统内的多个ICU;在不同医院、社区ICU和不同的护士记录实践中进行外部验证之前,不应广泛采用。
– 不同的工具和评分者:参考标准是研究人员进行的CAM-ICU,而指数是护士记录的ICDSC。差异可能反映了工具构建和评分者的培训/可用性,而不仅仅是测量误差。
– 潜在的选择和时机偏差:评估是每日进行并按ICU日匹配;谵妄是一个波动的综合征,非同时评估可能有所不同。作者尝试了时间匹配,但真正的波动导致的残留误分类可能仍然存在。
– 模型复杂性与实施性:最佳性能模型使用了项目级ICDSC数据;一些EHR可能只存储总分或不完整的项目。然而,敏感性分析显示,即使输入减少,性能仍优于阈值规则。
– 需要前瞻性测试:证明模型指导的谵妄标签在决策支持中用于研究推理或临床结果时能改善效果需要前瞻性评估。

临床和研究建议

对于使用EHR衍生的谵妄结果的研究人员:
– 考虑利用项目级ICDSC和临床协变量的分析方法,而不仅仅是依赖于基于阈值的ICDSC标签。
– 报告谵妄识别算法和验证指标,以便读者评估潜在的误分类偏差。
– 优先在不同机构和记录流程中进行外部验证。

对于临床医生和医疗系统:
– 加强床边谵妄筛查的培训和质量保证,强调工具的忠实性和记录的完整性。
– 在可行的情况下,鼓励在EHR中存储项目级ICDSC元素,以支持下游分析的改进。
– 在前瞻性影响得到确认之前,谨慎地在实时临床决策支持中使用改进的EHR基础表型。

结论

Toth等人对ICU中的谵妄测量做出了重要的实用贡献。他们的研究发现,结合护士记录的ICDSC项目数据和简单临床变量的模型方法显著提高了与研究人员进行的CAM-ICU评估的一致性。这一策略可以提高常规临床记录在研究、质量改进和潜在的人群水平监测中的效用,前提是模型经过外部验证且其实施伴随持续关注床边筛查质量。

资金和clinicaltrials.gov

资金来源和试验注册:提供的摘要中未详细说明资金来源。有关完整披露、资助编号和试验注册(如适用),请参阅全文:Toth KM et al., Crit Care Med. 2025;53(12):e2516–e2525。

精选参考文献

– Toth KM, Aghababa Z, Kennedy JN, et al. Optimizing Agreement Between Bedside Nurse-Documented and Trained Researcher Delirium Assessments in the ICU. Crit Care Med. 2025;53(12):e2516–e2525.
– Devlin JW, Skrobik Y, Gélinas C, et al. Clinical Practice Guidelines for the Prevention and Management of Pain, Agitation/Sedation, Delirium, Immobility, and Sleep Disruption in Adult Patients in the ICU. Crit Care Med. 2018;46(9):e825–e873.
– Bergeron N, Dubois MJ, Dumont M, Dial S, Skrobik Y. The Intensive Care Delirium Screening Checklist: evaluation of a new screening tool. Intensive Care Med. 2001;27(5):859–864.
– Ely EW, Margolin R, Francis J, et al. Evaluation of delirium in critically ill patients: validation of the Confusion Assessment Method for the Intensive Care Unit (CAM-ICU). Crit Care Med. 2001;29(7):1370–1379.
– Pandharipande PP, Girard TD, Jackson JC, et al. Long-term cognitive impairment after critical illness. N Engl J Med. 2013;369(14):1306–1316.

Comments

No comments yet. Why don’t you start the discussion?

发表回复