PDF下载 ( 3367 KB)
基于自动化机器学习构建胆总管结石自发排石预测模型及应用程序
DOI: 10.12449/JCH250319
Development of a predictive model and application for spontaneous passage of common bile duct stones based on automated machine learning
-
摘要:
目的 鉴于胆总管结石患者治疗决策的复杂性，本研究利用自动化机器学习算法，开发一款能够预测胆总管结石患者自发排石的预测模型及应用程序，从而减少非必要内镜逆行胰胆管造影（ERCP）。 方法 回顾性收集2022年1月—2024年6月通过影像学手段明确诊断胆总管结石后拟行ERCP取石的患者数据，数据来自常熟市第一人民医院（数据集1）和常熟市中医院（数据集2），共835例。数据集1用于机器学习模型训练、内部验证和开发应用程序，数据集2用于外部测试。纳入22个潜在预测变量，用于构建和内部验证LASSO回归模型及自动化机器学习模型。通过受试者操作特征曲线下面积（AUC）、敏感度、特异度、准确率等评估模型性能，选取最佳模型。使用特征重要性图、力图和SHAP图对模型进行解释。利用Python Dash库和最佳模型构建Web应用程序，在数据集2上进行外部测试。使用Kolmogorov-Smirnov检验确定数据是否符合正态分布；对于不符合正态分布的连续变量，使用Mann-Whitney U检验进行2组间比较；分类变量通过χ2检验或Fisher精确检验来分析组间差异。 结果 纳入835例患者中，152例（18.20%）出现自发排石。在训练集（n=588）和验证集（n=171）中，LASSO模型的AUC分别为0.875、0.864，重要性排名前5的预测因素为单发胆总管结石、胆总管不扩张、胆总管结石直径、血清ALP降低和GGT降低。通过自动化机器学习构建了55个模型，其中梯度提升机（GBM）表现最佳，其AUC为0.891，95%CI为0.859～0.927，优于极端随机树（XRT）、深度学习（DL）、广义线性模型（GLM）和分布式随机森林（DRF）模型。在测试集（n=76）中，GBM模型的预测准确率、敏感度和特异度分别为0.855、0.846和0.857。变量重要性分析显示，单发胆总管结石、胆总管不扩张、胆总管结石直径<8 mm、血清ALP降低和GGT降低这5个因素对预测自发排石具有重要影响。基于GBM模型的SHAP图分析显示，当患者出现单发胆总管结石、胆总管不扩张、胆总管结石直径<8 mm、血清ALP及GGT降低时，出现自发性排石的概率明显增加。 结论 基于自动化机器学习算法构建的GBM模型及应用程序，在预测胆总管结石患者自发排石方面展现出良好的预测性能和使用便捷性。该应用程序能够帮助避免非必要的ERCP，从而降低手术风险和医保支出。 -
关键词:
- 胆总管结石病 /
- 胰胆管造影术， 内窥镜逆行 /
- 机器学习 /
- 预测模型
Abstract:Objective To develop a predictive model and application for spontaneous passage of common bile duct stones using automated machine learning algorithms given the complexity of treatment decision-making for patients with common bile duct stones， and to reduce unnecessary endoscopic retrograde cholangiopancreatography （ERCP） procedures. Methods A retrospective analysis was performed for the data of 835 patients who were scheduled for ERCP after a confirmed diagnosis of common bile duct stones based on imaging techniques in Changshu First People’s Hospital （dataset 1） and Changshu Traditional Chinese Medicine Hospital （dataset 2）. The dataset 1 was used for the training and internal validation of the machine learning model and the development of an application， and the dataset 2 was used for external testing. A total of 22 potential predictive variables were included for the establishment and internal validation of the LASSO regression model and various automated machine learning models. The area under the receiver operating characteristic curve （AUC）， sensitivity， specificity， and accuracy were used to assess the performance of models and identify the best model. Feature importance plots， force plots， and SHAP plots were used to interpret the model. The Python Dash library and the best model were used to develop a web application， and external testing was conducted using the dataset 2. The Kolmogorov-Smirnov test was used to examine whether the data were normally distributed， and the Mann-Whitney U test was used for comparison between two groups， while the chi-square test or the Fisher’s exact test was used for comparison of categorical data between groups. Results Among the 835 patients included in the study， 152 （18.20%） experienced spontaneous stone passage. The LASSO model achieved an AUC of 0.875 in the training set （n=588） and 0.864 in the validation set （n=171）， and the top five predictive factors in terms of importance were solitary common bile duct stones， non-dilated common bile duct， diameter of common bile duct stones， a reduction in serum alkaline phosphatase （ALP）， and a reduction in gamma-glutamyl transpeptidase （GGT）. A total of 55 models were established using automated machine learning， among which the gradient boosting machine （GBM） model had the best performance， with an AUC of 0.891 （95% confidence interval： 0.859 — 0.927）， outperforming the extreme randomized tree mode， the deep learning model， the generalized linear model， and the distributed random forest model. The GBM model had an accuracy of 0.855， a sensitivity of 0.846， and a specificity of 0.857 in the test set （n=76）. The variable importance analysis showed that five factors had important influence on the prediction of spontaneous stone passage， i.e.， were solitary common bile duct stones， non-dilated common bile duct， a stone diameter of <8 mm， a reduction in serum ALP， and a reduction in GGT. The SHAP analysis of the GBM model showed a significant increase in the probability of spontaneous stone passage in patients with solitary common bile duct stones， non-dilated common bile duct， a stone diameter of <8 mm， and a reduction in serum ALP or GGT. Conclusion The GBM model and application developed using automated machine learning algorithms exhibit excellent predictive performance and user-friendliness in predicting spontaneous stone passage in patients with common bile duct stones. This application can help avoid unnecessary ERCP procedures， thereby reducing surgical risks and healthcare costs. -
胆总管结石是一种常见的胆道疾病，当前国内外指南建议使用内镜逆行胰胆管造影（ERCP）作为胆总管结石患者的首选治疗方法，无论结石的数量、大小以及是否有症状［1-2］。尽管ERCP是一种有效且广泛可用的胆总管结石去除方法［3］，但其伴随较高的风险。ERCP的并发症包括术后胰腺炎、胆管炎、出血和穿孔，有时可能是致命的［4-6］。鉴于ERCP存在的风险，应避免在胆总管结石自发通过进入十二指肠后进行不必要的ERCP。在腹腔镜胆囊切除术过程中进行胆管造影的患者中，胆总管结石自发排入十二指肠的情况经常发生且无任何并发症［7］。在临床实践中，内镜医生也会遇到基于影像学手段诊断为胆总管结石的患者，但在ERCP过程中未能检测到胆总管结石。预测和诊断胆总管结石在ERCP前的自发排出可以避免不必要的ERCP。
机器学习是人工智能的分支之一，通过算法和统计模型使计算机系统能够从数据中学习和决策，其核心理念是通过数据训练模型，使其在遇到新数据时能作出准确的预测或决策。自动化机器学习（automated machine learning， AutoML）是机器学习的一个子领域，专注于通过自动化机器学习工作流程的核心环节，包括特征选择、模型选择和超参数调优等关键步骤。AutoML的目标是使机器学习更易于访问和使用，特别是为没有深厚机器学习背景的医护人员提供支持。王甘红等［8］使用AutoML算法构建了结肠镜肠道准备失败风险的预测模型，准确率达83.2%。预测胆总管结石患者自发排石可以避免非必要的ERCP手术，阎文心等［9］采用多因素Logistic回归分析了82例胆总管结石患者出现自发排石的影响因素。徐张巍等［10］使用97例胆总管结石患者的数据，构建了用于预测自发排石的传统Logistic回归模型，受试者操作特征（ROC）曲线下面积（AUC）为0.790。然而，既往研究普遍存在数据量少、模型预测性能一般的问题，而且未能将模型开发为可供临床方便使用的应用程序，这些因素极大地限制了其在临床中的实际应用。
本研究旨在开发一个兼具用户友好性且具有高预测性能的机器学习模型及其Web应用程序，用于预测胆总管结石患者的自发排石情况，以期为临床医生提供一个既准确又易于操作的评估工具，以便能够及早识别出可能发生自发排石的胆总管结石患者。这将有助于避免不必要的ERCP及其潜在并发症，同时减少医疗费用的支出。
1. 资料与方法
1.1 研究对象及数据收集
回顾性收集2022年1月—2024年6月通过影像学手段明确诊断胆总管结石后拟行ERCP取石的患者数据，数据来自常熟市第一人民医院（数据集1）和常熟市中医院（数据集2）。数据集1用于机器学习模型训练、内部验证和开发应用程序，数据集2用于外部测试，研究流程见图1。排除标准：（1）非原始十二指肠乳头的患者；（2）胆道插管不成功的患者；（3）进行Roux-en-Y或Billroth-Ⅱ重建的患者。研究中为避免数据泄露，对两个数据集进行了清洗，移除超过30%缺失值的变量，并使用mice包（v3.14.0）的分类树和回归树方法填充剩余缺失值。
收集的数据包括：基本信息（年龄、性别、BMI）、临床特征（体温、收缩压、术前应用解痉药、术前应用抗生素、胆总管结石直径、影像学检查与ERCP的间隔时间）、实验室检查［WBC、AST、ALT、TBil、DBil、ALP、GGT、ALP差值（ΔALP）、GGT差值（ΔGGT）、淀粉酶（AMY）、C反应蛋白（CRP）］、器械检查（胆总管扩张、单发胆总管结石、远端胆总管结石）。
1.2 方法
胆总管结石诊断：通过综合多种实验室和影像学检查方法，包括腹部超声、内镜超声、CT和磁共振胰胆管造影（MRCP），进行胆总管结石的诊断，以减少单一检查方法可能带来的误差。ERCP手术流程：患者采取侧卧位，并在哌替啶盐酸盐和咪达唑仑适度镇静的情况下，使用侧视十二指肠镜（型号：JF-260或TJF-260 V；Olympus，东京，日本）进行操作。在本研究中，共有6名不同的内镜医生执行了ERCP手术。完成选择性胆道插管后，进行胆管造影以确认胆总管结石的存在。然后，通过括约肌切开术、壶腹球囊扩张术或壶腹大球囊扩张术，使用篮式导管、球囊导管或机械碎石器来取出胆总管结石。即使在胆管造影未发现胆总管结石的患者中，也会使用球囊或篮式导管进行结石提取，因为小的胆总管结石有时可能无法通过胆管造影检测到。
1.3 相关定义
（1）自发排石的定义：①患者症状（如腹痛、腹胀、恶心）、体征（如腹部压痛、反跳痛、皮肤和巩膜黄染）和实验室检查结果符合胆总管结石的表现，且至少有1项影像学检查（如CT、MRCP、超声）显示胆总管结石；②没有症状、体征和实验室检查结果的表现，但至少2项影像学检查显示胆总管结石。符合①或②中的任一条，但在ERCP手术中未发现胆总管结石者，即可诊断为自发排石。（2）非必要ERCP的定义：在进行ERCP手术时，造影和取石过程中未发现结石，或仅发现少量的絮状结石。由于这些少量的絮状结石通常不会引起胆管梗阻，也很难在影像学检查中显示，因此不需要进行ERCP。这种情况下，ERCP手术被认为是不必要的。（3）ΔALP=入院后复查的ALP值－入院前或入院后首次ALP值。（4）ΔGGT=入院后复查的GGT值－入院前或入院首次GGT值。
1.4 模型构建
将模型开发组数据（由数据集1组成）使用R语言的sample函数随机划分为训练集（n=588）和验证集（n=171）。在训练集，使用最小绝对收缩和选择算子（LASSO）算法进行变量选择，并基于此构建传统的逻辑回归（LR）模型。同时，在Python编程环境中，利用H2O.ai平台（www.h2o.ai）中的H2O软件包实现AutoML分析。AutoML自动执行了模型训练和超参数调整，优化了预测性能。使用的5种算法包括：梯度提升机（gradient boost machine， GBM）、极端随机树（extreme randomized trees，XRT）、深度学习（deep learning， DL）、广义线性模型（generalized linear model， GLM）和分布式随机森林（distributed random forest， DRF）。
1.5 模型性能评估
为全面评估模型的预测性能，采用了多种评估指标，包括敏感度、特异度、准确率、阳性预测值（positive predictive value，PPV）、阴性预测值（negative predictive value，NPV）等，并通过比较AUC值来评估模型性能的优劣。同时，通过绘制校准曲线和临床决策曲线来判断模型的校准度和临床适用度。
1.6 模型可解释性分析
为了深入理解机器学习模型的决策机制并解决“黑盒”问题，对模型进行了可解释性分析，包括特征重要性分析、SHAP分析、力图分析。特征重要性分析可以展示不同特征对整体模型预测结果的影响，帮助识别哪些特征对于模型的性能影响大。SHAP图是一种基于博弈论的解释方法，通过计算每个特征对模型输出的贡献值，揭示模型的决策逻辑［11］。力图作为一种可视化工具，直观展示了各特征对单个预测结果的正负影响及其重要性［12］。
1.7 Web应用程序开发
在Python环境中使用Dash库（版本2.12.1）开发一个Web应用程序，该应用程序基于性能最佳的模型进行构建。界面布局结合了Dash的HTML功能和Ant Design组件库，打造了一个用户友好的可视化操作界面。用户可以通过下拉菜单选择不同的预测变量，并通过点击按钮触发模型进行预测。应用程序会计算并展示模型的预测结果和相应的置信度，所有信息都以数据表格的形式清晰呈现。此外，应用程序还生成了特征重要性柱状图，直观地展示了各个变量对模型预测结果的影响程度。整个应用程序在本地计算机上运行，并通过数据集2进行外部测试以验证其性能。
1.8 统计学方法
使用R语言（版本4.0.3）和Python（版本3.9.17）对数据进行统计分析。首先，使用Kolmogorov-Smirnov检验来确定数据是否符合正态分布。对于不符合正态分布的连续变量，则以M（P25～P75）表示，并使用Mann-Whitney U检验进行2组间比较。分类变量则以数值和百分比的形式表示，并通过χ2检验或Fisher精确检验来分析组间差异。P<0.05为差异有统计学意义。
2. 结果
2.1 基线特征
研究共纳入835例患者，其中训练集588例、验证集171例、测试集76例。在总队列中，共有152例（18.20%）患者出现自发排石。在训练集、验证集和测试集中，分别有106例（18.03%）、33例（19.30%）和13例（17.11%）出现自发排石。研究共收集了23个可能影响胆总管结石患者出现自发排石的因素，这些因素在训练集和验证集中比较均无统计学差异（P值均>0.05）（表1）。
表 1 训练集与验证集基线资料比较Table 1. Comparison of baseline data between training and validation sets变量 训练集（n=588） 验证集（n=171） 统计值 P值 性别［例（%）］ χ2=0.110 0.740 女 327（55.6） 92（53.8） 男 261（44.4） 79（46.2） 年龄［例（%）］ χ2=0.378 0.539 <60 岁 293（49.8） 80（46.8） ≥60 岁 295（50.2） 91（53.2） BMI［例（%）］ χ2=2.308 0.315 <18.5 kg/m2 117（19.9） 28（16.4） 18.5～24.0 kg/m2 262（44.6） 87（50.9） >24.0 kg/m2 209（35.5） 56（32.7） 静息收缩压［例（%）］ χ2=1.918 0.166 <140 mmHg 436（74.1） 117（68.4） ≥140 mmHg 152（25.9） 54（31.6） 远端胆总管结石［例（%）］ χ2=1.212 0.271 否 488（83.0） 135（78.9） 是 100（17.0） 36（21.1） ALP降低［例（%）］ χ2=0.786 0.375 否 505（85.9） 152（88.9） 是 83（14.1） 19（11.1） GGT降低［例（%）］ χ2=0.001 0.979 否 489（83.2） 143（83.6） 是 99（16.8） 28（16.4） 胆总管结石直径［例（%）］ χ2=0.028 0.866 ≥8 mm 514（87.4） 148（86.5） <8 mm 74（12.6） 23（13.5） 单发胆总管结石［例（%）］ χ2=0.109 0.742 否 368（62.6） 104（60.8） 是 220（37.4） 67（39.2） 胆总管扩张［例（%）］ χ2=0.023 0.878 否 497（84.5） 146（85.4） 是 91（15.5） 25（14.6） 术前应用抗生素［例（%）］ χ2=2.661 0.103 否 454（77.2） 121（70.8） 是 134（22.8） 50（29.2） 术前应用解痉药［例（%）］ χ2=1.760 0.185 否 402（68.4） 107（62.6） 是 186（31.6） 64（37.4） 临床症状改善［例（%）］ χ2=0.363 0.547 否 596（89.1） 163（87.2） 是 73（10.9） 24（12.8） 淀粉酶［例（%）］ χ2=0.001 0.995 <300 U/L 415（70.6） 120（70.2） ≥300 U/L 173（29.4） 51（29.8） 影像检查与ERCP间隔（d） 4.00（3.00～5.00） 4.00（2.00～6.00） Z=0.089 0.960 WBC（×109/L） 6.28（4.80～8.51） 6.03（4.58～7.98） Z=0.843 0.407 CRP（mg/L） 12.26（2.71～47.23） 7.39（2.52～53.09） Z=0.353 0.727 TBil（μmol/L） 28.15（17.88～56.50） 24.40（16.00～49.90） Z=1.489 0.080 DBil（μmol/L） 12.80（6.90～34.07） 13.70（7.35～39.90） Z=0.856 0.396 GGT（U/L） 246.45（129.85～439.38） 270.10（154.55～484.40） Z=1.434 0.115 ALP（U/L） 177.40（122.77～262.00） 168.40（122.70～249.15） Z=0.984 0.309 ALT（U/L） 91.90（33.58～200.25） 92.50（41.35～217.15） Z=1.142 0.285 AST（U/L） 61.85（28.90～131.58） 72.80（34.55～141.85） Z=1.323 0.166 2.2 LASSO模型构建及性能评估
本项研究共纳入23个潜在预测变量，为解决变量间的多重共线性问题，引入了LASSO回归模型。模型通过λ值为0.050 4（λ_1se）的10倍交叉验证进行训练，结果见图2。最终，共5个变量被纳入LASSO回归模型，包括：单发胆总管结石、胆总管不扩张、胆总管结石直径、血清ALP降低和GGT降低。
注： a，回归系数。随着λ值的增加，系数的绝对值减小；b，通过10倍交叉验证确定LASSO回归分析中最优λ值。 续表1图 2 基于LASSO回归的胆总管结石患者自发排石预测因子的惩罚图Table 1 ContinuedFigure 2. Penalty plot of predictors for spontaneous stone passage in patients with common bile duct stones based on LASSO regressionLASSO模型在训练集和验证集上的校准曲线的平均绝对误差（MAE）分别为0.025和0.044（图3），提示LASSO模型的预测风险与实际观测的风险非常接近，证明该模型可靠。模型在训练集和验证集上的ROC曲线见图4；在训练集中，模型的AUC为0.875，95%CI为0.833～0.917，敏感度为0.847，特异度为0.792；验证集中，AUC为0.864，95%CI为0.798～0.930，敏感度为0.844，特异度为0.827。
注： a，模型在训练集中的校准曲线；b，模型在验证集中的校准曲线。图 3 LASSO回归模型在训练集和验证集中的校准曲线Figure 3. Calibration curves of the LASSO regression model in the training and validation sets
注： a，模型在训练集中的ROC曲线；b，模型在验证集中的ROC曲线。图 4 LASSO回归模型在训练集和验证集的ROC曲线Figure 4. ROC curves of the LASSO regression model in the training and validation sets2.3 AutoML模型构建及性能评估
基于H2O平台的AutoML算法，成功构建了55种不同的模型，其中包括18种GBM模型、6种GLM模型、20种DL模型、9种XRT模型，以及2种DRF模型。从每一类机器学习模型中选取表现最佳的模型，并在验证集上进行性能对比，各项指标对比结果见表2和图5。GBM模型表现最佳，其AUC为0.891，敏感度、特异度和准确率分别为0.894、0.742和0.888。采用SHAP法对各变量的重要性进行评价，分析结果显示，单发胆总管结石、血清ALP降低、GGT降低、胆总管不扩张和胆总管结石直径是性能最优模型GBM识别的预测自发排石的排名前5的关键变量（图6a）。此外，通过观察学习曲线发现，随着训练样本数量的增加，GBM模型的性能逐渐稳定。在交叉验证和验证曲线之间展现了良好的一致性，说明模型未发生过拟合现象（图6b）。
表 2 验证集中不同机器学习模型性能比较Table 2. Performance comparison of different machine learning models in the validation set模型 AUC（95%CI） 敏感度 特异度 准确率 PPV NPV GBM 0.891（0.859～0.927） 0.894 0.742 0.888 0.883 0.786 GLM 0.882（0.783～0.889） 0.860 0.742 0.860 0.880 0.680 DL 0.882（0.839～0.912） 0.877 0.742 0.874 0.881 0.729 XRT 0.865（0.841～0.902） 0.837 0.821 0.856 0.895 0.654 DRF 0.864（0.835～0.917） 0.899 0.742 0.893 0.883 0.807 
图 5 不同机器学习模型ROC曲线对比Figure 5. Comparison of ROC curves among different machine learning models
注： a，变量重要性贡献图；b，学习曲线图。图 6 GBM模型在验证集中的变量重要性和学习曲线Figure 6. Variable importance and learning curve of the GBM model in the validation set2.4 最佳模型在测试集的性能评估
在Python编程环境下，通过结合Dash库和最佳模型GBM，成功开发了一款具有可视化操作界面的Web应用程序，并将其部署至本地电脑（图7）。用户可以利用下拉菜单选择预测变量，并点击“预测”按钮获取模型的预测结果及相应的置信度。通过点击链接（https://share.weiyun.com/9GB1nNOm）可在线查看使用该程序预测某例拟行ERCP手术的胆总管结石患者自发排石的完整操作过程。在此例中，模型以0.984的置信度成功预测该患者可能出现自发排石。
图 7 基于GBM模型的Web应用用户界面Figure 7. User interface of the Web application based on the GBM model在包含76例患者的测试集上，GBM模型成功预测了65例，准确率为0.855。其中，自发排石组有13例患者，模型预测正确11例；未自发排石组有63例患者，模型预测正确54例。对于自发排石组，模型的敏感度为0.846，表示在自发排石患者中，84.6%被正确识别；特异度为0.857，表示在未自发排石患者中，85.7%被正确排除。这显示，GBM模型不仅能够有效识别自发排石的患者，还能准确地排除未自发排石的患者。
2.5 模型可解释性分析
在测试集中，GBM模型的SHAP图中，每一行表示一个变量，红色表示该变量的值较高的数据点，蓝色表示该变量的值较低的数据点。数点越靠右，表示该变量对预测结果（自发排石）的正向影响越大。变量重要性排名前5的特征依次为：单发胆总管结石、胆总管不扩张、胆总管结石直径<8 mm、血清ALP降低和GGT降低（图8）。变量值越接近1，患者发生自发排石的可能性就越大。例如，图中单发胆总管结石的红色部分集中在0轴的右侧，表示单发胆总管结石的患者更容易出现自发排石。因此，对于此类胆总管结石患者，进行ERCP术前准备时需要更充分地评估，以避免非必要的ERCP。
图 8 测试集中GBM模型SHAP特征分析Figure 8. SHAP feature analysis of the GBM model in the test set从测试集中随机选取2个病例进行力图分析。在这些力图中，各变量对预测结果的影响程度通过箭头的长度和颜色直观表示。红色箭头表示该变量对预测结果具有正向影响，即增加自发排石的倾向性；蓝色箭头表示负向影响，即降低自发排石的倾向性。箭头的长度与变量的SHAP值成正比，箭头越长，该变量对预测结果的影响越大。图9a中的病例显示，ALP为106 U/L、胆总管结石直径<8 mm、GGT减少、单发胆总管结石、ALP减少，这些特征增加了自发排石的倾向性，而胆总管扩张、影像学检查与ERCP的间隔时间为2 d，降低了自发排石的倾向性，综合考虑上述因素，该病例能够自发排石的预测概率为72%。同样的方法应用于图9b中的病例，模型预测其发生自发排石的概率为9%。
注： a，预测为自发排石的概率为72%；b，预测为自发排石的概率为9%。CBDSd=1，胆总管结石直径≤5 mm；SCBDS=1，单发胆总管结石；CBD.Dilation=0，胆总管扩张；IE ERCP.interval=2，影像学检查与ERCP间隔2天；ICS=0，临床症状未改善；Distal.CBDSs=0，非远端胆总管结石；sex=0，女。图 9 测试集中GBM模型的力图分析Figure 9. Force plot analysis of the GBM model in the test set3. 讨论
本研究训练、验证并测试了1种基于传统LASSO回归算法和55种基于AutoML算法的模型，以预测胆总管结石患者的自发排石情况，避免非必要的ERCP手术。经过性能比较，GBM模型为最佳模型，其在验证集上的AUC为0.891，准确率为0.888。为了便于在临床工作中使用，将该模型开发为一款应用程序，并在测试集上评估其性能，结果显示准确率达到了0.855。在预测胆总管结石患者是否会发生自发排石时，该模型的敏感度为0.846，特异度为0.857。该应用程序在实际临床工作中具有良好的应用潜力。
胆总管结石可能源自胆囊的结石移行，也可能直接形成于胆总管内［1］。胆总管结石可能导致一系列严重的并发症，包括阻塞性黄疸、胆管炎、急性胰腺炎、胆绞痛和败血症等。Andreozzi等［13］开展的一项多中心回顾性研究描述了胆总管结石患者出现自发排石到十二指肠的现象，其中17%的患者自发排石。Frossard等［14］开展的一项前瞻性研究纳入92例胆总管结石患者，12例出现了自发排石。有研究指出，部分胆总管结石患者可能出现结石自发排出，使用床旁超声可以辅助诊断自发排出的胆总管结石，从而减少不必要的ERCP［15］。在本研究中，152例（18.20%）患者出现了自发性排石，针对这些患者，ERCP被认为是非必要的，因为术后胰腺炎、穿孔、出血等并发症在ERCP中并不罕见。对于最终证实不存在胆总管结石的患者而言，ERCP手术不仅未能实现预期的治疗价值，反而使患者承受了不必要的操作风险和相关并发症。因此，通过构建模型预测胆总管结石患者自发排石的可能性是值得推荐的，可以避免潜在不必要的ERCP。
既往多项研究探索了影响胆总管结石患者自发排石的因素，结石大小、结石位置、结石数量以及部分实验室检查结果可能与自发排石存在相关性［16-18］。然而，目前尚缺乏使用机器学习方法来构建预测自发排石模型的研究。AutoML作为机器学习的一个分支，不仅在处理复杂数据和探索数据潜在特征方面具有显著优势，还能够自动化地选择、优化和组合多种模型算法，以找到最佳的预测方案。本研究纳入了先前研究中发现的可能影响自发排石的因素，共构建了55种机器学习算法模型和1种传统LASSO回归模型，并通过性能对比筛选出了性能最佳的GBM模型。该模型在内部验证集和外部测试集上的预测准确率均超过85%。在测试集中，模型识别出了84.6%的自发排石患者，这在临床工作中尤为关键。通过模型的识别结果，可以提醒临床医师在ERCP术前进行腹部超声、内镜超声等影像学检查的复查，从而有效避免非必要的ERCP。这不仅减少了ERCP相关并发症的风险，节省了医保支出，还减少了患者的手术创伤和住院时间，改善整体治疗体验和预后。这种以数据驱动的决策方式有助于实现个体化治疗，为胆总管结石患者的临床管理带来了新的思路和安全有效的解决方案。
在以往的医学研究中，使用AutoML算法构建预测模型以预测疾病发生风险已成为常见做法，这些模型通常能展示良好的预测性能［19-21］。然而，这些模型在临床实践中的应用却面临实际挑战：许多模型依赖复杂的计算公式或评分量表，操作繁琐。对于忙碌的临床医务工作者而言，这类复杂的预测模型可能会引发抵触情绪，从而限制这些优秀模型的推广和应用［22］。本研究基于Python编程环境中的Dash库开发了胆总管结石患者自发排石的机器学习模型Web应用程序。该应用程序通过易于访问和操作的交互式界面、提供实时反馈、可定制化等特点，有效克服了现有模型在实际医疗环境中应用的难题，展示了其在医疗领域的应用潜力和价值。
综上所述，本研究涵盖了数据收集、模型训练与验证，以及应用程序开发和测试的完整流程。通过性能对比，GBM模型优于传统LASSO模型和其他54种机器学习模型。基于该模型开发的应用程序能够准确预测胆总管结石患者自发排石的概率，从而有效减少不必要的ERCP操作及相关并发症。
尽管本研究取得了一些成果，但仍存在局限性。首先，由于目前的研究为来自两个医学中心的回顾性研究，数据量有限，后续计划开展前瞻性多中心研究，以更全面地验证该应用程序在临床实践中的效果。其次，目前开发的应用程序仅能在本地网络使用，这限制了其广泛应用的可能性。未来将考虑将模型部署到在线平台，并提供远程调用服务，以提升应用程序的可访问性和便捷性，吸引更多用户群体。然而，这一过程需要更多资源，以确保系统的稳定运行和数据的安全性。因此，计划与信息技术专家进一步合作，探索一种成本效益合理的解决方案。此外，本研究计划结合时间依赖性分析方法（如timeROC）进一步优化模型，以预测自发排石的发生时机，从而指导临床选择合适的手术干预时间。同时，本研究对象均为影像学检查阳性的胆总管结石患者，未涉及术前影像学检查漏诊的病例。未来，将扩大数据范围，探索该模型在影像学漏诊患者中的诊断价值，以进一步提升其临床应用潜力。
-
注： a，回归系数。随着λ值的增加，系数的绝对值减小；b，通过10倍交叉验证确定LASSO回归分析中最优λ值。 续表1
图 2 基于LASSO回归的胆总管结石患者自发排石预测因子的惩罚图
Table 1 Continued
Figure 2. Penalty plot of predictors for spontaneous stone passage in patients with common bile duct stones based on LASSO regression
注： a，模型在训练集中的校准曲线；b，模型在验证集中的校准曲线。
图 3 LASSO回归模型在训练集和验证集中的校准曲线
Figure 3. Calibration curves of the LASSO regression model in the training and validation sets
注： a，模型在训练集中的ROC曲线；b，模型在验证集中的ROC曲线。
图 4 LASSO回归模型在训练集和验证集的ROC曲线
Figure 4. ROC curves of the LASSO regression model in the training and validation sets
图 5 不同机器学习模型ROC曲线对比
Figure 5. Comparison of ROC curves among different machine learning models
注： a，变量重要性贡献图；b，学习曲线图。
图 6 GBM模型在验证集中的变量重要性和学习曲线
Figure 6. Variable importance and learning curve of the GBM model in the validation set
图 7 基于GBM模型的Web应用用户界面
Figure 7. User interface of the Web application based on the GBM model
图 8 测试集中GBM模型SHAP特征分析
Figure 8. SHAP feature analysis of the GBM model in the test set
注： a，预测为自发排石的概率为72%；b，预测为自发排石的概率为9%。CBDSd=1，胆总管结石直径≤5 mm；SCBDS=1，单发胆总管结石；CBD.Dilation=0，胆总管扩张；IE ERCP.interval=2，影像学检查与ERCP间隔2天；ICS=0，临床症状未改善；Distal.CBDSs=0，非远端胆总管结石；sex=0，女。
图 9 测试集中GBM模型的力图分析
Figure 9. Force plot analysis of the GBM model in the test set
表 1 训练集与验证集基线资料比较
Table 1. Comparison of baseline data between training and validation sets
变量 训练集（n=588） 验证集（n=171） 统计值 P值 性别［例（%）］ χ2=0.110 0.740 女 327（55.6） 92（53.8） 男 261（44.4） 79（46.2） 年龄［例（%）］ χ2=0.378 0.539 <60 岁 293（49.8） 80（46.8） ≥60 岁 295（50.2） 91（53.2） BMI［例（%）］ χ2=2.308 0.315 <18.5 kg/m2 117（19.9） 28（16.4） 18.5～24.0 kg/m2 262（44.6） 87（50.9） >24.0 kg/m2 209（35.5） 56（32.7） 静息收缩压［例（%）］ χ2=1.918 0.166 <140 mmHg 436（74.1） 117（68.4） ≥140 mmHg 152（25.9） 54（31.6） 远端胆总管结石［例（%）］ χ2=1.212 0.271 否 488（83.0） 135（78.9） 是 100（17.0） 36（21.1） ALP降低［例（%）］ χ2=0.786 0.375 否 505（85.9） 152（88.9） 是 83（14.1） 19（11.1） GGT降低［例（%）］ χ2=0.001 0.979 否 489（83.2） 143（83.6） 是 99（16.8） 28（16.4） 胆总管结石直径［例（%）］ χ2=0.028 0.866 ≥8 mm 514（87.4） 148（86.5） <8 mm 74（12.6） 23（13.5） 单发胆总管结石［例（%）］ χ2=0.109 0.742 否 368（62.6） 104（60.8） 是 220（37.4） 67（39.2） 胆总管扩张［例（%）］ χ2=0.023 0.878 否 497（84.5） 146（85.4） 是 91（15.5） 25（14.6） 术前应用抗生素［例（%）］ χ2=2.661 0.103 否 454（77.2） 121（70.8） 是 134（22.8） 50（29.2） 术前应用解痉药［例（%）］ χ2=1.760 0.185 否 402（68.4） 107（62.6） 是 186（31.6） 64（37.4） 临床症状改善［例（%）］ χ2=0.363 0.547 否 596（89.1） 163（87.2） 是 73（10.9） 24（12.8） 淀粉酶［例（%）］ χ2=0.001 0.995 <300 U/L 415（70.6） 120（70.2） ≥300 U/L 173（29.4） 51（29.8） 影像检查与ERCP间隔（d） 4.00（3.00～5.00） 4.00（2.00～6.00） Z=0.089 0.960 WBC（×109/L） 6.28（4.80～8.51） 6.03（4.58～7.98） Z=0.843 0.407 CRP（mg/L） 12.26（2.71～47.23） 7.39（2.52～53.09） Z=0.353 0.727 TBil（μmol/L） 28.15（17.88～56.50） 24.40（16.00～49.90） Z=1.489 0.080 DBil（μmol/L） 12.80（6.90～34.07） 13.70（7.35～39.90） Z=0.856 0.396 GGT（U/L） 246.45（129.85～439.38） 270.10（154.55～484.40） Z=1.434 0.115 ALP（U/L） 177.40（122.77～262.00） 168.40（122.70～249.15） Z=0.984 0.309 ALT（U/L） 91.90（33.58～200.25） 92.50（41.35～217.15） Z=1.142 0.285 AST（U/L） 61.85（28.90～131.58） 72.80（34.55～141.85） Z=1.323 0.166 
下载: 导出CSV
表 2 验证集中不同机器学习模型性能比较
Table 2. Performance comparison of different machine learning models in the validation set
模型 AUC（95%CI） 敏感度 特异度 准确率 PPV NPV GBM 0.891（0.859～0.927） 0.894 0.742 0.888 0.883 0.786 GLM 0.882（0.783～0.889） 0.860 0.742 0.860 0.880 0.680 DL 0.882（0.839～0.912） 0.877 0.742 0.874 0.881 0.729 XRT 0.865（0.841～0.902） 0.837 0.821 0.856 0.895 0.654 DRF 0.864（0.835～0.917） 0.899 0.742 0.893 0.883 0.807
下载: 导出CSV
-
[1] MANES G, PASPATIS G, AABAKKEN L, et al. Endoscopic management of common bile duct stones: European Society of Gastrointestinal Endoscopy(ESGE) guideline[J]. Endoscopy, 2019, 51( 5): 472- 491. DOI: 10.1055/a-0862-0346. [2] ASGE Standards of Practice Committee, BUXBAUM JL, ABBAS FEHMI SM, et al. ASGE guideline on the role of endoscopy in the evaluation and management of choledocholithiasis[J]. Gastrointest Endosc, 2019, 89( 6): 1075- 1105. e 15. DOI: 10.1016/j.gie.2018.10.001. [3] group ERCP, Chinese Society of Digestive Endoscopology; group Biliopancreatic, Chinese Association of Gastroenterologist and hepatologist, National Clinical Research Center for Digestive Diseases. Chinese guidelines for ERCP(2018)[J]. J Clin Hepatol, 2018, 34( 12): 2537- 2554. DOI: 10.3969/j.issn.1001-5256.2018.12.009.中华医学会消化内镜学分会ERCP学组, 中国医师协会消化医师分会胆胰学组, 国家消化系统疾病临床医学研究中心. 中国经内镜逆行胰胆管造影术指南(2018版)[J]. 临床肝胆病杂志, 2018, 34( 12): 2537- 2554. DOI: 10.3969/j.issn.1001-5256.2018.12.009. [4] ASGE Standards of Practice Committee, CHANDRASEKHARA V, KHASHAB MA, et al. Adverse events associated with ERCP[J]. Gastrointest Endosc, 2017, 85( 1): 32- 47. DOI: 10.1016/j.gie.2016.06.051. [5] Endoscopic Surgery Group, Digestive Endoscopy Branch, Chinese Medical Association, Endoscopic Surgery Expert Working Group, Chinese College of Surgeons, Professional Committee of Pancreatic Disease, Chinese Medical Doctor Association, et al. Guideline for the management of complications of duodenal perforation associated with ERCP in China(2023 edition)[J]. Chin J Dig Surg, 2024, 23( 1): 1- 9. DOI: 10.3760/cma.j.cn115610-20231025-00166.中华医学会消化内镜学分会内镜外科学组, 中国医师协会外科医师分会内镜外科专家工作组, 中国医师协会胰腺病专业委员会, 等. 中国ERCP致十二指肠穿孔并发症管理指南(2023版)[J]. 中华消化外科杂志, 2024, 23( 1): 1- 9. DOI: 10.3760/cma.j.cn115610-20231025-00166. [6] FAN L, FU Y, LIU Y, et al. Research advances in hemorrhage after endoscopic retrograde cholangiopancreatography[J]. J Clin Hepatol, 2023, 39( 10): 2497- 2505. DOI: 10.3969/j.issn.1001-5256.2023.10.032.范玲, 傅燕, 刘懿, 等. 内镜逆行胰胆管造影术后出血的研究进展[J]. 临床肝胆病杂志, 2023, 39( 10): 2497- 2505. DOI: 10.3969/j.issn.1001-5256.2023.10.032. [7] KHAN OA, BALAJI S, BRANAGAN G, et al. Randomized clinical trial of routine on-table cholangiography during laparoscopic cholecystectomy[J]. Br J Surg, 2011, 98( 3): 362- 367. DOI: 10.1002/bjs.7356. [8] WANG GH, CHEN J, SHEN ZJ, et al. Establishing and evaluating a risk prediction model for colonoscopy bowel preparation failure based on automated machine learning[J]. China J Endosc, 2024, 30( 5): 36- 47. DOI: 10.12235/E20230422.王甘红, 陈健, 沈支佳, 等. 基于自动化机器学习建立结肠镜肠道准备失败风险预测模型及评价[J]. 中国内镜杂志, 2024, 30( 5): 36- 47. DOI: 10.12235/E20230422. [9] YAN WX, ZHANG PP, WANG WX, et al. Influencing factors of spontaneous passage of common bile duct stones in gallstones patients[J]. J Chin Pract Diagn Ther, 2023, 37( 10): 1025- 1027. DOI: 10.13507/j.issn.1674-3474.2023.10.011.阎文心, 张平平, 王万祥, 等. 胆总管结石合并胆囊结石患者胆总管自发排石的影响因素分析[J]. 中华实用诊断与治疗杂志, 2023, 37( 10): 1025- 1027. DOI: 10.13507/j.issn.1674-3474.2023.10.011. [10] XU ZW, MEI Q, HONG JL, et al. Application of endoscopic ultrasonography combined with ALP and GGT in the diagnosis of spontaneous migration of choledocholithiasis[J]. J Hepatobiliary Surg, 2023, 31( 2): 106- 110. DOI: 10.3969/j.issn.1006-4761.2023.02.010.徐张巍, 梅俏, 洪江龙, 等. 超声内镜联合ALP、GGT在诊断胆总管结石自发排石中的应用研究[J]. 肝胆外科杂志, 2023, 31( 2): 106- 110. DOI: 10.3969/j.issn.1006-4761.2023.02.010. [11] NOHARA Y, MATSUMOTO K, SOEJIMA H, et al. Explanation of machine learning models using shapley additive explanation and application for real data in hospital[J]. Comput Methods Programs Biomed, 2022, 214: 106584. DOI: 10.1016/j.cmpb.2021.106584. [12] FAHMY AS, CSECS I, ARAFATI A, et al. An explainable machine learning approach reveals prognostic significance of right ventricular dysfunction in nonischemic cardiomyopathy[J]. JACC Cardiovasc Imaging, 2022, 15( 5): 766- 779. DOI: 10.1016/j.jcmg.2021.11.029. [13] ANDREOZZI P, de NUCCI G, DEVANI M, et al. The high rate of spontaneous migration of small size common bile duct stones may allow a significant reduction in unnecessary ERCP and related complications: Results of a retrospective, multicenter study[J]. Surg Endosc, 2022, 36( 5): 3542- 3548. DOI: 10.1007/s00464-021-08676-8. [14] FROSSARD JL, HADENGUE A, AMOUYAL G, et al. Choledocholithiasis: A prospective study of spontaneous common bile duct stone migration[J]. Gastrointest Endosc, 2000, 51( 2): 175- 179. DOI: 10.1016/s0016-5107(00)70414-7. [15] HERBST MK, LI C, BLOMSTROM S. Point-of-care ultrasound assists diagnosis of spontaneously passed common bile duct stone[J]. J Emerg Med, 2021, 60( 4): 517- 519. DOI: 10.1016/j.jemermed.2020.11.008. [16] KHOURY T, ADILEH M, IMAM A, et al. Parameters suggesting spontaneous passage of stones from common bile duct: A retrospective study[J]. Can J Gastroenterol Hepatol, 2019, 2019: 5382708. DOI: 10.1155/2019/5382708. [17] JIANG L, LIU Z, YU JF, et al. On factors related to spontaneous passage of common bile duct stones leading to unnecessary endoscopic retrograde cholangiopancreatography[J]. Chin J Minim Invasive Surg, 2024, 24( 6): 409- 414. DOI: 10.3969/j.issn.1009-6604.2024.06.002.姜蕾, 刘振, 于剑锋, 等. 胆总管结石自然排石致非必要治疗性内镜下逆行胰胆管造影的影响因素[J]. 中国微创外科杂志, 2024, 24( 6): 409- 414. DOI: 10.3969/j.issn.1009-6604.2024.06.002. [18] LEFEMINE V, MORGAN RJ. Spontaneous passage of common bile duct stones in jaundiced patients[J]. Hepatobiliary Pancreat Dis Int, 2011, 10( 2): 209- 213. DOI: 10.1016/s1499-3872(11)60033-7. [19] ZHANG RF, YIN MY, JIANG AQ, et al. Automated machine learning for early prediction of acute kidney injury in acute pancreatitis[J]. BMC Med Inform Decis Mak, 2024, 24( 1): 16. DOI: 10.1186/s12911-024-02414-5. [20] LIU LJ, ZHANG RF, SHI DT, et al. Automated machine learning to predict the difficulty for endoscopic resection of gastric gastrointestinal stromal tumor[J]. Front Oncol, 2023, 13: 1190987. DOI: 10.3389/fonc.2023.1190987. [21] LIU LJ, ZHANG RF, SHI Y, et al. Automated machine learning for predicting liver metastasis in patients with gastrointestinal stromal tumor: A SEER-based analysis[J]. Sci Rep, 2024, 14( 1): 12415. DOI: 10.1038/s41598-024-62311-9. [22] MURPHREE DH, QUEST DJ, ALLEN RM, et al. Deploying predictive models in A healthcare environment-an open source approach[C]// 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society(EMBC). Honolulu, HI, USA, 2018: 6112- 6116. DOI: 10.1109/EMBC.2018.8513689. -
下载:
本文二维码
计量
- 文章访问数: 66
- HTML全文浏览量: 36
- PDF下载量: 14
- 被引次数: 0
