基于生成式AI的 3D PCCT 去噪算法研发:6个月工作计划
第1个月:入职培训、环境部署与数据预处理
目标: 完成企业与医院的入职流程,熟悉研发环境,完成数据清洗与经典深度学习 Baseline 的初步验证。
第1-2周:入职与环境熟悉
完成西门子医疗中国及北京协和医院的入职手续与安全/合规培训。
熟悉协和医院放射科驻场工作环境,获取联合实验室高性能计算集群(8卡A100)的访问权限及环境配置。
与院方医生及西门子/FAU导师对齐项目最终预期,确认数据安全规范。
第3-4周:数据处理与基础 Baseline
对 400 份 3D PCCT 数据(200例配对)进行清洗、预处理及标准化(划分训练集/验证集/测试集,后续创新算法按无配对设定处理)。
跑通前几年经典的 3D CT 去噪深度学习网络(如 3D U-Net、RED-CNN 等),获取基础定量指标,熟悉 3D 数据的 I/O 与显存管理。
第2个月:3D CycleGAN Baseline 搭建与严格评估
目标: 建立公平且极具竞争力的无配对生成式 Baseline,确立评估标准。
第1-3周:公平性控制下的 CycleGAN 训练
搭建 3D CycleGAN 架构。严格控制变量:确保 CycleGAN 的 Generator 与后续创新方法的 Encoder/Decoder 采用相同深度的 3D U-Net 主干网络。
对齐超参数:使用相同的 3D patch size、batch size,并在无配对(unpaired)的数据划分下进行训练。
第4周:多维度指标评估系统构建
像素级: PSNR/SSIM(明确其倾向于平滑结果的特性)。
感知级: LPIPS(检验结构细节是否丢失)。
临床级: HU 偏差统计(测量肝脏、肌肉等特定组织的 CT 值分布是否与真实正常剂量一致,排查系统性偏移)。
结构级: 轴向一致性分数(测量相邻 slice 间的结构连续性)。
第3个月:3D 潜空间构建与扩散模型基础验证
目标: 解决 3D 数据显存瓶颈,构建高质量的解剖感知潜空间(Latent Space)。
第1-2周:3D Latent Autoencoder 训练
构建并训练 3D 编码器 \(E(\cdot)\) 和解码器 \(D(\cdot)\)。
使用自编码重建损失 $$\mathcal{L}_{\mathrm{AE}} = |D(E(u))-u|1 + \beta,\mathcal{L}{\mathrm{perc}}$$,确保 latent 空间足够紧凑且保留解剖信息。
第3-4周:潜空间分布定义与 Conditional Diffusion 探索
将低剂量(LD)和正常剂量(ND)数据映射至潜空间,获得潜分布 \(\nu_{\mathrm{LD}} = E_{}\mu_{\mathrm{LD}}\) 与 \(\nu_{\mathrm{ND}} = E_{}\mu_{\mathrm{ND}}\)。
初步运行基础的 Latent Conditional Diffusion 模型作为对照,分析其在“条件生成”而非“精准恢复”上的局限性,为后续薛定谔桥(SB)方法提供反面论证。
第4个月:核心创新实现 (一) - Observation-Centered Schrödinger Bridge
目标: 抛弃全局无条件桥,实现以低剂量输入为中心的 3D 潜空间薛定谔桥。
第1-2周:参考过程与桥的定义
对每个输入低剂量体 $y$,编码得到 \(z_0 = E(y)\)。
定义一个以 \(z_0\) 为中心的 input-centered Ornstein–Uhlenbeck 参考过程: $$dZ_t = -\lambda(t)(Z_t-z_0),dt + \sigma(t,y),dW_t$$
第3-4周:最优化桥接与主损失函数实现
在满足起点为 \(z_0\)、终点边缘为 \(\nu_{\mathrm{ND}}\) 的路径分布中,求解最优桥 \(Q^{z_0,*} = \arg\min_{Q^{z_0}} \mathrm{KL}(Q^{z_0},|,P^{z_0})\)。
实现并调试薛定谔桥主损失 \(\mathcal{L}_{\mathrm{SB}}\),确保桥能够正确连接起始与目标分布,同时局部轨迹贴近参考过程,实现“保结构”的天然动力学约束。
第5个月:核心创新实现 (二) - Barycentric Anchor 与方向约束
目标: 融入 Noise2Flow 核心思想,利用软耦合提取平均恢复方向,完成模型调优与蒸馏。
第1-2周:基于分布几何的平均恢复方向提取
在一个 batch 内,计算 LD 潜点 \(z_i^{\mathrm{LD}}\) 与 ND 潜点 \(z_j^{\mathrm{ND}}\) 之间的代价矩阵 \(c_{ij} = |z_i^{\mathrm{LD}} - z_j^{\mathrm{ND}}|^2\)。
利用 Sinkhorn/OT 算法计算软耦合矩阵 \(\pi_{ij}\),提取 Barycentric target: $$\bar{z}i^{\mathrm{ND}} = \frac{\sum_j \pi{ij} z_j^{\mathrm{ND}}}{\sum_j \pi_{ij}}$$
计算出分布诱导的平均恢复方向:\(d_i = \bar{z}_i^{\mathrm{ND}} - z_i^{\mathrm{LD}}\)。
第3周:方向损失融合与联合训练
引入方向损失 $$\mathcal{L}{\mathrm{dir}} = 1- \frac{ \langle \bar{v}\theta(z_i^{\mathrm{LD}}), d_i\rangle }{ |\bar{v}_\theta(z_i^{\mathrm{LD}})|, |d_i| }$$ ,约束桥的 drift 早期方向。
组合总损失 $$\mathcal{L} = \mathcal{L}{\mathrm{AE}} + \lambda{\mathrm{SB}}\mathcal{L}{\mathrm{SB}} + \lambda{\mathrm{dir}}\mathcal{L}{\mathrm{dir}} + \lambda{\mathrm{tube}}\mathcal{L}_{\mathrm{tube}}$$ 进行全链路联合训练。
第4周:模型蒸馏(可选 / 进阶)
- 探索将训练期间学到的复杂桥演化压缩为 few-step 或 one-step 映射(\(\hat{z} = F_\phi(z_0)\)),提升测试与未来临床部署的推理效率。
第6个月:总结评估、论文撰写与离职交接
目标: 全面收尾项目,固化研究成果,完成企业及学校的结题与交接。
第1-2周:最终验证与多维度对比分析
将创新方法(Observation-centered SB + Barycentric Direction)与前期的经典 DL Baseline、3D CycleGAN 进行全面对比。
汇总 PSNR、LPIPS、HU 偏差、轴向一致性等定量结果,并与协和医院放射科医师进行定性(视觉效果、病灶保留度)交流反馈。
第3周:论文撰写与答辩准备
- 整理实验数据,绘制图表,撰写实习/项目总结报告,以及为 FAU Pattern Recognition Lab 的项目论文做准备。
第4周:工作交接与离职
整理代码仓库,完善注释与运行文档(Readme),确保西门子医疗及协和医院的后续跟进人员能够顺利复现。
归还企业与医院资产,注销系统权限,完成西门子医疗的正式离职流程与实习鉴定。





