OmiCLIP剪辑版
Nature Methods|A visual-omics foundation model (OmiCLIP) 文献分享
目前大多数模型要么侧重于图像,要么聚焦于组学数据,鲜有统一的多模态基础模型能同时处理两者。王光煜课题组提出了一种名为 OmiCLIP 的视觉-组学基础模型,并构建了基于该模型的 Loki 平台,旨在将组织病理学图像与空间转录组数据有效地关联起来,为多种下游任务提供支持。OmiCLIP模型基于CLIP(对比语言-图像预训练)架构,将H&E图像和基因表达数据作为一对一的多模态输入进行对比
立即观看