MindEye,一种最新的fMRI(功能磁共振成像,Functional Magnetic Resonance Imaging)生成图像的方法

MindEye,一种最新的fMRI(功能磁共振成像,Functional Magnetic Resonance Imaging)生成图像的方法。MindEye能将fMRI信号影射到CLIP (Contrastive Language–Image Pre-training) openai.com/research/clip 图像的Embedding,再借助这个Embedding到预训练的Diffusion模型,例如Versatile Diffusion、Stable Diffusion,从中生成图片。从生成结果看,部分生成图片的结果和被测试者当时浏览的照片高度相似。

Github地址https://github.com/MedARC-AI/fMRI-reconstruction-NSD

论文地址:https://arxiv.org/abs/2305.18274

项目地址:https://medarc-ai.github.io/mindeye/

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun267447.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年11月23日
下一篇 2023年11月23日

相关推荐