MindEye,一种最新的fMRI(功能磁共振成像,Functional Magnetic Resonance Imaging)生成图像的方法。MindEye能将fMRI信号影射到CLIP (Contrastive Language–Image Pre-training) openai.com/research/clip 图像的Embedding,再借助这个Embedding到预训练的Diffusion模型,例如Versatile Diffusion、Stable Diffusion,从中生成图片。从生成结果看,部分生成图片的结果和被测试者当时浏览的照片高度相似。
Github地址:https://github.com/MedARC-AI/fMRI-reconstruction-NSD
论文地址:https://arxiv.org/abs/2305.18274
项目地址:https://medarc-ai.github.io/mindeye/
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun267447.html