Weizmann研究所Brain-IT用fMRI扫描重建所见图像
An AI system called Brain-IT can reconstruct recognizable images from brain scans of people looking at pictures. Developed at the Weizmann Institute, it predicts both image content and layout, then uses a diffusion model to generate the reconstruction. Researchers expanded its training data with simulated brain activity. With one hour of scans from a new person, it achieved results comparable to earlier systems trained on 40 hours. But it still makes mistakes: one reconstruction turned a dog into a goat. Reconstructing dreams is a future ambition. For now, the system reconstructs viewed pictures, with impressive results that remain imperfect predictions. Study: “Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer” DOI: 10.48550/arXiv.2510.25976
Weizmann研究所开发出Brain-IT系统，可从人看图片时的fMRI脑扫描中重建出可辨认的图像。该系统分别预测图像的内容与布局，再用扩散模型生成重建结果，并用模拟脑活动扩充训练数据。
用视频里狗变山羊的失败案例和1小时扫描对比40小时的数字，讲清Brain-IT如何从fMRI重建所见图像。
粉丝 8.1万
The latest in AI and robotics, explained Founder & CEO of The Rundown AI Zurich 🇨🇭 / NYC 🇺🇸
- 浏览
- 7361
- 点赞
- 411
- 评论
- 13
- 分享
- 48
- 收藏
- 87
数字来自平台，为最近一次抓取时的数据。
以下是视频口播的自动转写，可能有错字。
这个人工智能可以把脑部扫描变成你正在看的东西的图像。它能重建你看到的物体以及它们的排列方式。
研究人员开发了一个名为 brain it 的人工智能系统，用于分析 fMRI 扫描，这种扫描追踪与大脑活动相关的血氧变化。
基本上，一个分支预测图像的布局和颜色，另一个分支预测其内容，比如盘子里的香蕉。
然后这些线索引导扩散模型生成重建图像。但这存在一个问题，因为收集脑部扫描数据非常昂贵。
因此，团队训练了另一个模型反向工作。它接收一张普通图像，并预测某人在看它时可能产生的大脑活动。
这些模拟记录提供了额外的训练样本，而无需让任何人进入扫描仪。研究人员报告称，仅用来自一个新人的一小时扫描数据，结果就与之前用 40 小时数据训练的系统相当。
但这些图像仍然是预测。在一个例子中，浴缸里的一只狗变成了山羊。但这非常引人入胜，因为研究人员希望最终能重建完整的。
完整的梦境，但就目前而言，他们仍然展示了非常了不起的东西：将大脑活动转化为人们实际看到的图片的可识别版本。
如果你想了解人工智能和机器人领域的最新动态，请关注以获取更多内容。
来源：TikTok · Rowan Cheung · tiktok.com