MMF:多模态人工智能框架

一、背景和特点

多模态理解对人工智能至关重要。目前，多模态应用研究的主要方向有：视觉问答、图像字幕、视觉对话、虚拟助手、社交媒体内容检测等。

MMF(MultiModal Framework)是Facebook开源的基于PyTorch的多模态人工智能模型框架。MMF提供了先进的视觉语言预训练模型，以及大量现成的标准数据集、通用层模型组件、训练推理实用工具等。

MMF有助于将研究快速推向生产，已经被Facebook产品团队应用到多模态实际任务中，其主要特点有：

• 可用性：提供12个以上先进的预训练模型、大约20个自动下载的数据集、完整的文档和教程、干净易于扩展的API、多模态挑战任务起始代码等；

• 模块化与可配置性：提供编码器、解码器等模块化组件，支持从头开始建立模型和数据集，提供基于OmegaConf的新型配置系统；

• 可扩展性：提供分布式训练支持，以及用于启动大规模SLURM作业的扫描脚本，提供检查点、提前停止和其他功能，使训练和评估更加容易。

二、框架安装

获取源码并安装：

git clone https://github.com/facebookresearch/mmf.git

cd mmf

pip install -r requirements.txt

pip install --editable .

注：pytorch版本安装1.5.0

参考文章：Pytorch MMF 多模态框架介绍及问题汇总