AI赋能影像技术 为美图现有和未来的产品提供核心算法支持

美图影像研究院致力于计算机视觉、机器学习、增强现实等人工智能(AI)相关领域的研发，在人脸技术、人体技术、图像分割、图像识别、图像生成、图像增强等方面处于领先水平，为美图现有和未来的产品提供核心算法支持。

近日，计算机视觉顶级会议CVPR 2022公布了会议录取结果，美图影像研究院(MT Lab)与北京航空航天大学可乐实验室联合发表的论文被接收。该论文突破性地提出分布感知式单阶段模型(DAS)，用于解决极具挑战性的多人3D人体姿态估计问题。该方法通过一次网络前向推理同时获取3D空间中人体位置信息以及相对应的关键点信息，从而简化了预测流程，提高了效率。此外，该方法有效地学习了人体关键点的真实分布，进而提升了基于回归框架的多人3D人体姿态估计方法的精度。

实际上，这只是美图利用人工智能为影像技术赋能的冰山一角。早在2010年，美图就成立了核心研发部门——美图影像研究院，该研究院致力于计算机视觉、机器学习、增强现实等人工智能(AI)相关领域的研发，在人脸技术、人体技术、图像分割、图像识别、图像生成、图像增强等方面处于领先水平，为美图现有和未来的产品提供核心算法支持，并通过前沿技术推动美图产品发展，曾先后多次参与CVPR、ICCV、ECCV等计算机视觉国际顶级会议，并斩获冠亚军10余项，被称为美图的“技术中枢”。

高效精准获取多人3D人体姿态估计结果

计算机视觉中的经典技术——多人3D人体姿态估计在AR/VR、游戏、运动分析、虚拟试衣等领域具有广泛的应用潜力，近年来随着元宇宙概念的兴起，更是让这一技术备受关注。

目前，通常采用两阶段方法来解决多人3D人体姿态估计的问题：自顶向下方法，即先检测图片多个人体的位置，之后对检测到的每个人使用单人3D姿态估计模型来分别预测其姿态;自底向上方法，即先检测图片中所有人的3D关键点，之后通过相关性将这些关键点分配给对应的人体。

尽管两阶段方法取得了良好的精度，但是需要通过冗余的计算和复杂的后处理来顺序性地获取人体位置信息和关键点位置信息，其速率通常难以满足实际场景需求，因此多人3D姿态估计算法流程亟须简化。

为了克服两阶段方法存在的问题，该论文提出了一种分布感知式单阶段模型用于解决基于单张图片的多人3D人体姿态估计问题。另外，DAS在优化过程中对3D关键点的分布进行学习，这为3D关键点的回归提供了极具价值的指导性信息，从而有效地提升了预测精度。

此外，为了缓解关键点分布估计的难度，DAS采用了一种迭代更新策略以逐步逼近真实分布目标，通过这样一种方式，DAS可以高效且精准地从单目RGB图片中一次性获取多个人的3D人体姿态估计结果。

与已有的两阶段方法相比，该模型可以通过一次网络前向推理同时获取人体位置信息以及所对应的人体关键点位置信息，从而有效地简化预测流程，克服了已有方法在高计算成本和高模型复杂度方面的弊端。另外，该方法成功将标准化流引进到多人3D人体姿态估计任务中，以在训练过程中学习人体关键点分布，并提出迭代回归策略缓解分布学习难度，来达到逐步逼近目标的目的。通过该模型可以获取数据的真实分布，有效地提升模型的回归预测精度。

人工智能技术大大提升摄影修图效率

对人脸皮肤进行精细化的瑕疵修复与暗沉祛除，一键入“齿”修复牙齿上的瑕疵，照片上模糊的容颜清晰重现，全身美型告别大粗腿、水桶腰……AI技术正让修图小白秒变大师。

一家商业摄影机构的业务流程基本包括：营销获客、摄影服务、后期处理、成品制作等环节。其中，后期修图是商业摄影工作流程中占比高、耗时长、工作量大的一个环节。

在旺季或者拍摄任务激增时，从拍摄到出片的周期甚至长达1个月左右。尤其是在人像处理部分，非常考验修图师的专业功底，而一名合格修图师的培养需要耗费高昂的人力、物力成本，还需要面临人员频繁流动的风险。

美图创始人兼首席执行官吴欣鸿在接受科技日报记者采访时表示，据不完全统计，商业摄影1年修图可达120亿张，大量繁杂的重复性劳动以及较高的技术门槛，给商业影楼带来巨大的成本压力。借助AI技术完成重复繁杂的后期初修工作，不仅能够提升商业摄影后期的修图效率，同时也为商业摄影行业提供了深度融合美学艺术的专业级图像处理服务。

由美图技术大脑——美图影像研究院自主研发的美图云修，通过智能预设功能，一键即可完成对照片的批量处理。其中，脸部优化功能可以修复面部瑕疵，打造细腻肌肤;妆容调整功能可实现对妆容的智能调节。此外，美图云修还能够完成塑造立体的面部五官、分区域实现全身美型、美化身体肌肤等80余项修图工作。同时，灵活自由的参数自定义也满足了用户对修图更专业的需求。

“美图云修还提供滤镜特效、牙齿修复、祛双下巴、匀肤、缩头、一键仿妆、背景增强、多人全身美型等独特功能，可以帮助影楼快速完成约80%的精修工作。”美图技术副总裁、美图影像研究院负责人刘洛麒表示。

我国影像软件技术携手AI大步向前

今年3月30日，美图披露2021年全年业绩报告。报告显示，2021年美图研发投入达5.455亿元，同比2020年增长35%。

随着中国影像软件产业对技术研发投入的不断加大，近年来中国影像软件在技术能力方面有了很大的进展，有些已经不输国外同类产品。

“我们推出的视频美颜App——Wink，它的视频人像美化功能需要将人像美颜从图像扩展到视频维度，这就需要实时的人脸检测跟踪、分割、3D建模等技术与人像美颜算法进行有机结合，同时还要应对视频抖动、大侧脸等极端情况，才能为用户提供满意的结果。”刘洛麒说。

“用户拍摄的照片或视频存在清晰度低、画质差、产生噪点等问题，我们利用基于深度学习的画质增强技术能够提高用户照片与视频的质量，满足他们的拍摄需求。同时，我们也将深度学习应用到人像美颜中，例如我们自主研发的AI匀肤技术，既能祛除脸部瑕疵，同时也保留了细腻的皮肤纹理质感。”吴欣鸿说。

“我们基于AI研发的人体美型技术，不是简单地对人体进行拉伸，而是先结合人体3D重建、人体分割等技术去建立人体的三维模型，再利用深度学习算法学习美化之后的人体模型形变，同时对背景的Mesh(网格)进行建模，从而缓解背景的变形扭曲，最终实现用户满意的人体美型效果。”刘洛麒指出。

此外，美图证件照应用到的人像抠图技术，可以实现发丝级的精细抠图，完成对证件照人像的一键换装，同时保持人像和背景的光线和谐性。而基于AI生成的增发技术，可以调整发际线，可以改变发色和发型，还能使头发显得更蓬松。

未来，人工智能将如何赋能影像技术?对此，吴欣鸿表示，一方面，基于人工智能的影像技术，将与各行各业有更多、更深入的结合，这也对影像技术提出了更高的要求。另一方面，通过3D技术和AR技术等，为用户提供沉浸式和可交互的虚拟化体验也是未来影像技术发展的热门方向。(记者 马爱平)

关键词： 影像技术 计算机视觉 多人3D人体姿态估计 人工智能