整点活！Android 端的 AI 消除安排

在 AI 快速发展的时代，手机芯片的性能进步也是一日千里，手机的也不仅仅是打电话，聊天的工具了。很多原来只在桌面端运行的模型都可以运行在手机端了。现在很多手机都推出来了 AI 相机，其主要功能主要有 AI 消除，AI 替换。接下来我会分析他们的实现，以及我自己的实现。

AI 消除的实现方案分析

鉴于移动端性能和存储的局限，我们不可能使用桌面端的很多模型，里面动辄几个G 的模型，上来就会把内存给拉爆，手机的处理器也满足不了这方面的要求。一般手机上的模型 size 要尽量小，需要通过简化，量化等手段来保证在端侧运行效率。
消除一般来说我们可能会有 3 个场景：

1. 手动涂抹消除
2. AI 人像消除
3. AI 任意物体消除

手动涂抹

手动涂抹是最早，也是使用最多的消除手段，通过在照片上滑动，获得照片的mask，方便后续处理。

人像消除

人像消除，一般我们可以通过一些 Image Segmentation 模型来实现。图像分割的大多数预训练模型都是可以直接拿来使用的，里面基本都包含了人物识别。在这里我推荐使用最为广泛的 YOLO8 Segemnt 模型，你可以直接拿来使用，教程简单易懂。选好了模型之后下一步就是对图像进行处理，这时候我们会获得很多人像的掩码/mask，方便我们后续使用。这种方式的处理人像的特点就是大批量速度快，我们只需要给出固定类型入参。比方说我们需要移除照片里面所有游客，我们入参的时候模型给定 [person]，那么我们就会获得所有人物的 mask，方便我们后续消除。

任意物体消除/segment anything

Segment anything 最早是 facebook 提出的一个分割模型，后来在移动端也有了不少变种。基于 Yolo8 的 fast sam 和 mobile sam，在性能上已经有质的飞跃。原本的 SAM 模型在移动端执行一个任务大概要花 100 多 S，具体取决于处理器（包括GPU）的性能，fast sam和 mobile sam 模型在优化之后可以速度可以快几十倍，完全可以在移动端无障碍运行。

SAM 模型的主要优点就是可以高度自定义编辑图片，比方说我的照片背景里面有几根电线，这时候如果没有 SAM 模型，我们要么自己在 Image segmentation 里面添加训练数据集重新训练一个模型，要么手动涂抹照片，获得一个 mask。这 2 种方式其实都不是很友好，手动涂抹电线，需要设置不同的线宽，而且很容滑错。之前我出去旅游，用的 小米 14 拍照，我当时背景有几张电线，我当时很想把它给消除了，我只能涂抹，但是涂的歪歪曲曲的，而且宽度也不一致，后来效果很不好。这时候如果能加入 SAM模型，我只需要点击电线找到 mask，后面的事情就会简单的多了。

AI 填充

前面介绍了三种消除的手段，通过消除之后我们会获得一个 mask，这个 mask 其实就是一个 单通道的数组，通常来说其实就是对应 照片里面的某个点，例如 mask[index] = 255 说明这个像素需要进行填充替换。
在移动端上我们可以使用的模型有 Lama，Aot-gan 等等。
一般填充 mask 这个操作我们叫做 inpaint。对于移动端的 inpaint 模型，由于性能和执行速度限制，入参都是 256✖️256 或 512✖️512 这意味着我们输出的图像质量不会太高。通常我们需要对 decoder 之后的照片的 mask 区域添加增强任务。可以使用 opencv 或者 super resolution 模型对 mask 区域进行增强。

结尾

附上最近几周做的 demo