王东
Published on 2025-02-25 / 3 Visits

【AI100问(69)】深度学习如何合成子女照片?

先看看下面一组照片。最上面四张是祖父母、外祖父母的照片,第二行是父母照片,最下一行是孩子照片。

 

你可能没想到的是,父母和孩子的照片都是用深度神经网络生成的。这是腾讯AI lab和天津大学去年的一个工作[1]。是不是看着还挺像的?

图1:由祖父母自动生成的父母和子女照片[1]

这些照片是怎么生成的呢?这就要说到深度神经网络的编码功能了。我们知道神经网络可以模拟非常复杂的映射,利用这一功能可以把一幅人脸照片映射成一个低维向量,这个向量代表了人脸的大部分属性,如五官轮廓、肤色、发型等。这一映射过程称为“编码”,得到的向量可以称为属性向量,就好像人的DNA一样。有了这个向量,就可以通过另一个神经网络把照片还原出来,这一过程称为“解码”。

在生成子女照片时,首先将父亲和母亲的照片进行编码,得到两个属性向量,再互换属性向量的部分内容,就像两条染色体互换基因一样,这样得到的新的属性向量就可以代表子女。将这一向量通过神经网络进行解码,就可以看到子女的样子了。当然,互换哪些基因是随机的,因此生成的子女照片也是不确定的。2019年东南大学的一篇论文[2]就采用了这种方法。

腾讯和天大这篇论文的基本方案也是如此。但是,为了让子女和父母相似的更明显,他们将人的五官部件挖出来,然后在五官部件层互换父母信息,而不是在编码层(可以理解为DNA),如图2所示。这种集体互换方式可以让生成的照片在人为感知上的相似度更高。

图2:子女照片生成过程[1]

在搜索引擎上搜索“合成子女照片”,可以看到一些在线合成系统已经上线了。这些系统是否用到了上述深度学习技术并不清楚,不过不妨试一试。

参考文献:

[1] Zhang Y, Li L, Liu Z, et al. Controllable Descendant Face Synthesis[J]. arXiv preprint arXiv:2002.11376, 2020.

[2] Gao P, Xia S, Robinson J, et al. What will your child look like? dna-net: Age and gender aware kin face synthesizer[J]. arXiv preprint arXiv:1911.07014, 2019.

By清华大学  王东