霹雳舞2下载 pix2pix 3D版：几笔线条生成超炫猫咪霹雳舞！

明天开始！

【重要通知】2018新智元AI WORLD 2018世界人工智能峰会2018年中国人工智能最强引力波来袭！网站准入以活动银行二维码为准。会议9月20日8:00正式开始签到，8:50开始会议。如果现场座位紧张，请提前签到兑换会议嘉宾胸卡。发布会将在爱奇艺、新浪、腾讯直播。请注意。

爱奇艺居住地址:

https://live.iqiyi.com/s/19rqw411mv.html

编制:石三小秦

【新智元指南】图像翻译并不是什么新鲜事，但最近博主高桥敬二郎不仅实时完成了这个图像生成任务，还将其“粘贴”到了3D模型上，打造出了一只生动可爱的“专属小猫”！

快看！这货比魔笔还惨！

随着GAN、pix2pix等技术的发展，图像翻译不再是一件陌生的事情。然而，实时和3D图像翻译是最受欢迎的。

半个月后，作者高桥敬二郎终于“翻译”出了这个生动的3D小咪咪:

专属猫，你值得拥有！

其实做出这样的喵叫声并不难。

首先用速写板画一只猫！

类似于著名的edges2cats，Sketch Pad也是一种演示方法，但仍然是实时的。

其次，我们需要一些系统要求:

Unity 2018.1计算着色器功能（DX11，Metal，Vulkan等）

虽然它是以独立于平台的方式实现的，但它的许多部分都是针对NVIDIA GPU架构进行优化的。

为了更好地运行草图板，作者建议使用GeForce GTX 1070或更高版本的Windows系统。

那么，如何使用训练好的模型呢？

该存储库不包含任何用于节省带宽和存储配额的经过培训的模型。

要在统一编辑器上运行示例项目，请下载预先训练好的edges2cats模型，并将其复制到资产/流组件中。

此实现仅支持。克里斯托弗黑塞互动演示中使用的pict加权数据格式。可以选择预先训练好的模型，或者使用pix2pix-tensorflow训练自己的模型。

经典Pix2pix

Pix2pix是针对不同图像效果的转换工具，基于GAN实现。Pix2pix是加州大学伯克利分校的Phillip Isola提出的。该论文于2016年11月首次在arxiv上发表，并于2017年被CVPR接受。虽然是老论文，但是作为经典论文，还是值得一读的，所以这里也介绍一下Pix2pix的方法。

本文研究了条件对抗网络作为图像到图像转换问题的一般解决方案。这些网络不仅学习从输入图像到输出图像的映射，还学习用于训练映射的损失函数。这使得将相同的一般方法应用于传统上需要非常不同的损失公式的问题成为可能。

研究人员已经证明，该方法在从标签地图合成照片、从边缘地图重建对象以及给黑白图像着色方面是有效的。这项工作表明，我们可以得到合理的结果，而不需要人工设计损失函数。

图一:条件状语网络是一个通用的解决方案，似乎很好的解决了各种问题。这里我们展示几种方法的结果。在每种情况下，我们使用相同的架构和目标，但只是在不同的数据上进行训练。

在一些任务中，你可以很快在小数据集上得到好的结果。比如为了学习生成外墙(如上图)，我们只用了2个小时左右的时间训练了400张图像(用的是一个Pascal Titan X GPU)。然而，对于更困难的问题，在更大的数据集上进行训练可能很重要，这需要许多小时甚至几天。

既然是基于GAN，Pix2pix就离不开发生器和鉴别器。

GAN是一个生成模型，学习从随机噪声向量z映射到输出图像y，即G: z → y..

相比之下，条件GAN学习的是观测图像x与随机噪声向量z和y之间的映射，即g: {x，z} → y。

发生器g被训练产生输出，这样这些输出就不会被对抗训练的鉴别器d从“真实”图像中区分出来；同时，鉴别器D被训练成尽可能地检测发生器的“假”输出。培训过程如下图所示:

从地图边缘到照片训练有条件的甘

网络体系结构

本文利用深度卷积生成来调整对抗网络DCGAN中生成器和鉴别器的结构。发生器和鉴别器都使用卷积-batchorm-ReLu模块。

发电机结构的两种选择。“U-Net”是一个编码器-解码器，在编码器和解码器堆栈中的图像层之间有一个跳跃连接。

有关Pix2pix结构的更多详细信息，请阅读原始论文:

https://arxiv.org/pdf/1611.07004.pdf

Pix2pix最著名的应用是“画猫”，edges2cats是基于pix2pix-tensorflow的实现。请看效果:

今天我们推出的Pix2Pix for Unity更加开放，在3D模型上“画猫”让生成的猫动起来。程序员擦猫真的很方便！

https://github.com/keijiro/Pix2Pix

https://twitter.com/_kzr

https://arxiv.org/pdf/1611.07004.pdf

倒计时一天

http://www.aiworld2018.com/

新浪直播地址:http://video.sina.com.cn/l/p/1724373.html

腾讯科技客户:http://view.inews.qq.com/a/TEC2018091801191900

个人电脑直播页面:http://v.qq.com/live/p/topic/57401/preview.html

个人电脑预览页:http://v.qq.com/live/p/topic/57401/preview.html