通过AI自学习,Google让Pixel 3的人像模式更优秀

通过AI自学习,Google让Pixel 3的人像模式更优秀

Link: https://news.cnblogs.com/n/613720/

  虽然双摄手机已经在市场上普及,其所带来的人像模式、多倍变焦也成为了不少智能手机的「标配」,但仍然有厂商依然坚持用一个摄像头的配置。

  比如以软件著称的 Google,从 Pixel 手机的初代到今天的 Pixel 3 / 3XL,在往今的两年时间里(初代 Pixel 于 2016 年发布),他们仍坚持采用单摄配置。

  有意思的是,Pixel 不但是 DxOMark 榜单前列的常客,夜景表现长期吊打各旗舰, 而且还带来了比双摄出品更优秀的人像模式出品。

  这些其实都是要归功于软件算法和 AI 神经网络。昨天,Google 就在他们的 Google AI Blog 上解析了 Pixel 3「人像模式」(Portrait Mode)的算法原理。实际上,他们在这套算法上下了不少功夫。

  Google 的算法原理

  如果你对 Google 的相机算法陌生,不妨先来了解一下 Pixel 2 的人像算法原理

  去年,Google 通过 AI(神经网络)算法,让 Pixel 2 / 2XL 在仅一颗摄像头的硬件条件下,拍出能与双摄手机媲美的人像背景虚化照片。

  ▲ 图片来自:Google

  通过去年 Google?公布的这组对比图,我们能快速区分出左边的 HDR+ 样张和右边 Portrait Mode「人像模式」下的样张在背景虚化上的不同。

  正如你所见那样,在「人像模式」下,人像后的背景被进行了软件虚化处理,与正常 HDR+ 对比看上去视觉冲击更强,同时也避免了背景对拍摄主体的视觉干扰。

  • 拍摄一张 HDR+ 照片

  根据 Google 去年在 AI Blog 的介绍,Pixel 2 的相机会先拍摄一组 HDR+ 照片,通过多帧合成,从而提升最终成片的动态范围、细节保留、高光表现。

  通过下面这组 HDR+ 的对比图,我们能看到该功能在开启前后的区别(注意右上角远景曝光及地板线条细节)。

  ▲ 左:HDR+ 前;右:HDR+ 后图片来自:Google

  • 分割远近景

  如果你想拍摄一张「人像模式」照片,那么在得到一张 HDR+ 成片后,相机会使用 TensorFlow 的 AI 神经网络将人物像素点、物体的像素点、远近物的像素点筛选出来。

  Google 在 AI Blog 给出的这组对比图能看到更直观的展示效果:

  左边是 HDR+ 拍摄的原图,右边黑色部分是 AI 识别出来的背景部分,白色部分是被识别出来的主体人物轮廓(包括人物五官细节以及在该轮廓内的物体)。

  有意思的是,从最终成片中我们能看到,桌上的饼干在 AI 识别下是属于「非人」部分,但最终这部分没有被虚化。这是因为系统除了将主体和背景识别出来以外,还识别出了主体周边的物体,因此 AI 最终没有将人物下方的物体虚化。因为这部分虽然不属于对焦主体,属于近景,但是这种效果还不是最完美的。

  • 得到深度优化图并合成最终成片

  虽然去年的 Pixel 2 和今年的 Pixel 3 系列都没有配置双摄像头,但 Google 似乎一直都不是以硬件取胜的公司,他们更擅长于用软件和算法去解决问题。

  ▲ 图片来自:Google

  尽管没有硬件上的双摄,但 Pixel 的相机都配备了 PDAF 双核相位对焦技术,Google 便可以通过像素点划分将一颗摄像头「一分为二」:

  镜头左侧拍摄到的画面会和右侧的画面约有 1mm 的不同视觉间距,如果是在纵向拍摄下,镜头则是分为上下两部分排列。

  在拍摄后,系统会并排两侧镜头拍摄到的像素。通过 Google 自家的 Jump Assembler 算法去得出立体演算的深度优化图,利用双向求解器将深度图转变成高解析度。

  ▲ 图 1 、2 为上半部分、下半部分相机拍摄,图 3 动图为前面两图区别图片来自:Google

  上图左边是通过 PDAF 拍摄并演算得到的深度图,白色部分越深,代表与镜头距离越近;右边是决定像素模糊程度,黑色部分为「不需模糊」范围,红色部分为「需模糊范围」,通过红色的深浅,系统会自动判断出背景虚化的力度。

  ▲ 最终效果图

  最后系统会将第 2 步骤分割出的背景图和第 3 步骤得出的深度图合并。在 AI 物体的判别下,系统能估算出近景的饼干和瓷盘到对焦(人物)主体的距离,并进行虚化。最终得到了比步骤 2 的初级处理更全面和自然的人像照片。

对比步骤 2 和步骤 3 最终的效果图,你能看到位于近景的饼干也被适当虚化了。通过软件算法,我们能将虚化范围「捏造」成任何形状。

  Google 是怎样训练神经网络的?

  了解了 Pixel 2 的人像模式原理,那么 Pixel 3 的优化就不难理解了。

  通过软件算法,相机系统可大致估算出对焦主体和背景的距离,并对远景进行虚化。但在手持拍摄时,手机难免会出现轻微的抖动,因而影响到最终虚化效果。正是如此,此前有不少用户在 Pixel 2 系列上遇到了景深识别错误的问题。

  根据 Google AI Blog 的介绍,基于神经网络学习的特性,在 Pixel 3 上,Google 正通过增加对 AI 系统的识别提示和训练 AI 神经网络的算法,去修复「人像模式」中的识别误差问题。

例如,通过像素点数量去判断物体与镜头的远近距离,得出给 AI 更精准的距离判断结果;或者通过对焦点内外的清晰情况,给 AI 提供散焦提示。

  「Franken Phone」是 Google 用于训练由 TensorFlow 编写的神经网络系统的装置,这套装置由 5 台 Pixel 3 和 WiFi 组成。

  在测试时,Google 会用 Franken Phone 里的 5 台手机在不同的角度同时拍摄,最终得出一张由多个角度、和立体算法合成的动态深度图。从而达到模拟拍摄动态、在复杂场景下训练神经网络精准识别出人物(近景)和背景(远景)的目的。

  ▲ 图一为 Google Franken Phone。图片来自:Google

  当然,如果您对 Google 这套算法感兴趣,也可以自己动手去亲自研究他们。Google AI Blog?表示,在使用 Google Camera App 6.1 版本的「人像模式」拍摄后,通过 Google Photos 能查看照片的深度图了。

  或者,您也可以通过第三方软件提取深度图,去看看在 AI 神经网络优化下识别方式。

原文地址:https://www.cnblogs.com/xiexiaokui/p/10048176.html

时间: 2024-10-23 05:33:52

通过AI自学习,Google让Pixel 3的人像模式更优秀的相关文章

自己动手做AI:Google AIY开发工具包解析

2018年国际消费性电子展(CES)上,最明显的一个趋势是Amazon与Google的语音技术进驻战,如AmazonAlexa进驻到Acer笔电内,Google Assist进驻到KIA汽车内,其他如智能电视.智能喇叭,乃至传统数字录放机TiVo都成为抢占进驻的对象. Google Assistant 语音识别进驻大战 这是一波新的抢滩战,过去Google具有PC上网的搜寻入口优势,使Google赚取庞大的广告中介收益.但上网的形式在改变,包含走动时对手机「说」.客厅躺卧时对智慧喇叭「说」.或开

ai域名为什么突然那么多人注册?

.ai域名是国别域名,双字母域名后缀简单易记,而且根据域名管理局政策,2006年6月起任何人都可以注册.ai域名. 由于ai是中文爱的拼音,所以.ai很适合情感类.婚恋类网站建站,甚至有人打出了"爱Ta,就为Ta注册一个.ai"的口号.随着人工智能(Artificial Intelligence)的大火,ai也被视为人工智能域名,而受到众多科技公司的青睐,像谷歌.微软这些巨头为进军AI领域,都分别保护了自己的品牌.ai域名Google.ai.Microsoft.ai. 2016年中国人

解读今年的 Google IO 2017

今天现场体验了 IO 大会,那感觉真的棒呆了,特别震撼,用老外的话说就是 Amazing!我做的位置还是蛮靠前的,来一张我的位置拍的照: 另外,你们可能不知道,因为我觉得这次机会蛮难得的,就想着能让一些朋友与伙伴感受下现场的氛围就最好了,于是就在 IO 大会之前偷偷开了场直播,在只发了朋友圈和小密圈的情况下,而且北京时间还是凌晨,竟然有 3000 多人观看了我的直播,反应都还不错,今天算是体验了把直播的感觉,这是人生的第一场直播,可能也是最后一场. 另外,直接说正题,这次 IO 大会在我看来,其

浅析初等贪吃蛇AI算法

作为小学期程序设计训练大作业的一部分,也是自己之前思考过的一个问题,终于利用小学期完成了贪吃蛇AI的一次尝试,下作一总结. 背景介绍: 首先,我针对贪吃蛇AI这一关键词在百度和google上尽心了检索,大致获得了一下信息 1.A*寻路算法是人工智能中的一个经典算法,很多AI利用这个算法提高性能. 2.在alphaGo一战成名,人工智能家喻户晓之后,有一个贪吃蛇AI吃满全屏的GIF图已读在微博疯转. 3.这个GIF图早在2013年就已经出现了(其实比alphaGo早). 4.国内过于贪吃蛇AI(也

【AI创新者】小蚁首架张骏峰:让图像AI人尽可用转载

张骏峰,小蚁科技首席架构师,负责小蚁AI图像相关算法架构.主要包括:小蚁智能摄像机的智能报警服务.小蚁智能行车记录仪的辅助驾驶ADAS服务.小蚁运动相机App的图像风格迁移技术以及小蚁微单App的图像视频编辑技术.其团队包括移动开发.前端.后台.算法,成员分布在北京及以色列.张骏峰于2015年加入小蚁,此前,张就职于微软长达14年,参与过Windows, .Net Framework, MSN, Office, Lync, Skype等产品的研发工作. 小蚁科技成立于2013年,是一家年轻的互联

Google 发布 Android 性能优化典范

2015年伊始,Google发布了关于Android性能优化典范的专题, 一共16个短视频,每个3-5分钟,帮助开发者创建更快更优秀的Android App.课程专题不仅仅介绍了Android系统中有关性能问题的底层工作原理,同时也介绍了如何通过工具来找出性能问题以及提升性能的建议.主要从三个 方面展开,Android的渲染机制,内存与GC,电量优化.下面是对这些问题和建议的总结梳理. 0)Render Performance 大多数用户感知到的卡顿等性能问题的最主要根源都是因为渲染性能.从设计

教你10步闯进google play排行榜前列

    1.正视最高榜单的价值 我们需要了解排名对你的游戏的价值,进入前20名你的游戏获得每日至少1万5千的安装量,而前10名获得至少2万5千的安装量.通过奖励性广告网络而获得这些流量需要你每日支付至少2500美元的费用,而如果你选择采取非奖励性方式,你每天的费用甚至会高达1万美元. 2.理解Google Play排名算法 虽然谷歌没有公布goole play具体算法,但根据多年的经验,我们大概可以了解进入排行版前列的一些重要因素: 因素一:发布时间 新应用在时间上一定拥有优势,因为玩家总是希望

【转】google chrome如何设置主页

原文网址:http://jingyan.baidu.com/article/8275fc86bf916c46a13cf666.html google chrome是一款拥有众多优秀插件的浏览器,是我们最喜欢的浏览器之一,下面我们来看看chrome浏览器如何设置百度.hao123.2345.360导航等页面作为主页吧! 工具/原料 电脑 google chrome浏览器 方法/步骤 打开chrome浏览器,点击浏览器右上角的“三”,再点击“设置”   找到“启动时”->“打开特定网页或一组网页”,

Google 发布的15个 Android 性能优化典范

2015年伊始,Google发布了关于Android性能优化典范的专题,一共16个短视频,每个3-5分钟,帮助开发者创建更快更优秀的Android App.课程专题不仅仅介绍了Android系统中有关性能问题的底层工作原理,同时也介绍了如何通过工具来找出性能问题以及提升性能的建议.主要从三个方面展开,Android的渲染机制,内存与GC,电量优化.下面是对这些问题和建议的总结梳理. 0)Render Performance 大多数用户感知到的卡顿等性能问题的最主要根源都是因为渲染性能.从设计师的