凯发K8国际登录 | 首页

人才招聘

今年AI论文八大领域突破:视频博主最利好,跨界输出很潮流

发布日期:2021-11-16 18:57    点击次数:115

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

自动驾驶、图像生成、2D转3D……

2021年,哪些AI论文最火?又是哪些论文最具突破性?

最近一位ÉTS研究生、YouTube博主总结了今年AI最新突破列表,视频、文章和代码一应俱全。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

我们从中梳理出八大类,就跟大家一起来康康~

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流 视频博主看过来

从中梳理最多的,当属一些利好视频博主的技术了。

比如,这个TimeLens,它可以制作慢动作视频,最大范围可从原有的30帧扩展成900帧。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

再比如,这个编辑神器VGPNN——单个视频几秒内多样化生成。

像删除或添加某人、改变背景、时间拉长、改变长宽比、分辨率等功能在它面前,都是基本操作。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

还有像在不影响背景或其他对象情况下,移动图像中的对象;使用AI分离真实世界中的声音,语音、音乐和音效之类……

具体在画质处理上,今年英特尔就用英伟达显卡做了画质增强补丁。今年6月,这个Demo在全网火了一把。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

为了在GTA上效果更真实,研究人员改变了视频中3点特征:增加汽车的光泽、改善植被的整体外观、让沥青路面看起来更光滑。

对此,有网友表示,这比路径追踪便宜多了。

如果说肆掠的疫情让视频会议火了一把,那么视频会议软件让背景替换技术搬到了台前。

谷歌研究员就提出了一种重新光照的方法Total Relighting,来给人像做背景替换。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

它能根据新添加的场景光线,重新点亮任何肖像,以此看起来更加真实。

这一方法还可进一步延伸至电影、专业视频制作中,up主可以用起来。

此外,除了背景替换,还有文字替换,风格还保留的那种。

今年,Facebook提出了一种AI模型,它可以直接翻译或编辑图像中的文本,并且遵照同样的风格。

类似这样~

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流 DALL·E领衔的图像生成

图像生成领域,最具突破性的当属DALL·E——OpenAI在新年推出的“AI设计师”,吴恩达点赞的那种。

简单来说就是,提出你的文本需求, 它来生成图像。从原理上看,类似于GPT-3在文本合成图像方向上的扩展版。

比如输入“OpenAI公司门面”,它就能给出十几张设计图供你选择。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

还有像根据手绘草图来生成图像、使用随机微分方程进行图像合成和编辑等进展。

2D图像生成3D模型

这是除图像生成外,另一个2021 AI领域热度极高的研究方向。

试想一下,如果只在现实生活中拍摄一张对象照片,就可创建3D格式将其插入视频或者游戏中,会有多酷。

谷歌研究院提出的ShaRF就可以做到,比如随意拍的一个椅子。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

英伟达也提出了类似的解决方案GANverse3D,只需一张图像,就可创建可自定义的3D动画。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

还有前段时间火爆外网的假3D场景,也是通过一组照片渲染出来的。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

以及LASR模型——从短视频中单拎出一个对象来,创建人类或动物的3D模型……类似的方法还有很多。

万物皆可与Transformer结合

你是否想过把CNN与Transformer结合起来?

2021年,“跨界输出”在AI领域掀起潮流。

基于CNN效率和Transformer的表达能力,德国海德堡大学的研究人员提出一种高分辨率图像生成的方法——Tl;DR。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

还不只是CNN和Transformer。

斯坦福和Facebook的研究人员提出GANsformers——基于StyleGAN2架构中Transformer的注意力机制,来生成场景图片。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流 应用层:试衣间、天气预报

除此之外,还有原有模型基础上应用层面的延伸。

就如谷歌提出了基于StyleGAN2架构的改进版,创建了一个AI在线试衣间。

只需要提供一张你的图像,就能自动试穿任何衣服。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

还有像巴塞罗那大学的研究人员开发了一种基于深度学习,能从航拍图像中自动检测漂浮的垃圾,并计算数量。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

为此,他们还制作了一个APP,用户可在海面图像中识别这些垃圾。

还有Apple提出应用在相册的ML算法,在iOS 15上自动识别私人照片中的人;DeepMind提出了一个使用雷达深度生成模型,来更准确的预报天气。

AI驱动的赛博朋克手臂

明尼苏达大学的研究人员打造了一款赛博朋克手臂——AI驱动的神经接口。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

据介绍,截肢者可以像寻常人一样灵巧的控制手臂。

编程神器:GitHub Copilot

对于开发者而言,今年最具突破性的进展莫过于编程神器——GitHub Copilot,由GitHub与openAI联合开发。

只需描述出你想要执行的命令,就能生成相应的代码。

甚至程序员只要写下一段注释,Github Copilot就可以补全剩下的代码、提出改进的建议,为程序员省去大量查找的时间。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流 特斯拉的自动驾驶

值得一提的是,这次还有特斯拉的自动驾驶入选。

在特斯拉的AI day上,人工智能总监Andrej Karpathy展示了特斯拉如何通过8个摄像头来获取图像到道路导航的过程。

这当中包括压缩数据、二维转变为三维输出等操作。

今年AI论文8大领域突破:视频博主最利好,跨界输出很潮流

……

除此之外,还有像面对第三次人工智能浪潮,研究人员对AI中快与慢思考;AI伪造类似“探探”个人档案,来探讨人类会不会向右滑动;Transformer是如何在CV领域取代CNN的?

感兴趣的旁友,可戳下方链接了解更多详情哦~

目前仍在更新当中。

GitHub链接: https://github.com/louisfb01/best_AI_papers_2021

【编辑推荐】

一篇带你弄懂Containerd vs Docker 如何用 JavaScript 构建命令行应用 双栈共存 保障应用 赤峰市加速电子政务外网IPv6建设应用 HarmonyOS ArkUI之仿微信图片选择 超实用,推荐一款命令行终端网页分享利器