安卓谷歌空间应用导出,谷歌最近在深度学习应用方面有哪些进展?


时间:

谷歌近期的确是成果颇丰,接连发了好几篇博客,分别介绍了自动语音分离、无监督细胞荧光标记和AR显微镜癌症检测的深度学习应用。




这项技术的独特之处是结合了输入视频的听觉和视觉信号来分离语音。直观地讲,人的嘴的运动应当与该人说话时产生的声音相关联,这反过来又可以帮助识别音频的哪些部分对应于该人。视觉信号不仅在混合语音的情况下显著提高了语音分离质量(与仅仅使用音频的语音分离相比,正如在本文中所证明的),但是重要的是,它还将分离的干净语音轨道与视频中的可见说话者相关联。



谷歌认为该项技术有很广泛的应用前景,目前正在探索如何将该技术整合到谷歌的产品中,敬请期待!




上画展示了相同细胞的透射光图像、荧光图像,以及用谷歌的模型预测的荧光标记。Outset 2 表明尽管输入图像中有伪影,该模型也可以预测正确的标记。Outset 3 表明模型推断出这些结构是轴突,可能是因为它们离最近邻的细胞比较远。Outset 4 表明模型可以发现顶部很难察觉的细胞,并正确地将左侧的目标识别为无 DNA 的细胞碎片。




左:ARM 的概述图。数字摄像头捕捉和用户相同的视野,并将图像传递给附加的计算单元,以运行机器学习模型进行实时推断。结果将被反馈给自定义的 AR 显示器,该显示器和目镜串联,可将模型输出投影到和幻灯片相同的平面上。右:设备原型,已被改造成典型的临床应用级别光学显微镜。


通过 ARM 目镜观察到的图像示例。这些图像展示了淋巴结癌细胞转移示例,显微镜物镜分别是 4x、10x、20x 和 40x。



谷歌认为 ARM 可以对世界医疗状况产生巨大影响,尤其是发展中国家的传染病诊断,如肺结核、疟疾等。此外,即使对于采用了数字化病理诊断工作流程的医院,ARM 也可与数字化工作流程结合使用,数字化工作流程中扫描仪仍然面临很大挑战或者仍然需要快速周转(如细胞学检查、荧光成像或术中冰冻切片)。当然,光学显微镜在病理科之外的很多方面也被证明有效,谷歌认为 ARM 可以得到大范围的应用,如医疗、生命科学研究和材料科学。谷歌将继续探索 ARM,帮助加速机器学习技术对世界的积极影响。

分享最近6月7月份的google发布的两篇关于深度学习应用的文章,生物医学和机器人,google在深度学习方面的研究方向很多,有很多底层算法的创新和优化,希望国内企业多多努力,一起加油!

1.automating drug discoveries using computer vision,利用计算机视觉实现药物发现的自动化。这篇文章来自谷歌brain team的首席科学家vincent vanhoucke.

直观讲就是通过机器视觉识别出科学家需要的晶体,不过这种晶体非常小,结构各不相同,且需要足够样本数据来训练和深度学习,这些都增加了很大的难度。

如果这项研究获得成功,那么未来新药物的研究速度会有很大提升,意义非凡。


2.Scalable Deep Reinforcement Learning for Robotic Manipulation,机器人操作的可扩展深度强化学习。文章来自Alex Irpan,软件工程师,谷歌大脑团队和Peter Pastor,高级机器人学家。



总结下来就是需要机器人具备人类的一切感知和反应能力,这真的很难,目前科学家们用7个机器人运行4个月的时间,用15到30%的时间采集数据,当它动作执行的更好一些的时候,从数据采集切换到学习模型,这项算法用相机拍到的图像,然后指挥手臂和夹钳如何移动,目前已经收集了1000多个不同的离线数据。