谷歌宣布推出用于边缘计算的Edge TPU，作为Cloud TPU的补充，目前Edge TPU仅用于推理，专为在边缘运行TensorFlow Lite ML模型而设计。除了自用，谷歌Edge TPU也将提供给其他厂商使用，进一步把开发者锁定在谷歌生态系统，或对整个智能云计算市场带来巨大冲击！
谷歌又出重磅消息！在谷歌云年度大会的第二天，谷歌宣布Edge TPU——TPU的轻量级版本，用于边缘计算。
这就意味着，谷歌不仅为在自己的数据中心开发人工智能芯片，还打算在将其设计的Edge TPU用在其他公司生产的产品中。
两年前谷歌推出了第一代TPU，当时只能做推理。去年，谷歌推出了既能做训练也能做推理的TPU 2.0，这款谷歌自研芯片当做GPU的强劲对手，威胁英伟达的市场份额。今天5月，谷歌在I/O大会上发布了TPU 3.0，性能进一步提升。无论市场情况如何，谷歌都在内部都更多地使用TPU，而不是依赖英伟达等供应商提供的硬件。
但是，谷歌曾多次表示不会对外销售TPU，而是将TPU与谷歌云Google Cloud Platform（GCP）和TensorFlow绑定，让使用GCP和TF的用户享受TPU带来的计算优势。
现在，Edge TPU则不同了。据CNBC报道，消费电子制造商LG正在一个显示器玻璃检测系统中测试谷歌Edge TPU，以更快地发现制造缺陷。据LG CNS集团CTO Shingyoon Hyun 表示，检测精度从原来的约50％提高到了99.9％。
可以想见，未来谷歌Edge TPU在物联网以及智能终端设备中的巨大使用空间，以及对物联网芯片市场的冲击。
将机器学习带到边缘，省钱！省时！
今天谷歌宣布推出两款旨在帮助客户大规模开发和部署智能连接设备的新产品：Edge TPU，一款新的硬件芯片，以及Cloud IoT Edge，一款将Google Cloud强大的AI功能扩展到网关和连接设备的软件栈。用户可以在云上构建和训练ML模型，然后通过Edge TPU硬件加速器在Cloud IoT Edge设备上运行这些模型。
Edge TPU是谷歌的专用ASIC芯片，专为在边缘运行TensorFlow Lite ML模型而设计。在设计Edge TPU时，我们非常注重在很小的占用空间内优化“每瓦性能”和“每美元性能”。
Edge TPU的设计旨在补充谷歌云TPU，因此，你可以在云中加速ML的训练，然后在边缘进行快速的ML推理。你的传感器不仅仅是数据采集——它们还能够做出本地的、实时的、智能的决策。
Edge TPU芯片的尺寸，与一美元硬币对比
根据谷歌博客的介绍，Edge TPU 的特点如下：
边缘上的AI
如今，从消费者到企业应用程序，AI无处不在。随着连接设备的爆炸式增长，再加上对隐私/机密性、低延迟和带宽限制的需求，在云中训练的AI模型越来越需要在边缘上运行。Edge TPU是谷歌为在边缘运行AI而设计的专用ASIC。它在很小的物理占用和很低功耗的限制下提供高性能，使得在边缘部署高精度的AI成为可能。
端到端的AI基础设施
Edge TPU是Cloud TPU和Google Cloud服务的补充，提供end-to-end、cloud-to-edge、硬件+软件的基础设施，以便于基于AI的解决方案的部署。
很小的物理占用和低功耗下实现高性能
由于其高性能、物理占用面积小、功耗低，Edge TPU可以在边缘广泛部署高质量的AI。
AI硬件、软件和算法的协同设计
Edge TPU不仅仅是一个硬件解决方案，它结合了定制硬件、开放软件和最先进的AI算法，为边缘提供高质量、易于部署的AI解决方案。
广泛的应用
Edge TPU有非常多的工业用例，例如预测性维护、异常检测、机器视觉、机器人、语音识别等等。在制造业、内部部署、医疗、零售、智能空间、交通等领域有广泛应用。
Edge TPU和Cloud TPU的对比：目前Edge仅用于推理
Edge TPU支持在边缘部署高质量的ML推理。它增强了谷歌的Cloud TPU和Cloud IoT，以提供端到端（云到端、硬件+软件）的基础设施，以促进客户基于AI的解决方案的部署。除了开放源码的TensorFlow Lite编程环境之外，Edge TPU最初将部署多个Google AI模型，并结合谷歌在AI和硬件方面的专业知识。
Edge TPU补充了CPU、GPU和其他ASIC解决方案，用于在Edge上运行AI，这将由Cloud IoT Edge支持。
Edge TPU 和 Cloud TPU的对比
- Edge TPU可用于ML推理，不适用于训练；Cloud TPU可用于ML训练和推理
- 软件和服务方面，Edge TPU适用于Cloud IoT Edge和Android Things；Cloud TPU的可用软件包括Cloud ML Engine，Kubernetes Engine，Google Compute Engine，以及Cloud IoT Core
- ML框架：Edge TPU可使用TensorFlow Lite, NN API；Cloud TPU可使用TensorFlow, scikit-learn, XGBoost, Keras
- 硬件加速器：Edge TPU包括Edge TPU, GPU, CPU；Cloud TPU包括Cloud TPU, GPU 和CPU
Edge TPU的特性
Edge TPU使用户能够以高效的方式，在高分辨率视频上以每秒30帧的速度，在每帧上同时执行多个最先进的AI模型。
推出配套软件 Cloud IoT Edge
Cloud IoT Edge是将Google Cloud强大的数据处理和机器学习功能扩展到网关、摄像头和终端设备的软件，使物联网应用更智能、更安全、更可靠。它允许你在Edge TPU或基于GPU和CPU的加速器上执行在Google Cloud中训练了的ML模型。
Cloud IoT Edge可以在Android Things或基于Linux OS的设备上运行，其关键组件包括：
- 网关类设备runtime（至少有一个CPU），用于边缘数据的本地存储、转换和处理，以及从数据中获取智能，同时与云IoT平台的其余部分无缝互操作。
- Edge IoT Core runtime，能更安全地将边缘设备连接到云，支持软件和固件更新，并通过Cloud IoT Core管理数据交换。
- 基于TensorFlow Lite的Edge ML runtime，使用预先训练过的模型执行本地ML推理，显著减少延迟并增加边缘设备的多功能性。由于Edge ML运行时与TensorFlow Lite接口，因此它可以在网关类设备中的CPU，GPU或Edge TPU上执行ML推理，或者在终端设备（如摄像头）中执行ML推理。
推出Edge TPU开发套件，进一步将开发者锁定在谷歌生态系统
为了使用Edge TPU快速启动开发和测试，我们构建了一个开发套件（Edge TPU development kit）。这个套件包括一个模块化系统（SOM），集合了谷歌的Edge TPU，一个NXP的CPU, Wi-Fi，和Microchip的安全元件。开发套件将在今年10月对开发者开放，也可以注册申请提前访问。
Edge TPU开发套件：SOM（上）和底板（下）
颠覆云计算，狙击亚马逊和微软
谷歌进军定制芯片已经被证明可行。用于谷歌数据中心的TPU本身就是一个很好的例子。
Edge TPU的计算密集度低于训练模型，无需连接到一堆功能强大的计算机即可运行计算，因此应用程序可以更快、更可靠地运行。
如上所述，Edge TPU可以充当传感器或网关设备中的标准芯片或微控制器。谷歌已经开发了一套套件，包括Edge TPU，NXP芯片和Wi-Fi连接，供开发人员试用。
今年2月份加入谷歌实习（entrepreneur in residence）的三星前CTO Injong Rhee 表示，谷歌制作Edge TPU并非为了与传统的芯片商进行竞争。“这对所有芯片供应商和设备制造商都非常有利。” Rhee 告诉CNBC记者。
Rhee 表示，Edge TPU可能会“颠覆云计算的竞争”，因为现在某些计算只用发生在本地。他说，就成本和能源使用而言，谷歌芯片在某些类型的计算方面比传统芯片更加高效。
至于谷歌是否会研发一款更强大，可以用于训练的Edge TPU时，Rhee 则表示不予置评。
谷歌正在与Arm，Harting，日立数据系统（Hitachi Vantara），新汉（Nexcom），诺基亚和恩智浦等制造商合作。
谷歌将在一款类似 Raspberry Pi 的套件上推出Edge TPU，在简化版的TensorFlow AI软件上运行。这一操作将使得那些已经使用TensorFlow作为其主要机器学习框架的开发者，更快更高效地使用Edge TPU，提供全栈式硬件，进一步将其锁定在谷歌云的生态系统中。
谷歌并不是唯一为所谓的物联网提供服务的云服务提供商。今年早些时候，微软宣布推出面向物联网的芯片设计。微软的Azure是除了亚马逊AWS之外第二大云的服务商。
至于占据市场主要份额的亚马逊AWS，凭借其智能音箱Echo/Alexa，已经在智能终端领域占据了不小的市场。
虽然硅谷早有传言，但Edge TPU的推出无疑是谷歌迈进从硬件到用户体验一张套服务的切实一步。
就目前而言，谷歌Edge TPU或许还尚不具备颠覆硬件计算市场的能力，但谷歌将自研Edge TPU用于其他厂商设备这一举措，显然有一统生态系统的野心。
但无论如何，消费者的体验将会随着越来越强大的智能计算得到进一步提高。
参考资料
1、CNBC报道：https://www.cnbc.com/2018/07/23/google-cloud-team-builds-ai-chips-for-internet-of-things-devices.html
2、谷歌博客：https://www.blog.google/products/google-cloud/bringing-intelligence-to-the-edge-with-cloud-iot/
via http://www.sohu.com/a/243422493_473283
发表评论