移动和 Web应用上的设备端机器学习(Google I/O 2021 问答)
视频地址: https://events.google.com/io/session/187aed3d-2768-4b1a-8047-48c025b7d0bd?lng=zh-CN, 时长 29min34s
问答内容
Q:What is “on-device machine learning” and why should i care about it
A: 介绍了机器学习在设备端的发展历史,TensorFlow Lite;
设备端机器学习在应用场景中的优势:低延时、低功耗、隐私数据...
比如本地处理音频帧、视频帧、扫描条形码、离线服务等等
Q: What are some common use cases where ML is being used on-device?
A: 常见应用列举,TikTock、Instgram、Sapchat、文本翻译、语义理解等等
Q:On device ML, we have seen in android devices, but what about web apps? Like on device ML will work as usual in PWAs?
A: 介绍了TensorFlow.js,提到了Google I/O上演示的一个Demo
Q: I believe that on-device machine learning means having the model on the device or loading it beforehand. So how can we prevent other people that uses our product to extract that model?
既然模型部署在端上,怎么防止模型被人为提取
A:模型我想我可以尝试一下,所以首先,我认为有一个 第一部分有一些细节,你不需要 可以打包您的模型作为您的 Android 或 IOS 应用程序的一部分可以准备 它,但你不必这样做。你可以做的一件事之一 考虑将您的模型打包为模型的一部分或托管您的模型 和 Firebase 托管,然后使用五个基础 SDK 以便 安装后在设备上下载和管理您的模型 应用程序,这也可以帮助您保持应用程序的大小。较小。这 另一种选择是使用 Android 应用程序包,它可以让您部署 安装后应用程序的工件,因此它再次帮助您保持 你的应用程序。它可以帮助你在安装时保持你的应用程序很小,但是 我认为你问题的第二部分很重要,所以 如何保护我的模型不被盗。基本上正确吗?我们 正在积极思考这个问题。你可以让偷窃变得更难 楷模。我们是加密和其他机制的一部分 我们正在考虑的部分事情是让它变得更多 其他人更难访问您的模型。你能想到的一些事情 的只是你知道也许在设备上运行你的模型的一部分 发送专有部分。也许到服务器端,因为然后 单独的模型可能不是您的应用程序中的秘密武器 它们可能是其他东西等等,但请注意
Q: Besides processing power, are there any other disadvantages to using on-device ML? When should you implement on-device ML instead of cloud ML?
A:老问题
Q: In the "What's new in Machine Learning", Sarah mentioned that on-device training is on the roadmap, When this become available, and how will the average training time compare to training int the cloud?
设备端直接进行训练还有多远?与云端相比呢
A:this training will not be done from scratch, but it'l primarily be
retraining or refining. The already train model on the on device and
so the training time really depends on just is but part of the part of
fatal alerts will be a set of APS that we might add. For example that
let you restrict the training time to lets say 10 minutes or whatever
but but anyway those details are being finalized as we speak, so
definitely watch out for updates on our public channels. Cool! Lets
look
预计将在今年的阶梯部分可用,然后会有 端到端调用将发布,因此肯定会运行 通过它并在网站上留下反馈。平均会怎样 培训时间 公司在云端进行培训,因此我们希望大部分 这种培训不会从头开始,但主要是 再培训或提炼。已经在设备上训练的模型和 所以训练时间真的取决于只是一部分 致命警报将是
这种培训不会从头开始,但主要是 再培训或提炼。已经在设备上训练的模型和 所以训练时间真的取决于只是一部分 致命警报将是我们可能添加的一组 APS。例如, 让您将训练时间限制为 10 分钟或其他任何时间 但无论如何,这些细节正在我们讲话中敲定,所以 一定要注意我们公共频道的更新。凉爽的!让我们 看
Q:ML Kit and TensorFlow Lite appear to have some similarities. Can you provide some guidance around when to use ML Kit vs TensorFlow Lite?
Q: Will concepts like edge computing affect On-device ML? Will it be a positive or negative impact?
边缘计算对设备机器学习的影A:go over to the device ML is just a form of which computing right When
we think about HT devices. We think about anything that doesnt run
in the server side. This includes mobile devices. Raspberry Pi is
microcontrollers web Linux, devices, desktop, etc etc So so I think
they both are the same on device. There is a few terms here that are
conflated with each other but I think for the most part. It's computing
is running things that are very dont make a server set call and get
back response but run it on device Sunday this one
转到设备 ML 只是其中一种计算方式 我们考虑 HT 设备。我们考虑任何不会运行的东西 在服务器端。这包括移动设备。树莓派是 微控制器 web Linux、设备、桌面等 所以我认为 它们在设备上都是相同的。这里有几个术语是 彼此混为一谈,但我认为在大多数情况下。它在计算 正在运行的东西非常不要让服务器设置调用并获取 回复响应,但周日在设备上运行它
Q: Adding to the previous question about models getting stolen. how one should handle this in perspective of user's privacy in on device models on the web, since on web it's pretty much accessible easily?
Q: My model is huge and I would like to reduce its size before deploying it on my mobile app. How do I do it?
A:定要看看 Tensorflow Hub Tensorflow Hub 是 网站上的我们策划的重新选择的模型列表 由 Google 员工和其他开源贡献者贡献 然后你几乎可以在那里找到很多模型 已经满足您的需求 已量化 已优化 等等 另外,我想我们谈到了一些优化 技术作为模型优化工具包的一部分,所以肯定 试试这些,再加一个