本场景基于函数计算建立一个TensorFlow Serverless AI推理平台。
点击立即参与云产品场景体验https://developer.aliyun.com/adc/scenario/35a73acbb9cb477e8a4a5b22021f23a9?spm=a2c6h.13858375.0.0.423b5b90KoADt0
建议体验时长：2小时 云产品资源使用时长：2小时实验简介
体验后您将收获到
- FUN 工具的使用
- TensorFlow Serverless AI 推理平台的搭建
相关产品
- 云服务器ECS
本场景将介绍使用函数计算产品 Function Compute 部署深度学习 AI 推理平台的最佳实践，基于函数计算 Function Compute 建立一个TensorFlow Serverless AI 推理平台。
让人工智能领域开发者可以更专注于算法模型的训练与业务逻辑的开发，将计算集群的运维交予函数计算处理，提高工作效率。
最终效果：通过上传一个猫或狗的照片， 识别出这个照片里面的动物是猫还是狗。
背景知识 什么是函数计算 Function Compute？函数计算 Function Compute 是事件驱动的全托管计算服务。使用函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码。函数计算为您准备好计算资源，弹性地可靠地运行任务，并提供日志查询、性能监控和报警等功能。函数计算帮助您无需管理服务器（Serverless），仅专注于函数代码就能快速搭建应用。函数计算能够弹性地伸缩，您只需要按使用量付费。
基于函数计算的 Serverless 方案与传统自建服务方案对比
| 自建服务 | 函数计算 Serverless | |
| 基础设施 | 需要用户采购和管理 | 无 |
| 开发效率 | 除了必要的业务逻辑开发,需要自己建立相同线上运行环境， 包括相关软件的安装、服务配置、安全更新等一系列问题 | 只需要专注业务逻辑的开发, 配合 FUN 工具一键资源编排和部署 |
| 学习上手成本 | 可能使用 K8S 或弹性伸缩( ESS )，需要了解更多的产品、名词和参数的意义 | 会编写对应的语言的函数代码即可 |
弹性伸缩免运维
| 自建服务 | 函数计算 Serverless | |
| 弹性高可用 | 需要自建负载均衡 (SLB)，弹性伸缩，扩容缩容速度较 FC 慢 | FC系统固有毫秒级别弹性伸缩，快速实现底层扩容以应对峰值压力，免运维 |
| 监控报警查询 | ECS 级别的 metrics | 提供更细粒度的函数执行情况，每次访问函数执行的 latency 和日志等， 更加完善的报警监控机制 |
更低的成本
- 函数计算 (FC) 固有自动伸缩和负载均衡功能，用户不需要购买负载均衡 (SLB) 和弹性伸缩。
- 具有明显波峰波谷的用户访问场景(比如只有部分时间段有请求，其他时间甚至没有请求)，选择按需付费，只需为实际使用的计算资源付费。
对于明显波峰波谷或者稀疏调用具有低成本优势， 同时还保持了弹性能力，以后业务规模做大以后并没有技术切换成本，同时财务成本增长配合预付费也能保持平滑。
- 部分请求持续平稳的场景下,可以配合预付费解决按需付费较高单价问题。函数计算成本优化最佳实践文档。
假设有一个在线计算服务，由于是CPU 密集型计算， 因此在这里我们将平均 CPU 利用率作为核心参考指标对成本，以一个月为周期，10台 C5 ECS 的总计算力为例，总的计算量约为 30% 场景下， 各解决方案 CPU 资源利用率使用情况示意图大致如下:
优势总结：基于函数计算进行 AI 推理等 CPU 密集型的主要优势
1. 上手简单， 只专注业务逻辑开发， 极大提高工程开发效率。
- 自建方案有太多学习和配置成本，如针对不同场景，ESS 需要做各种不同的参数配置
- 系统环境的维护升级等。
2. 免运维，函数执行级别粒度的监控和告警。
3. 毫秒级弹性扩容，保证弹性高可用，同时能覆盖延迟敏感和成本敏感类型。
4. 在 CPU 密集型的计算场景下， 通过设置合理的组合计费模式， 在如下场景中具有成本优势：
- 请求访问具有明显波峰波谷， 其他时间甚至没有请求
- 有一定稳定的负载请求， 但是有部分时间段请求量突变剧烈
