如何基于流量请求数实现服务自动扩缩容

Knative中提供了开箱即用、基于流量请求的自动扩缩容KPA（Knative Pod Autoscaler）功能。本文介绍如何基于流量请求数实现服务自动扩缩容。

已创建ACK托管集群或ACK Serverless集群，且集群版本为1.20及以上。具体操作，请参见已创建Kubernetes托管版集群、已创建ACK Serverless集群。

Knative Serving会为每个Pod注入一个名为queue-proxy的QUEUE代理容器，该容器负责向Autoscaler报告业务容器的并发指标。Autoscaler接收到这些指标之后，会根据并发请求数及相应的算法，调整Deployment的Pod数量，从而实现自动扩缩容。

Knative Pod Autoscaler（KPA）基于每个Pod的平均请求数（或并发数）进行自动扩缩容，Knative默认使用基于并发数的自动弹性，每个Pod的最大并发数为100。此外，Knative还提供了目标使用率（target-utilization-percentage）的概念，用于指定自动扩缩容的目标使用率。

基于并发数弹性为例，Pod数计算方式如为：Pod数=并发请求总数/（Pod最大并发数*目标使用率）

例如，如果服务中Pod最大并发数设置为10，目标使用率设置为0.7，此时如果接收到了100个并发请求，则Autoscaler就会创建15个Pod（即100/(0.7*10)≈15）。

KPA基于每个Pod的平均请求数（或并发数）来进行自动扩缩容，并结合了Stable稳定模式和Panic恐慌模式两个概念，以实现精细化的弹性。

Stable稳定模式

在稳定模式中，KPA会在默认的稳定窗口期（默认为60秒）内计算Pod的平均并发数。根据这个平均并发数，KPA会调整Pod的数量，以保持稳定的负载水平。

Panic恐慌模式

在恐慌模式中，KPA会在恐慌窗口期（默认为6秒）内计算Pod的平均并发数。恐慌窗口期=稳定窗口期*panic-window-percentage（panic-window-percentage取值是0～1，默认是0.1）。当请求突然增加导致当前Pod的使用率超过恐慌窗口百分比时，KPA会快速增加Pod的数量以满足负载需求。

在KPA中，弹性生效的判断是基于恐慌模式下计算得出的Pod数量是否超过恐慌阈值（PanicThreshold）。恐慌阈值=panic-threshold-percentage/100，panic-threshold-percentage默认为200，即恐慌阈值默认为2。

综上所述，如果在恐慌模式下计算得出的Pod数量大于或等于当前Ready Pod数量的两倍，那么KPA将使用恐慌模式下计算得出的Pod数量进行弹性生效；否则，将使用稳定模式下计算得出的Pod数量。

配置KPA，需要配置config-autoscaler，该参数默认已配置，以下为重点参数介绍。

执行以下命令，查看config-autoscaler。

预期输出（config-autoscaler默认的ConfigMap）：