环境信息

测试机器

在美团云公有云申请VM测试。

Client:***.***.**.** / 172.16.85.247

Server1:***.***.**.**/ 172.16.69.137 (1核1G, 无GPU)

Server2:***.***.**.** / 172.16.85.222 (4核16G, 无GPU)

TCP网络延迟

netperf测试TCP_RR,走内网2个VM之间延迟在0.12ms

gRPC框架延迟

见:https://performance-dot-grpc-testing.appspot.com/explore?dashboard=5636470266134528 Ruby API在0.7ms左右,Python估算不小于0.7ms 

测试数据说明

总耗时代表所有请求完成结束消耗时间,单位为秒,其余选项为单次请求统计值,单位为毫秒。

Client为Python单进程多线程,对于Server CPU未达到100%的情况,受限于Client性能未打满TensorFlow Serving单核

线性回归模型

https://github.com/tensorflow/serving/blob/master/tensorflow_serving/example/mnist_saved_model.py

模型为简单线性回归模型 y = wx + b,其中w为10x784矩阵,x为784x1向量,b为10x1向量

1核1G Serving

总请求数量:100000 CPU占用率:40%

并发量
总耗时s
最小耗时ms
平均值ms
中位数ms
90%分位耗时ms
99%分位耗时ms
最大耗时ms
556111129
1056111129
20561112310
50561112311

RNN模型

模型为内部业务团队提供的简单RNN模型

1核1G Serving

总请求数量:100000 CPU占用率:70%

并发量
总耗时s
最小耗时ms
平均值ms
中位数ms
90%分位耗时ms
99%分位耗时ms
最大耗时ms
5591111237
10591112320
20571112435
50561112471

4核16G Serving

总请求数量:100000 CPU占用率:160%

并发量
总耗时s
最小耗时ms
平均值ms
中位数ms
90%分位耗时ms
99%分位耗时ms
最大耗时ms
5621111220
10591112316
20561112432
50571112442

F-CNN模型

https://github.com/tensorflow/serving/blob/master/tensorflow_serving/example/inception_saved_model.py

模型为InceptionV3,全卷积深度神经网络,共46层,由11个Inception modules(Network-in-Network)组成,一共96个卷积层

1核1G Serving

图片大小 6881B

总请求数量:1000 CPU占用率:100%

并发量
总耗时s
最小耗时ms
平均值ms
中位数ms
90%分位耗时ms
99%分位耗时ms
最大耗时ms
548348320002382241629803021
1048048343264744480353015531
2048048489569529957999279931

图片大小 56198B

总请求数量:1000 CPU占用率:100%

并发量
总耗时s
最小耗时ms
平均值ms
中位数ms
90%分位耗时ms
99%分位耗时ms
最大耗时ms
548348320002382241629803021
1048048343264744480353015531
2048048489569529957999279931

4核16G Serving

图片大小 6881B

总请求数量:1000 CPU占用率:400%

并发量
总耗时s
最小耗时ms
平均值ms
中位数ms
90%分位耗时ms
99%分位耗时ms
最大耗时ms
5130414590579649674815
1012949410411176128713071460
2013049621402588262427672771
5013350659066614673768646869

图片大小 56198B

总请求数量:1000 CPU占用率:400%

并发量
总耗时s
最小耗时
平均值ms
中位数ms
90%分位耗时ms
99%分位耗时ms
最大耗时ms
5132428597586658677807
1013150610621166130814061458
2013251021752619266227482175
5013550359716727683469546960