У вас есть вопрос, у нас — ответ!

Результаты моделей для классификации изображений

Результаты моделей для классификации изображений

LeaderGPU – новый игрок на рынке GPU-вычислений, призванный изменить правила игры. В данный момент рынок GPU-вычислений представлен несколькими крупными игроками, такими как AWS, Google Cloud и т.д. Однако крупный игрок далеко не всегда означает лучшее рыночное предложение. Проект LeaderGPU, в отличие от AWS и Google Cloud, предоставляет физические сервера, а не VPS, где аппаратные ресурсы могут делиться между несколькими десятками пользователей. В таблице ниже приведено сравнение стоимости обработки 500000 изображений для модели Inception V3 в различных сервисах:

Model GPU Service Number Of Images Time Price Per Minute Total Cost
Inception V3 8x K80 Google cloud 500000 36m 43sec 5,7618 руб.* 210,9171 руб.
Inception V3 8x K80 AWS 500000 36m 14sec 7,4729 руб. 270,2812 руб.
Inception V3 8x GTX 1080 LeaderGPU 500000 12m 9sec 6,58 руб. 79,95 руб.

Из таблицы видно, что LeaderGPU не только на 300% быстрее своих конкурентов, но и дешевле минимум на 29 %, нежели Google Cloud и AWS.

Тесты проводились на вычислительных системах LeaderGPU. Для сравнения были взяты результаты тестов инстансов Тесты Google и AWS проводились на синтетических данных для сетей моделей ResNet-50, ResNet-152, VGG16 и AlexNet. В конце статьи вы можете ознакомиться с результатами тестов других моделей. Тестирование синтетических данных проводилось с помощью tf.Variable по аналогии с конфигурацией моделей для ImageNet.


Тесты LeaderGPU (ltbv20 2x Nvidia Tesla P 100)

Среда тестирования:

  • Тип инстанса: ltbv20
  • GPU: 2x NVIDIA® Tesla® P100
  • OS: CentOS 7
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Дата тестирования: Июнь 2017
Опции InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Размер пакета на GPU 64 64 32 512 32
Оптимизация sgd sgd sgd sgd sgd
Ltbv 20 Nvidia Tesla P100 (1, 2 GPUs)

Тестирование синтетических данных (изображений/с)

GPUs InceptionV3 ResNet-50 ResNet-152 VGG16 Alexnet
1 136.55 217.76 82.05 137.32 2807.64
2 259.14 410.88 150.41 240.61 5117.86
Другие результаты

Тестирование синтетических данных (изображений/с)

Размер пакета alexnet vgg11 vgg16 vgg19 lenet googlenet
32 1516.70 373.45 240.61 203.73 14524.23 714.25
64 2480.30 472.15 274.67 230.73 28599.07 877.76
128 3486.68 540.51 288.80 243.55 44943.19 990.89
256 4440.35 464.69 -* -* 63311.75 1075.38
512 5117.86 -* -* -* 80078.57 1104.74
Размер пакета overfeat inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 574.13 233.99 116.45 361.06 214.15 150.41
64 1052.63 259.14 125.09 410.88 245.36 170.79
128 1509.01 269.51 -* 439.41 -* -*
256 2041.60 -* -* -* -* -*
512 2323.77 -* -* -* -* -*

* Объем оперативной памяти GPU не позволяет запустить тесты на данном размере пакета (batch_size).


Тесты LeaderGPU (GTX 1080)

Среда тестирования:

  • Тип инстанса: ltbv17, 14, 16
  • GPU: GTX 1080
  • OS: CentOS 7
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Дата тестирования: Июнь 2017
Опции InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Размер пакета на GPU 64 64 32 512 32
Оптимизация sgd sgd sgd sgd sgd
Ltbv 17, 14, 16 GTX 1080 (2, 4, 8 GPUs)

Тестирование синтетических данных (изображений/с)

GPUs InceptionV3 VGG16 ResNet-50 ResNet-152 Alexnet
2 187.93 173.2 259.39 109.02 3344.11
4 345.05 276.43 485.92 192.25 6221.67
8 685.59 428.57 949.72 369.02 9405.27
Другие результаты

Тестирование синтетических данных (изображений/с)

2x GTX 1080

Размер пакета alexnet vgg11 vgg16 vgg19 lenet googlenet
32 823.87 223.73 150.50 129.67 14440.58 608.46
64 1517.33 299.24 173.20 149.62 25817.36 676.81
128 2198.87 291.47 -* -* 40910.02 717.52
256 2878.43 -* -* -* 53821.73 730.47
512 3344.11 -* -* -* 66096.43 -*
Размер пакета overfeat inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 284.06 180.62 91.63 245.55 154.15 109.02
64 568.15 187.93 -* 259.39 -* -*
128 911.17 -* -* -* -* -*
256 1211.36 -* -* -* -* -*
512 1424.58 -* -* -* -* -*

* Объем оперативной памяти GPU не позволяет запустить тесты на данном размере пакета (batch_size).


4x GTX 1080

Размер пакета alexnet vgg11 vgg16 vgg19 lenet googlenet
32 1238.14 295.30 272.03 155.75 18389.01 1110.35
64 2375.18 354.55 276.43 169.51 37465.98 1235.77
128 3889.23 321.28 -* -* 60612.34 1365.62
256 5056.10 -* -* -* 89908.56 1394.58
512 6221.67 -* -* -* 114433.39 -*
Размер пакета overfeat inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 450.85 328.23 166.82 447.25 276.27 192.25
64 885.37 345.05 -* 485.92 -* -*
128 1576.74 -* -* -* -* -*
256 2126.47 -* -* -* -* -*
512 2447.81 -* -* -* -* -*

* Объем оперативной памяти GPU не позволяет запустить тесты на данном размере пакета (batch_size).


8x GTX 1080

Размер пакета alexnet vgg11 vgg16 vgg19 lenet googlenet
32 1347.98 381.49 347.37 333.71 27248.65 2023.19
64 2406.83 620.29 428.57 -* 51105.12 2352.15
128 4255.75 -* -* -* 93211.00 2644.26
256 6318.54 -* -* -* 145559.65 2610.21
512 9405.27 -* -* -* 206469.92 -*
Размер пакета overfeat inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 555.36 632.23 323.09 857.12 518.57 369.02
64 1042.12 685.59 -* 949.72 -* -*
128 1735.24 -* -* -* -* -*
256 2575.93 -* -* -* -* -*
512 3815.25 -* -* -* -* -*

* Объем оперативной памяти GPU не позволяет запустить тесты на данном размере пакета (batch_size).


Тесты LeaderGPU (GTX 1080TI)

Среда тестирования:

  • Тип инстанса: ltbv21, 18
  • GPU: GTX 1080TI
  • OS: CentOS 7
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Дата тестирования: Июнь 2017
Опции InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Размер пакета на GPU 64 64 32 512 32
Оптимизация sgd sgd sgd sgd sgd
Ltbv 21, 18 GTX 1080TI (2, 4 GPUs)

Тестирование синтетических данных (изображений/с)

GPUs InceptionV3 VGG16 ResNet-50 ResNet-152 Alexnet
2 264.7 235.15 377.41 127.43 4596.37
4 493.14 401.68 706.95 270.35 8513.54
Другие результаты

Тестирование синтетических данных (изображений/с)

2x GTX 1080 TI

Размер пакета alexnet vgg11 vgg16 vgg19 lenet googlenet
32 880.18 287.25 190.05 169.67 13411.38 807.60
64 1743.20 385.95 235.15 198.28 28360.89 954.35
128 2808.68 457.54 -* -* 44453.02 1042.77
256 3777.74 -* -* -* 67451.51 1070.28
512 4596.37 -* -* -* 87898.53 -*
Размер пакета overfeat inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 304.50 250.37 125.81 351.21 218.02 127.43
64 607.91 264.70 -* 377.41 236.24 -*
128 1162.21 -* -* 381.62 -* -*
256 1617.89 -* -* -* -* -*
512 1992.50 -* -* -* -* -*

* Объем оперативной памяти GPU не позволяет запустить тесты на данном размере пакета (batch_size).


4x GTX 1080 TI

Размер пакета alexnet vgg11 vgg16 vgg19 lenet googlenet
32 1264.01 378.39 331.08 208.39 19239.51 1487.66
64 2502.01 481.49 401.68 236.07 38818.10 1755.63
128 4539.97 541.39 -* -* 71457.41 1943.93
256 6787.68 -* -* -* 111721.23 1992.45
512 8513.54 -* -* -* 152549.70 -*
Размер пакета overfeat inceptionv3 inceptionv4 resnet50 resnet101 resnet152
32 475.69 451.16 228.76 648.11 383.04 270.35
64 942.19 493.14 -* 706.95 422.93 -*
128 1706.03 -* -* 722.16 -* -*
256 2907.18 -* -* -* -* -*
512 3478.50 -* -* -* -* -*

* Объем оперативной памяти GPU не позволяет запустить тесты на данном размере пакета (batch_size).


Тесты AWS EC2 (NVIDIA® Tesla® K80)

Среда тестирования:

  • Тип инстанса: p2.8xlarge
  • GPU: 8x NVIDIA® Tesla® K80
  • OS: Ubuntu 16.04 LTS
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Дата тестирования: Май 2017
Опции InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Размер пакета на GPU 64 64 32 512 32
Оптимизация sgd sgd sgd sgd sgd
p2.8xlarge from AWS (1, 2, 4, 8 GPUs)

Тестирование синтетических данных (изображений/с)

GPUs InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
1 30.8 51.5 19.7 684 36.3
2 58.7 98.0 37.6 1244 69.4
4 117 195 74.9 2479 141
8 230 384 149 4853 260

Другие результаты (изображений/с)

GPUs InceptionV3 (batch size 32) ResNet-50 (batch size 32)
1 29.9 49.0
2 57.5 94.1
4 114 184
8 216 355

Результаты тестирования взяты с https://www.tensorflow.org/performance/benchmarks#details_for_amazon_ec2_nvidia_tesla_k80


Тесты Google Compute Engine (NVIDIA® Tesla® K80)

Среда тестирования:

  • Тип инстанса: n1-standard-32-k80x8
  • GPU: 8x NVIDIA® Tesla® K80
  • OS: Ubuntu 16.04 LTS
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Дата тестирования: Май 2017
Опции InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
Размер пакета на GPU 64 64 32 512 32
Оптимизация sgd sgd sgd sgd sgd
n1-standard-32-k80x8 from Google (1, 2, 4, 8 GPUs)

Тестирование синтетических данных (изображений/с)

GPUs InceptionV3 ResNet-50 ResNet-152 Alexnet VGG16
1 30.5 51.9 20.0 656 35.4
2 57.8 99.0 38.2 1209 64.8
4 116 195 75.8 2328 120
8 227 387 148 4640 234

Другие результаты (изображений/с)

GPUs InceptionV3 (batch size 32) ResNet-50 (batch size 32)
1 29.3 49.5
2 55.0 95.4
4 109 183
8 216 362

Результаты тестирования взяты с https://www.tensorflow.org/performance/benchmarks#details_for_google_compute_engine_nvidia_tesla_k80


Теперь пришла пора поговорить о подсчёте стоимости обработки изображений.

В представленной ниже таблице мы выполним подсчёт стоимости и времени обработки 500 000 изображений, используя модели Inception V3, ResNet-60 и ResNet-152, и найдем самое выгодное предложение. Как видно из таблицы, LeaderGPU – самое выгодное рыночное предложение среди рассмотренных вариантов.

Модель GPU Платформа Количество изображений Время Стоимость (за минуту) Общая стоимость
Inception V3 8x K80 Google cloud 500000 36m 43sec 5,7618 руб.* 210,9171 руб.*
Inception V3 8x K80 AWS 500000 36m 14sec 7,4729 руб.* 270,2812 руб.*
Inception V3 8x 1080 LeaderGPU 500000 12m 9sec 6,58 руб. 79,95 руб.
ResNet-50 8x K80 Google cloud 500000 21m 32sec 5,7618 руб.* 123,617 руб.*
ResNet-50 8x K80 AWS 500000 21m 42 sec 7,4729 руб.* 162,029 руб.*
ResNet-50 8x 1080 LeaderGPU 500000 8m 46sec 6,58 руб. 57,68 руб.
ResNet-152 8x K80 Google cloud 500000 56m 18sec 5,7618 руб.* 324,0581 руб.*
ResNet-152 8x K80 AWS 500000 55m 55sec 7,4729 руб.* 417,6438 руб.*
ResNet-152 8x 1080 LeaderGPU 500000 22m 35sec 6,58 руб. 148,6 руб.

* Сервис Google cloud не предоставляется поминутно. Минутная стоимость подсчитана исходя из часовой цены ($ 5,645)

Остались вопросы? Пишите!

Принимая Соглашение, Вы подтверждаете, что ознакомились и согласны с вышеизложенным соглашением, Условиями использования сайта, Политикой конфиденциальности и Условиями возврата денежных средств, и даете согласие на обработку своих персональных данных.