У вас есть вопрос, у нас — ответ!

Тест Tensorflow ResNet-50

Тест Tensorflow ResNet-50

LeaderGPU – сервис, пришедший на рынок GPU-вычислений всерьез и надолго. Скорость вычислений для модели ResNet-50 в LeaderGPU в 2,5 раз выше, нежели в Google Cloud, и в 2,9 раз выше, чем в AWS (данные приведены для примера с 8x GTX 1080 по сравнению с 8x Tesla K80). При этом стоимость поминутной аренды GPU в LeaderGPU начинается от 0.02 евро, что более чем в 4 раза ниже стоимости аренды в Google Cloud и более чем в 5 раз ниже стоимости в AWS (по данным на 7 июля).

В данной статье мы протестируем модель ResNet-50 в таких популярных сервисах, как LeaderGPU, AWS и Google Cloud. Вы сможете на практике увидеть, почему LeaderGPU значительно обгоняет представленных конкурентов.

Все тесты проводились при использовании python 3.5 и Tensorflow-gpu 1.2 на машинах с GTX 1080, GTX 1080 TI и Tesla P 100 с установленной операционной системой CentOS 7 и библиотекой CUDA 8.0.

Для запуска теста использовались следующие команды:

# git clone https://github.com/tensorflow/benchmarks.git
# python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=?(количество карт на сервере) --model resnet50 --batch_size 32 (64, 128, 256, 512)

GTX 1080 инстансы

Для первого теста воспользуемся инстансами с GTX 1080. Ниже приведены данные для среды тестирования (с размерами пакетов 32 и 64):

  • Типы инстансов: ltbv17, ltbv13, ltbv16
  • GPU: 2x GTX 1080, 4x GTX 1080, 8x GTX 1080
  • OS: CentOS 7
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Команда: # python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=2 (4,8) --model resnet50 --batch_size 32 (optional 64, 128,256, 512)
  • Модель: ResNet50
  • Дата тестирования: Июнь 2017

Результаты тестирования приведены в диаграмме:

ResNet-50 GTX 1080 test results

GTX 1080TI инстансы

Следующий шаг - тестирование инстансов с GTX 1080 Ti. Ниже приведены данные для среды тестирования (с размерами пакетов 32, 64 и 128):

  • Типы инстансов: ltbv21, ltbv18
  • GPU: 2x GTX 1080TI, 4x GTX 1080TI
  • OS: CentOS 7
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Команда: # python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=2 (4) --model resnet50 --batch_size 32 (optional 64, 128,256, 512)
  • Модель: ResNet50
  • Дата тестирования: Июнь 2017

Результаты тестирования приведены в диаграмме:

ResNet-50 GTX 1080 TI test results

Tesla P100 инстанс

Финальный шаг - тестирование инстансов с Tesla P100. Данные для среды тестирования будут следующими (с размерами пакетов 32, 64 и 128):

  • Тип инстанса: ltbv20
  • GPU: 2x NVIDIA® Tesla® P100
  • OS: CentOS 7
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Команда: # python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=2 --model resnet50 --batch_size 32 (optional 64, 128, 256, 512)
  • Модель: ResNet50
  • Дата тестирования: Июнь 2017

Результаты тестирования приведены в диаграмме:

ResNet-50 Tesla P100 test results

В таблице представлены результаты тестов Resnet50 на Google cloud и AWS (размер пакета 64):

GPU Google cloud AWS
1x Tesla K80 51.9 51.5
2x Tesla K80 99 98
4x Tesla K80 195 195
8x Tesla K80 387 384

* данные для таблицы взяты по ссылкам:

https://www.tensorflow.org/performance/benchmarks#details_for_google_compute_engine_nvidia_tesla_k80
https://www.tensorflow.org/performance/benchmarks#details_for_amazon_ec2_nvidia_tesla_k80

Давайте выполним подсчет стоимости и времени обработки 1000000 изображений на каждой машине LeaderGPU, AWS и Google. Подсчет выполним с показателем batch size 64 для всех машин.

GPU Количество изображений Время Стоимость (в мин) Общая стоимость
2x GTX 1080 1000000 64m 15sec 1,46 руб. 93,81 руб.
4x GTX 1080 1000000 34m 17sec 2,19 руб. 75,08 руб.
8x GTX 1080 1000000 17m 32sec 6,58 руб. 115,37 руб.
4x GTX 1080TI 1000000 23m 34sec 2,63 руб. 61,98 руб.
2х Tesla P100 1000000 40m 33sec 5,85 руб. 237,22 руб.
8x Tesla K80 Google cloud 1000000 43m 3sec 5,7599 руб.** 247,8486 руб.
8x Tesla K80 AWS 1000000 43m 24sec 7,4704 руб. 323,9486 руб.

** Сервис Google cloud не предоставляется поминутно. Минутная стоимость подсчитана исходя из часовой цены ($5.645).

Как следует из таблицы, скорость обработки изображений в модели ResNet-50 является максимальной с 8x GTX 1080 от LeaderGPU, при этом:

  • общая стоимость в LeaderGPU начинается от € 1,28, что примерно в 2,77 раз ниже, чем в инстансах 8x Tesla K80 от Google Cloud, и примерно в 4,38 раз ниже, чем в инстансах 8x Tesla K80 от Google AWS;
  • время обработки составило 17 мин 32 с, что в 2,5 раз быстрее, чем в инстансах 8x Tesla K80 от Google Cloud, и в 2,49 раз быстрее, чем в инстансах 8x Tesla K80 от Google AWS.

LeaderGPU значительно превосходит своих конкурентов как по доступности услуг, так и по скорости обработки изображений. Арендуйте GPU с поминутной оплатой в LeaderGPU для решения различных задач в кратчайшие сроки!

Остались вопросы? Пишите!

Принимая Соглашение, Вы подтверждаете, что ознакомились и согласны с вышеизложенным соглашением, Условиями использования сайта, Политикой конфиденциальности и Условиями возврата денежных средств, и даете согласие на обработку своих персональных данных.