У вас есть вопрос, у нас — ответ!

Тест Tensorflow Alexnet

Тест Tensorflow Alexnet

LeaderGPU призван изменить правила игры в сфере GPU-вычислений. Сервис демонстрирует поразительную скорость вычислений для модели Alexnet – в 2,3 раз выше, нежели в Google cloud, и в 2,2 раз выше, чем в AWS (данные приведены для 8x GTX 1080). При этом стоимость поминутной аренды GPU в LeaderGPU начинается от 0.02 евро, что в 4,1 раз ниже, чем в Google Cloud, и в 5,35 раз ниже, чем в AWS (по данным на 7 июля).

В данной статье мы проведем тестирование модели Alexnet в таких сервисах, как LeaderGPU, AWS и Google Cloud. Вы поймете, почему GPU-вычисления стоит доверять именно LeaderGPU.

Все рассматриваемые тесты проводились при использовании python 3.5 и Tensorflow-gpu 1.2 на машинах с GTX 1080, GTX 1080 TI и Tesla P 100 с установленной операционной системой CentOS 7 и библиотекой CUDA 8.0.

Для запуска теста использовались следующие команды:

# git clone https://github.com/tensorflow/benchmarks.git
# python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=?(количество карт на сервере) --model alexnet --batch_size 32 (64, 128, 256, 512)

GTX 1080 инстансы

Первый тест модели Alexnet проведем с инстансами GTX 1080. Ниже представлены данные для среды тестирования (с размерами пакетов 32, 64, 128, 256 и 512):

Среда тестирования:

  • Типы инстансов: ltbv17, ltbv13, ltbv16
  • GPU: 2x GTX 1080, 4x GTX 1080, 8x GTX 1080
  • OS: CentOS 7
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Команда: # python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=2 (4,8) --model alexnet --batch_size 32 (optional 64, 128,256, 512)
  • Модель: Alexnet
  • Дата тестирования: Июнь 2017

Результаты тестирования приведены в диаграмме:

Alexnet GTX 1080 test results

GTX 1080TI инстансы

Теперь давайте проведем тестирование модели Alexnet с инстансами GTX 1080TI. Данные по среде тестирования (с размерами пакетов 32, 64, 128, 256 и 512) представлены далее:

  • Типы инстансов: ltbv21, ltbv18
  • GPU: 2x GTX 1080TI, 4x GTX 1080TI
  • OS: CentOS 7
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Команда: # python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=2 (4) --model alexnet --batch_size 32 (optional 64, 128,256, 512)
  • Модель: Alexnet
  • Дата тестирования: Июнь 2017

Результаты тестирования приведены в диаграмме:

Alexnet GTX 1080 TI test results

Tesla P100 инстанс

Наконец, пришла пора протестировать модель Alexnet с инстансами Tesla P100. Среда тестирования (с размерами пакетов 32, 64, 128, 256 и 512) будет иметь следующий вид:

  • Тип инстанса: ltbv20
  • GPU: 2x NVIDIA® Tesla® P100
  • OS: CentOS 7
  • CUDA / cuDNN: 8.0 / 5.1
  • TensorFlow GitHub хэш: b1e174e
  • Benchmark GitHub хэш: 9165a70
  • Команда: # python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=2 --model alexnet --batch_size 32 (optional 64, 128, 256, 512)
  • Модель: Alexnet
  • Дата тестирования: Июнь 2017

Результаты тестирования приведены в диаграмме:

Alexnet Tesla P100 test results

Аналогичные тесты Alexnet в Google cloud и AWS показали следующие результаты:

GPU Google cloud AWS
1x Tesla K80 656 684
2x Tesla K80 1209 1244
4x Tesla K80 2328 2479
8x Tesla K80 4640 4853

* данные для таблицы взяты по ссылкам:

https://www.tensorflow.org/performance/benchmarks#details_for_google_compute_engine_nvidia_tesla_k80
https://www.tensorflow.org/performance/benchmarks#details_for_amazon_ec2_nvidia_tesla_k80

Теперь давайте выполним подсчет стоимости и времени обработки 1000000 изображений на каждой машине LeaderGPU, AWS и Google. Подсчет производился по самому максимальному показателю каждой машины.

GPU Количество изображений Время Стоимость (за минуту) Общая стоимость
2x GTX 1080 1000000 5m 1,46 руб. 7,3 руб.
4x GTX 1080 1000000 2m 40sec 2,19 руб. 5,84 руб.
8x GTX 1080 1000000 1m 46sec 6,58 руб. 11,62 руб.
4x GTX 1080TI 1000000 2m 5sec 2,63 руб. 5,48 руб.
2х Tesla P100 1000000 3m 15sec 5,85 руб. 19,01 руб.
8x Tesla K80 Google cloud 1000000 3m 35sec 5,7601 руб.** 20,2477 руб.
8x Tesla K80 AWS 1000000 3m 26sec 7,4707 руб. 25,135 руб.

** Сервис Google cloud не предоставляется поминутно. Минутная стоимость подсчитана исходя из часовой цены ($5,645).

Как видим из представленной таблицы, максимальная скорость обработки модели Alexnet была достигнута в 8x GTX 1080 от LeaderGPU. При этом:

  • общая стоимость в LeaderGPU начинается от 0,10 евро, что в 2,9 раз ниже, чем в инстансах 8x Tesla K80 от Google cloud, и в 3,6 раз ниже, чем в инстансах 8x Tesla K80 от AWS.
  • время обработки составило 1 мин 46 с, что примерно в 2,3 раза быстрее, чем в инстансах 8x Tesla K80 от Google cloud, и в 2,2 раза быстрее, чем в инстансах 8x Tesla K80 AWS.

Сервис LeaderGPU сочетает в себе недосягаемо высокую скорость GPU-вычислений и демократичные расценки, что значительно расширяет область применения современных технологий. Если вам необходимы доступные GPU-вычисления, обращайтесь в LeaderGPU!

Остались вопросы? Пишите!

Принимая Соглашение, Вы подтверждаете, что ознакомились и согласны с вышеизложенным соглашением, Условиями использования сайта, Политикой конфиденциальности и Условиями возврата денежных средств, и даете согласие на обработку своих персональных данных.