Несмотря на предсказания его кончины, InfiniBand все еще жив


Это было 2 июня 1897 года, когда автор Марк Твен отправил телеграмму из Лондона в американскую прессу после того, как увидел, что его некролог был опубликован в New York Journal. Он состоял из известной ныне строчки: «Сообщения о моей смерти сильно преувеличены».

Есть сетевая параллель. Если бы сетевой протокол InfiniBand был человеком, то это был бы Марк Твен, потому что люди годами предсказывали его смерть. Я вспоминаю, что около 15 лет назад стартап Force10 (приобретенный Dell в 2015 году) объявил, что его новый коммутатор Ethernet с низкой задержкой станет похоронным звоном для InfiniBand. Едва.

Спустя годы этот нишевый рынок все еще жив. По данным IDC, в 2019 году рынок InfiniBand составлял немногим более 200 миллионов долларов. Хотя это лишь небольшая часть всего рынка коммутаторов Ethernet, он определенно не мертв. Учитывая многие современные тенденции в центрах обработки данных, я предсказываю, что InfiniBand будет расти в подростковом возрасте до 2025 года.

Чтобы лучше понять, что сохранило актуальность InfiniBand и почему она будет продолжаться, я недавно взял интервью у Гилада Шайнера, старшего вице-президента InfiniBand Networking для NVIDIA. (на фото), которая недавно приобрела поставщика InfiniBand Mellanox.

Зевс: Похоже, что пока существует сеть, были некоторые предположения, что Ethernet убьет InfiniBand. Вы наблюдаете снижение интереса к InfiniBand?

Гилад: Сердце центра обработки данных – это сеть, которая соединяет все вычислительные элементы и элементы хранения. Чтобы эти элементы работали вместе и образовывали то, что мы называем суперкомпьютером – для исследований, облачных рабочих нагрузок или глубокого обучения, – сеть должна быть высокоэффективной и чрезвычайно быстрой. InfiniBand – это стандартная отраслевая технология, которая была (и продолжает развиваться) с целью создания высокомасштабируемой чисто программно-определяемой сети (SDN).

Еще в 2003 году он соединил один из трех лучших суперкомпьютеров в мире. Согласно списку суперкомпьютеров TOP500 за июнь 2020 года, InfiniBand теперь соединяет семь из 10 лучших суперкомпьютеров в мире. InfiniBand стал де-факто стандартом для высокопроизводительных вычислительных систем, широко применяется для инфраструктур глубокого обучения и все чаще используется для гипермасштабируемых облачных центров обработки данных, таких как Microsoft Azure. Преимущества производительности, масштабируемости и эффективности InfiniBand продолжают способствовать его растущему и активному внедрению, поскольку это лучшая технология для приложений с интенсивным использованием вычислений и данных.

Мы не наблюдаем замедления роста InfiniBand; на самом деле мы видим прямо противоположное. Мы видим, что клиенты, которые ранее использовали Ethernet или другие сетевые технологии, теперь переходят на InfiniBand, чтобы соединить свои новые центры обработки данных и использовать сильные стороны InfiniBand для более быстрого анализа данных, что приводит к сокращению времени выхода на рынок и более эффективному использованию их ИТ-расходов.

Zeus: В чем преимущества InfiniBand?

Гилад: InfiniBand предоставляет ряд ключевых преимуществ. Это сеть с полной транспортной разгрузкой, что означает, что все сетевые операции управляются сетью, а не ЦП. Это наиболее эффективный сетевой протокол, что означает возможность передавать больше данных с меньшими накладными расходами. InfiniBand также имеет гораздо меньшую задержку, чем Ethernet, и, что наиболее важно, он включает в себя механизмы обработки внутри сети, которые ускоряют обработку данных для глубокого обучения и высокопроизводительных вычислений. Это ключевые технологические преимущества для любого приложения, требующего больших объемов вычислений и данных. Вот почему InfiniBand стал общепринятым стандартом для высокопроизводительного научного моделирования и моделирования продуктов.

Zeus: Можете ли вы привести несколько примеров отраслей, принявших InfiniBand?

Гилад: Большинство, если не все производители автомобилей и самолетов, используют InfiniBand как часть своих проектов. Многие биологические компании используют InfiniBand для своих исследовательских сетей, и мы наблюдаем значительный рост их активности в рамках глобальной борьбы с COVID-19. Нефтегазовые компании, такие как ENI, Total и BP, используют InfiniBand для анализа разведки и сейсмического моделирования.

InfiniBand также ускоряет работу многих ведущих мировых правительственных и исследовательских центров, таких как Национальная лаборатория Ок-Ридж, Ливерморская национальная лаборатория, Юлихский суперкомпьютерный центр, НАСА, Национальные институты здравоохранения и многие другие.

InfiniBand также становится предпочтительной технологией подключения для систем глубокого обучения. Он является неотъемлемой частью платформ NVIDIA DGX 100 и SuperPOD, которые используются Continental и AIST (облачная инфраструктура искусственного интеллекта Японии). Microsoft Azure внедрила InfiniBand для ускорения высокопроизводительных облачных экземпляров Azure, и мы наблюдаем более широкое внедрение на других облачных гипермасштабируемых платформах. Более того, компании-производители встраиваемых платформ приняли InfiniBand из-за его преимуществ в эффективности и рентабельности. Примером является Cadence, где InfiniBand используется для их кремниевых эмуляционных систем Palladium.

Мы живем в мире данных, и чем быстрее вы их проанализируете, тем большего вы сможете достичь. InfiniBand – ключевая технология для выполнения этой задачи, и компании практически во всех отраслях полагаются на нее.

Zeus: Ethernet и InfiniBand, похоже, имеют одинаковую скорость. Учитывая популярность Ethernet, почему он не взял верх?

Гилад: InfiniBand и Ethernet используют схожие физические сетевые технологии, что на самом деле означает схожие элементы сериализатора / десериализатора (SerDes), которые преобразуют данные между последовательными интерфейсами и параллельными интерфейсами в обоих направлениях. Сегодня и InfiniBand, и Ethernet используют одну и ту же технологию SerDes со скоростью 50 Гбит / с и, следовательно, имеют одинаковую скорость сети. InfiniBand обычно упаковывает четыре SerD в порт сетевого адаптера или порт коммутатора, обеспечивая скорость HDR 200 Гбит / с (спецификация InfiniBand позволяет упаковать до 12 SerD вместе). В Ethernet мы видим те же четыре конфигурации порта адаптера SerDes 50 Гбит / с (порты 200 Гбит / с), а спецификация Ethernet позволяет упаковать 8 из этих SerDes для порта коммутатора уровня агрегации (то есть только для связи между коммутаторами) , что дает 400 Гбит / с. Но это та же скорость передачи данных для SerDes или для каждой линии связи. Это не ново; InfiniBand и Ethernet уже много лет используют одну и ту же скорость передачи данных.

Благодаря своим чисто программно-определяемым сетевым преимуществам InfiniBand неоднократно был первым на рынке, предлагающим сквозное развертывание новой скорости сети, которая действительно является важной частью. InfiniBand был первым на 100G, сначала на 200G и, вероятно, первым на 400G. Кроме того, вы можете соединить несколько портов коммутатора вместе в InfiniBand для достижения гораздо более высокой пропускной способности между коммутаторами, а это невозможно сделать с помощью Ethernet. Также важно отметить, что более высокая эффективность сети, увеличение задержки в 3 раза и эффективная обработка данных на основе сети – преимущества InfiniBand по сравнению с любой другой сетью – не менее важны для подключения центра обработки данных. Оба они полезны, но главное – Ethernet не взял верх.

Zeus: InfiniBand также имеет ряд других функций, которые делают его превосходным в сложных условиях. Вы можете пройти по некоторым из них?

Гилад: В основе технологии InfiniBand лежат четыре основных принципа:

Первый фундамент – это дизайн очень умной конечной точки. Конечная точка, которая может выполнять и управлять всеми сетевыми функциями (в отличие от Ethernet) и, следовательно, увеличивать время ЦП или ГП, которое может быть выделено для реальных приложений. Поскольку конечная точка расположена рядом с памятью CPU / GPU, она также может очень эффективно и рационально управлять операциями с памятью; например, через RDMA или GPUDirect RDMA.

Вторая основа – это сеть коммутаторов, рассчитанная на масштабирование. Это чисто программно-определяемая сеть (SDN). Коммутаторам InfiniBand не требуется встроенный сервер в каждое устройство коммутатора для управления коммутатором и запуска его операционной системы (как это необходимо в случае коммутаторов Ethernet). Это делает InfiniBand лидирующей сетевой структурой по экономичности по сравнению с Ethernet или любой другой частной сетью. Это также позволяет использовать уникальные технологические инновации, такие как внутрисетевые вычисления, для выполнения вычислений данных по данным, которые передаются в сети. Важным примером является технология Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) ™, которая продемонстрировала значительное улучшение производительности для научных фреймворков и структур приложений глубокого обучения.

Централизованное управление – третий фундаментальный фактор. Можно управлять, контролировать и управлять сетью InfiniBand из одного места. Можно спроектировать и построить любую топологию сети, а также настроить и оптимизировать сеть центра обработки данных для целевых приложений. Нет необходимости создавать несколько разных коммутаторов для разных частей сети, и нет необходимости иметь дело с таким количеством сложных сетевых алгоритмов. InfiniBand был создан для повышения производительности с одной стороны и снижения операционных затрат с другой.

И последнее, но не менее важное: InfiniBand – это стандартная технология, обеспечивающая обратную и прямую совместимость, с открытым исходным кодом и открытыми API.

Объединение всех этих принципов вместе дает вам сеть с высочайшей производительностью, которая очень рентабельна и проста в управлении.

Зевс: Что еще нужно знать нашим читателям?

Гилад: Наше будущее зависит от того, насколько быстро мы сможем анализировать собираемые данные и как быстро мы сможем решать сложные проблемы. Это могут быть такие вещи, как поиск лекарств от болезней, моделирование и прогнозирование штормов, создание более безопасных автомобилей, поиск лучших источников энергии и повышение безопасности нашей страны. Для искусственного интеллекта и высокопроизводительного моделирования требуется самая быстрая сеть с наименьшей задержкой и возможность предварительной обработки данных до того, как они попадут на графический процессор или процессор. Это требует, чтобы сеть была чрезвычайно надежной и устойчивой. Это характеристики InfiniBand. InfiniBand – это матрица без потерь, что означает, что она не отбрасывает пакеты, как это делают другие сети. InfiniBand – это сеть, которая обеспечивает следующее поколение инфраструктуры и приложений центров обработки данных.

Важно отметить, что InfiniBand и Ethernet нельзя использовать вместе. Центры обработки данных, подключенные к InfiniBand, могут быть легко подключены к внешним сетям Ethernet через шлюзы InfiniBand-to-Ethernet с малой задержкой. InfiniBand также предлагает возможность подключения на большие расстояния от нескольких десятков миль до тысяч миль, что позволяет соединять удаленные центры обработки данных вместе.

Наряду со всеми вышеперечисленными преимуществами InfiniBand также обеспечивает преимущества с точки зрения затрат и производительности, его проще развертывать и проще масштабировать. InfiniBand сегодня опережает всех и дает конкурентное преимущество людям, которые его используют.

Зевс Керравала постоянный участник eWEEK, основатель и главный аналитик ZK Research. Он проработал 10 лет в Yankee Group, а до этого занимал ряд корпоративных ИТ-должностей.

Post Your Comment Here

Your email address will not be published. Required fields are marked *