ПРЕСС-ЦЕНТР

Serial RapidIO против 10 Gigabit Ethernet: размеры блоков данных имеют значение

МКА: мир ВКТ, 5/2009

Матиас Грейлих (Matthias Greulich) и Клаудиа Бестлер (Claudia Bestler), Kontron

Поддержка технологии Serial RapidIO (далее – RapidIO) всё чаще реализуется в процессорах и чипсетах таких производителей, как Freescale. Более того, технология RapidIO, как и технология 10 Gigabit Ethernet, вызывает всё больший интерес как метод организации взаимодействия на уровне систем/плат. Но какова реальная производительность этих интерфейсов? Специалисты международного холдинга Kontron протестировали скорость передачи данных по каналам RapidIO в системе стандарта MicroTCA.

Авионика и другое аэрокосмическое оборудование, радары, сонары, цифровая медицинская техника, опирающаяся на резонансные методы, а также системы обработки изображений и мобильные измерительные системы для тестирования сотовой связи должны обеспечивать всё более правильные и точные результаты. Совершенствование подобных систем предполагает использование новых процедур и алгоритмов, и требования к скоростям доставки данных постоянно повышаются, поскольку это способствует повышению общего уровня производительности и качества. Обработку «сырых» данных лучше осуществлять на компьютерах, обладающих достаточной вычислительной мощью. В этой связи очень важно выбрать правильные интерфейсы для организации такой передачи. Взаимодействие между платами в подобных системах рекомендуется организовывать на основе коммутируемых последовательных соединений типа 10 Gigabit Ethernet или RapidIO. Обе технологии предлагают избыточную номинальную пропускную способность в 10 Гбит/с и в 12,5 Гбит/с (3,125 Гбод x 4 подканала) соответственно. Однако в том, что касается эффективных скоростей, эти технологии ведут себя очень по-разному.

Эффективность передачи бывает разная

Разница между номинальной и эффективной скоростями канала возникает преимущественно из-за таких факторов, как задержки и джиттер. При разработке технологии RapidIO особое внимание уделялось тому, чтобы свести возможное негативное влияние любых факторов на процесс передачи данных к абсолютному минимуму. В целях уменьшения числа прерываний в технологии RapidIO реализованы соответствующие функции QoS (Quality of Services): используя механизмы приоритезации данных, коммуникационная подсистема RapidIO способна существенно повысить производительность системы с несколькими параллельно работающими процессорами. Кроме того, при осуществлении логических операций ввода-вывода (разделяемая память) или операций, связанных с обменом сообщениями (прерывания, сообщения), каждая конечная точка RapidIO может вести себя как главное или как подчинённое устройство. Главное устройство способно напрямую инициировать процессы записи и чтения в/из памяти подчинённого устройства, что уменьшает полное число прерываний в системе и хорошо сказывается на её производительности как целого. Другие встроенные механизмы, занимающиеся распознаванием и коррекцией ошибок на аппаратном уровне, обеспечивают надёжность передачи: сигналы синхронизации передаются по каналам RapidIO вместе с данными, что дополнительно уменьшает задержки. Кроме того, по сравнению с технологией 10 Gigabit Ethernet технология RapidIO характеризуется значительно меньшими накладными расходами. Например, при размере порций данных 64 байт накладные расходы в случае 10 Gigabit Ethernet составляют около трети передаваемых данных, то есть на полезные данные приходится лишь около 66%. Технология RapidIO в аналогичных условиях (64-байтовые порции) обеспечивает 95-процентную эффективную скорость передачи, что вкупе с меньшими накладными расходами позволяет каналам RapidIO демонстрировать на 50% большую производительность. Для уменьшения накладных расходов технология RapidIO имеет уменьшенное число уровней. Стандарт ANSI Layer Standard рекомендует использовать для интерфейсов передачи данных семиуровневую структуру, однако в технологии RapidIO уровней всего три: логический, транспортный и физический. Механизмы идентификации и пакетоориентированный протокол RapidIO положительно влияют на прикладное программное обеспечение, поскольку в случае RapidIO транзакции обслуживания, записи и чтения не несут с собой больших накладных расходов. После того, как RapidIO-хост завершит процедуру регистрации (системное распознавание, заключающееся в конфигурировании таблицы маршрутизации коммутатора RapidIO и в назначении идентификаторов подключённым RapidIO-агентам), и в коммуникационной подсистеме RapidIO будут установлены необходимые ресурсы (модули преобразования и отображения адресов (ATMU – Address Translations and Mapping Unit) для конечных точек RapidIO), обмен данными будет осуществляться посредством логических операций ввода-вывода (NREAD, NWRITE) и/или как обмен сообщениями.

Измерение и сравнение эффективности

Чтобы измерить производительность технологии RapidIO, холдинг Kontron использовал свою серийную систему стандарта MicroTCA – OM6040 (рис. 1). В систему было установлено два AMC-модуля Kontron AM4100 AMC на базе двухъядерных процессоров Freescale MPC8641D. Один модуль (слот 1) играл роль хоста RapidIO, второй (слот 4) – агента RapidIO. В системе имелся и контроллер MCH (MicroTCA Controller Hub) с поддержкой технологии RapidIO и двумя RapidIO-коммутаторами. Использовался BSP-пакет на базе ОС реального времени Wind River VxWorks 6.6 для модулей Kontron AM4100/AM4101 и соответствующие тестовые приложения.

Рис. 1. Конфигурация тестовой системы

В системе с описанной конфигурацией измерялись скорости передачи данных для операций NWRITE (хост записывает данные в агент) и NREAD (хост считывает данные из агента) с поддержкой функции DMA (рис. 2). В ходе записи данных из памяти хост-процессора в память процессора-агента по каналам RapidIO скорость передачи пользовательских данных достигла 6,44 Гбит/с. Чтение данных с их передачей по каналам RapidIO в обратном направлении осуществлялось на скорости 7,7 Гбит/с.

Рис. 2. Передача данных между памятью агента и памятью хоста для случая системы Kontron OM6040 с двумя AdvancedMC-модулями Kontron AM4100

В Университете Оклахомы были проведены похожие испытания, но с использованием технологии 10 Gigabit Ethernet. Для модулей данных протокола (Protocol Data Units – PDU) размером 64 байта скорость передачи составила лишь 3,3 Гбит/с (Hernan A. Suarez: Recent Study on High Speed Serial Links for Multifunction Digital Array Receivers and Processors, 2008: http://arrc.ou.edu/~rockee//RIO/arrc-1p-RapidIO_Aurora-Hernan.pdf). Для модулей меньших размеров технология RapidIO обеспечила по сравнению с 10 Gigabit Ethernet примерно вдвое более эффективную передачу данных. Технология 10 Gigabit Ethernet начала обгонять RapidIO лишь тогда, когда размер модулей PDU превысил 1000 байт (по данным ассоциации Rapid­IO Trade Association, (рис. 3)). В реальной системе эффективная скорость передачи данных зависит не только от процентных долей пользовательских данных в модулях PDU, хотя, чем больше абсолютные размеры блоков пользовательских данных, тем выше эффективная скорость, поскольку накладные расходы уменьшаются. Когда оба процессора считывают и записывают данные на обоих концах канала, это требует интенсивной обработки пакетов и приводит к росту числа прерываний. Задержки и джиттер также могут уменьшать эффективную скорость.

Рис. 3. Зависимость скорости передачи пользовательских данных (пропускной способности) от размера порций данных (модулей PDU) по данным ассоциации RapidIO Trade Association

При проведении тестирования с использованием конечной RapidIO-точки XILINX LogiCORE IP RapidIO v4.4, реализованной в вентильной матрице XILINX Virtex-5 на борту АЦП-модуля TEWS Technologies TAMC900 (рис. 4) были зафиксированы ещё большие скорости. При размере блоков «сырых» данных 64 кбайт процесс записи из хост-памяти модуля Kontron AM4100 через интерфейс RapidIO в память модуля TAMC900 (логическую RAM-память) происходил на скорости 8,31 Гбит/с. Процесс чтения в обратном направлении осуществлялся на скорости 7,52 Гбит/с. Результаты измерений для блоков «сырых» данных размерами от 1 кбайт до 64 кбайт приведены на рис. 5. Технология RapidIO особенно хорошо проявляет себя в тех приложениях, где данные должны передаваться постоянно (измерительные сенсоры, радары, телекоммуникационные системы). Программа развития технологии Rapid­IO предусматривает помимо множества других полезных вещей повышение номинальной скорости подканала до 5 Гбод и до 6,25 Гбод, что позволит удовлетворить аппетиты разработчиков из указанных секторов.

Рис. 4. Обмен между памятью хоста и логической RAM-памятью модуля TEWS TAMC900

Рис. 5. Производительность, обеспечиваемая технологией RapidIO при передаче «сырых» данных в блоках размерами от 1 кбайт до 64 кбайт

Гибкая архитектура

Чтобы разработчики могли вкусить все прелести технологии RapidIO, холдинг Kontron предлагает не только изделия уровня плат, но и решения системного уровня. Одно из таких решений – конфигурация из MicroTCA-системы Kontron OM6040 с интегрированным процессорным модулем Kontron AM4100 и контроллером MCH, использовавшаяся при проведении описанных испытаний. В этой системе модуль Kontron AM4100, выполняющий функции RapidIO-хоста, отвечает за управление компонентами коммуникационной среды RapidIO, а контроллер MCH заботится о физических соединениях между компонентами. Взаимодействие осуществляется по каналам x1 или x4, поддерживаются топологии типа «звезда», «кольцо» и «(полно)ячеистая сеть».

Самой высокой производительности удаётся достичь, если связать между собой 12 и более AMC-плат с использованием каналов RapidIO и нескольких коммутаторов, получив, таким образом, мощную систему с коммутируемой связной структурой (Switched Fabric). В последнее время вместо DSP-плат всё чаще используются платы с многоядерными процессорами общего назначения, то есть всю систему можно собрать из нескольких модулей Kontron AM4100. Данный подход имеет смысл, в частности, потому, что на платах Kontron AM4100 предусмотрены интегрированные 128-разрядные векторные блоки AltiVec, которые позволяют минимизировать загрязнение кеша при обработке больших объёмов данных. Модули Kontron AM4100 адресованы инфраструктурным решениям для поставщиков телекоммуникационного оборудования (Telecommunication Equipment Manufacturer – TEM) и большим корпоративным системам передачи данных. В числе других областей применения плат Kontron AM4100 – медицинские и промышленные системы обработки изображений и аэрокосмическая отрасль. Четыре интерфейса Gigabit Ethernet обеспечивают высочайшую пропускную способность благодаря новейшим методам QoS, манипулирования заголовками пакетов и ускорения проверки контрольных сумм для протоколов TCP и UDP. Помимо системных интерфейсов RapidIO на альтернативной основе доступны интерфейсы PCI Express, благодаря чему модули Kontron AM4100 можно использовать в самых разных конечных конфигурациях. В тех случаях, когда нужны интерфейсы сразу обоих типов, лучшим выбором будут модули Kontron AM4101. Одновременная поддержка технологий PCI Express и RapidIO возможна благодаря тому, что, согласно рекомендациям организации SCOPE Alliance, под разные интерфейсы задействуются разные системные порты в зоне повышенной пропускной способности (AMC Fat Pipes Region). OEM-производители могут получать от холдинга Kontron и полностью готовые системы, сконфигурированные в соответствии с требованиями заказчика. MicroTCA-платформы холдинга Kontron поддерживают все современные интерфейсы передачи данных (PCI Express, Gigabit Ethernet, RapidIO и др.) и тем самым обеспечивает для разработчиков большую свободу действий при проектировании систем.