Министерство образования и науки Российской Федерации

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЯДЕРНЫЙ УНИВЕРСИТЕТ «МИФИ»

Факультет автоматики и электроники

КАФЕДРА МИКРО- И НАНОЭЛЕКТРОНИКИ









Реферат по теме:

«Архитектура и реализация коммутационных матриц (Switch Fabrics) современными производителями элементной базы СО»

Выполнили студенты группы А09-11:

Соколов А.М.

Глазков В.Г.

Преподаватель:доц.Лапшинский В.А.

 

Москва 2015

Содержание

Реферат………………………………………………………………….……….......…3

Что такое коммутирующая матрица (switch fabric) ?………………………..…...4

Архитектура с разделяемой шиной…………………………………………….......6

Архитектура с разделяемой памятью………………………………………….…..7

Архитектура на основе коммутационной матрицы………………………...…….8

Реализация Switch fabric в архитектуре шасси Cisco………………………….14

Реализация Switch fabric в системах фирмы Altera………………………….…16

Обзор чип-сетов со Switch Fabric фирмы Broadcom………….………………..19

Список литературы……………………………………………………......…………22

Реферат

            Отчет 22 с., 17 рис., 6 источников.

            Сетевое оборудование, коммутационная матрица, трафик, разделяемая память, архитектура, буферизация, арбитр, выходные очереди, виртуальные очереди, switch fabric, CISCO, Altera, ПЛИС, FPGA.

            Архитектура и реализация коммутационных матриц (SwitchFabrics) современными производителями элементной базы СО

            Объектом рассмотрения являются различные архитектуры коммутационных матриц и способы их реализации.

            В процессе работы проводилось теоритические исследования различных архитектур коммутационных матриц.

            В результате рассмотрения выделились несколько видов архитектур: архитектура с разделяемой шиной, архитектура с разделяемой памятью, арбитратор с входными буфера и др.

            В данном реферате описывается различные архитектуры коммутационных матриц и способы их реализации. Реферат описывает несколько различных архитектур и пояснения к ним.  Содержание реферата строилось на основе различных источников литературы, такие как конспекты лекций (Национальный открытый университет ИНТУИТ) и авторские научные статьи. Реферат может использоваться как ознакомительное пособие по архитектурам коммутационных матриц.

Что такое коммутирующая матрица (switch fabric)?

            Коммутирующая матрица – это взаимосвязанная сеть переключаемых устройств. Она представляет собой чипсет, соединяющий множество входов с множеством выходов на основе фундаментальных технологий и принципов коммутации. Switchfabric выполняет следующие функции: переключение трафика с одного порта матрицы на другой, обеспечивая тем самым их равнозначность, предоставление качества обслуживания (Quality of Service или QoS) и обеспечение отказоустойчивости. На рис. 1 изображена коммутирующая матрица.

Рис. 1. Коммутирующая матрица

         Матрица имеет множество входных и выходных портов. Она обеспечивает параллельный механизм передачи данных. Кроме того, присутствует механизм исправления ошибок.

         Switch fabric используются во многих разных областях применения – от высокоскоростных телекоммуникаций до  сетей хранения данных. Для совместимости она может работать и в режиме обычной шины. На рис. 2 представлен способ коммутации внутри SwitchFabric.

        Поскольку коммутирующая матрица является ядром аппаратной платформы, к ней предъявляются требования по масштабированию производительности и возможности быстрого развития системы QoS [1].

Рис. 2. Способ коммутации внутри коммутирующей матрицы

         Производительность коммутирующей матрицы (switch capacity) определяется как общая полоса пропускания (bandwidth), обеспечивающая коммутацию без отбрасывания пакетов трафика любого типа (одноадресного, многоадресного, широковещательного).

         "Неблокирующей" коммутирующей матрицей (non-blocking switch fabric) является такая матрица, у которой производительность и QoS не зависят от типа трафика, коммутируемого через матрицу, и производительность равна сумме скоростей всех портов.

          Поскольку коммутирующая матрица располагается в ядре платформы коммутатора, то одним из наиболее важных вопросов остается ее отказоустойчивость. Этот вопрос решается за счет реализации отказоустойчивой архитектуры, предусматривающей резервирование критичных для работы коммутатора блоков.

         В настоящее время существует много типов архитектур коммутирующих матриц. Выбор архитектуры матрицы во многом определяется ролью коммутатора в сети и количеством трафика, которое ему придется обрабатывать. В действительности, матрица обычно реализуется на основе комбинации двух или более базовых архитектур.

Архитектура с разделяемой шиной

        Архитектура с разделяемой шиной (Shared Bus) использует в качестве разделяемой среды шину, которая обеспечивает связь подключенных к ней устройств ввода-вывода (портов). Шина используется в режиме разделения времени, т.е. в каждый момент времени только одному источнику разрешено передавать по ней данные. Управление доступом к шине осуществляется через централизованный арбитр, который предоставляет источнику право передавать данные.

       Применительно к системам с разделяемой шиной под термином "неблокирующая" понимается то, что сумма скоростей портов матрицы меньше, чем скорость шины. Т.е. производительность системы ограничена производительностью шины. Даже если общая полоса пропускания ниже производительности шины, количество и производительность устройств ввода-вывода ограничены производительностью централизованного арбитра [1].

Рис.3. Архитектура с разделяемой шиной

Архитектура с разделяемой памятью

          Улучшения архитектуры с разделяемой шиной привели к появлению высокопроизводительной архитектуры с разделяемой памятью (Shared Memory). Архитектура с разделяемой памятью обычно основана на использовании быстрой памяти RAM большой емкости в качестве общего буфера коммутационной системы, предназначенного для хранения входящих пакетов перед их передачей. Память обычно организуется в виде множества выходных очередей, ассоциирующихся с одним из устройств ввода-вывода или портом. Для обеспечения неблокирующей работы полоса пропускания памяти для операции "запись" и операции "чтение" должна быть равна максимальной суммарной полосе пропускания всех входных портов.

          Типовая архитектура коммутаторов с разделяемой памятью показана на рис. 4. Входящие пакеты преобразуются из последовательного формата в параллельный и затем записываются в двухпортовую память. Запись в память осуществляется по принципу мультиплексирования с разделением по времени (Time Division Multiplexing, TDM), поэтому в каждый момент времени только один входной порт может поместить кадр в ячейку разделяемой памяти. Заголовки каждого кадра передаются в контроллер памяти. На основе этой информации он определяет выходной порт назначения и выходную очередь, в которую необходимо поместить кадр. Порядок, в котором выходные кадры будут считываться из памяти, определяется контроллером памяти с помощью механизма арбитража. Считанные кадры отправляются на соответствующие выходные порты (выходные кадры демультиплексируются с разделением по времени таким образом, что только один выходной порт может получить доступ к разделяемой памяти), где они вновь преобразуются из параллельного формата в последовательный.

Рис.4. Архитектура с разделяемой памятью

          Одним из преимуществ использования общего буфера для хранения пакетов является то, что он позволяет минимизировать количество выходных буферов, требуемых для поддержания скорости потери пакетов на низком уровне. С помощью централизованного буфера можно воспользоваться преимуществами статического разделения буферной памяти. При высокой скорости трафика на одном из портов он может захватить большее буферное пространство, если общий буферный пул не занят полностью.

        Архитектура с разделяемой памятью обладает рядом недостатков. Так как пакеты записываются и считываются из памяти одновременно, она должна обладать суммарной пропускной способностью портов, т.е. операции записи и чтения из памяти должны выполняться в N (количество портов) раз выше скорости работы портов. Т.к. доступ к памяти физически ограничен, необходимость ускорения работы в N раз ограничивает масштабируемость архитектуры. Более того, контроллер памяти должен обрабатывать пакеты с той же скоростью, что и память. Такая задача может быть трудно выполнимой в случае управления множеством классов приоритетов и сложными операциями планирования. Коммутаторы с разделяемой памятью обладают единой точкой отказа, поскольку добавление еще одного общего буфера является сложным и дорогим. В результате этого в чистом виде архитектура с разделяемой памятью используется для построения коммутаторов с небольшим количеством портов [1].

Архитектура на основе коммутационной матрицы

          Параллельно с появлением архитектуры с разделяемой памятью (в середине 1990-х годов) была разработана архитектура на основе коммутационной матрицы (Crossbar architecture). Эта архитектура используется для построения коммутаторов различных типов.

          Существует множество вариаций архитектуры этого типа. Базовая архитектура на основе коммутационной матрицы N х N непосредственно соединяет N входных портов с N выходными портами в виде матрицы. В местах пересечения проводников, соединяющих входы и выходы, находятся коммутирующие устройства, которыми управляет специальный контроллер. В каждый момент времени, анализируя адресную информацию, контроллер сообщает коммутирующим устройствам, какой выход должен быть подключен к какому входу. В том случае, если два входящих пакета от разных портов-источников будут переданы на один и тот же выходной порт, он будет заблокирован. Существуют различные подходы к решению этой проблемы: повышение производительности матрицы по сравнению с производительностью входных портов или использование буферов памяти и арбитров.

         Несмотря на простой дизайн, одной из фундаментальных проблем архитектуры на основе коммутационной матрицы остается ее масштабируемость. При увеличении количества входов и выходов усложняется схемотехника матрицы и в особенности контроллера. Поэтому для построения многопортовых коммутационных матриц используется другой подход, который заключается в том, что простые коммутационные матрицы связываются между собой, образуя одну большую коммутационную матрицу.

Рис.5. Архитектура на основе коммутационной матрицы

Можно выделить два типа коммутаторов на основе коммутационной матрицы:

• коммутаторы на основе коммутационной матрицы с буферизацией (buffered crossbar);


• коммутаторы на основе коммутационной матрицы с арбитражем (arbitrated crossbar) [1].

Коммутаторы на основе коммутационной матрицы с буферизацией

         В коммутаторах на основе коммутационной матрицы с буферизацией буферы расположены на трех основных стадиях: на входе и выходе и непосредственно на коммутационной матрице. Благодаря наличию очередей на трех стадиях эта архитектура позволяет избежать сложностей, связанных с реализацией механизма централизованного арбитража. На выходе каждой из стадий осуществляется управление очередями с помощью одного из алгоритмов диспетчеризации.

         Несмотря на то, что эта архитектура является простейшей архитектурой коммутаторов, из-за независимости стадий для нее существуют сложности с реализацией качества обслуживания (QoS) в пределах коммутатора.

Коммутаторы на основе коммутационной матрицы с арбитражем

         Эта архитектура характеризуется наличием безбуферных коммутирующих элементов и арбитра, который управляет передачей трафика между входами и выходами матрицы. Отсутствие буферов у коммутирующих элементов компенсируется наличием буферов входных и выходных портов. Обычно разработчики используют один из трех методов буферизации: выходные буферы, входные буферы, комбинированные входные и выходные буферы.

Рис.6. Архитектура на основе коммутационной матрицы с входными очередями

          В коммутаторах с входными очередями (Input-Queued Switch) память каждого входного порта организована в виде очереди типа FIFO (First Input First Output — "первым пришел, первым ушел"), которая используется для буферизации пакетов перед началом процесса коммутации. Одной из проблем этого типа коммутационной матрицы является блокировка первым в очереди (Head-Of-Line blocking, HOL). Она возникает в том случае, когда коммутатор пытается одновременно передать пакеты из нескольких входных очередей на один выходной порт.

          При этом пакеты, находящиеся в начале этих очередей, блокируют все остальные пакеты, находящиеся за ними. Для принятия решения о том, какой пакет и из какой очереди может получить доступ к матрице, используется арбитр. Перед передачей пакета входные порты направляют арбитру запросы на подключение к разделяемому ресурсу (в данном случае — пути матрицы) и получают от него право на подключение.

Рис.7. Архитектура на основе коммутационной матрицы с выходными очередями

         Арбитр принимает решение о последовательности передачи пакетов из входных очередей на основе алгоритма диспетчеризации (scheduling algorithm).

         В коммутаторах с выходными очередями (output-queued switch) пакеты буферизируются только на выходных портах после завершения процесса коммутации. В этом случае удается избежать проблемы, связанной с блокированием очередей HOL. Коммутаторы этой архитектуры используют арбитр для управления временем, за которое пакеты коммутируются через матрицу. При правильно разработанном арбитре коммутаторы с выходными очередями могут обеспечивать качество обслуживания (QoS).

          Следует отметить, что выходной буфер каждого порта требует большего объема памяти по сравнению с входным буфером. Это позволяет избежать блокирования на выходе, когда все входные порты пытаются подключиться к одному выходу. Еще одним важным фактором является скорость выполнения операции "запись" коммутируемых пакетов в выходную очередь. По этим двум причинам архитектура с выходными очередями должна быть реализована на высокоскоростных элементах, что делает ее очень дорогостоящей.

         Коммутаторы с виртуальными очередями (Virtual Output Queues, VOQ) позволяют преодолеть проблему блокировки очередей HOL, не внося издержек по сравнению с коммутаторами с выходными очередями. В этой архитектуре память каждого входного порта организована в виде N (где N — количество выходных портов) логических очередей типа FIFO, по одной для каждого выходного порта. Эти очереди используются для буферизации пакетов, поступающих на входной порт и предназначенных для выходного порта j (j = 1,…N).

Рис.8. Архитектура на основе коммутационной матрицы с виртуальными очередями

         В том случае, если существует несколько виртуальных очередей, может возникнуть проблема, связанная с одновременным доступом к коммутационной матрице и блокировкой очередей. Для решения этой проблемы используется арбитр, который на основе алгоритма диспетчеризации выбирает пакеты из разных очередей.

        В коммутаторах с комбинированными входными и выходными очередями (Combined Input and Output Queued, CIOQ) буферы памяти подключены как к входным, так и к выходным портам. Память каждого из входных портов организована в виде N виртуальных выходных очередей типа FIFO, по одной для каждого выходного порта. Каждый из N выходных портов также содержит очередь типа FIFO, которая используется для буферизации пакетов, ожидающих передачи через него. Система коммутации работает по принципу конвейера, каждая стадия которого называется временным слотом (time slot). В течение временного слота 1, который называется стадией прибытия, пакеты поступают на входные порты. Для передачи внутри коммутатора все пакеты сегментируются на ячейки фиксированного размера. Размер такой ячейки данных определяется производителем коммутатора. Каждая ячейка снабжается меткой с указанием размера, номера входного порта и порта назначения и помещается в виртуальную выходную очередь соответствующего выходного порта. Входные порты отправляют "запросы на подключение к выходам" централизованному арбитру, а все выходные порты отправляют ему "информацию о перегрузке" (переполнении выходных буферов).

Рис.9. Архитектура на основе коммутационной матрицы с CIOQ

         Во временной слот 2, который называется стадией диспетчеризации, ячейки передаются из входных очередей в выходные. Последовательность передачи ячеек определяется централизованным арбитром с помощью алгоритма диспетчеризации. Для того чтобы выходные очереди быстро заполнялись пакетами из входных очередей (с целью уменьшения задержки передачи пакетов и обеспечения QoS), алгоритм диспетчеризации должен обеспечивать циклическое высокоскоростное сопоставление входных и выходных очередей. Это сопоставление используется для настройки управляемых переключателей матрицы перед передачей пакетов с входов на выходы.

         Во временной слот 3, который называется стадией передачи, осуществляется сборка пакетов и их передача с выходных портов.

Реализация Switch fabric в архитектуре шасси Cisco

        Обзор архитектуры шасси Cisco будет произведен на примере серии 7600.Cisco 7600 — семейство шасси для организации ядра сети. Устройство модульное, может быть дополнено различными платами расширения. Частично подходят платы от платформы Cisco 6500. Выпускается в различных модификациях в зависимости от количества слотов расширения: бывает 7603, 7604, 7606, 7609, 7613.

Рис. 10. Устройство шасси Cisco серии 7600

         Есть Supervisor, который выполняет всю интеллектуальную деятельность, и есть другие платы, которые к нему подключаются. В качестве соединителя выступает либо общая шина (Switching Bus), либо Switch Fabric. Платы по типу взаимодействия с supervisor бывают 3-х типов:

• Classic Line Card — работают только через шину.


• Fabric-enbaled Line Card — могут работать как через шину, так и через Switching Factory.


• Fabric-only Line Card — работаюттолькочерез Switch Fabric

           Основная плата общего шасси Cisco 7600 — Supervisor Engine. Можно сказать, в этой плате собраны все мозги маршрутизатора, без нее ничего не будет работать. Сейчас используется два основных типа этих плат: Supervisor 720 и Supervisor 32. Первый Cisco рекомендует использовать в ядре сети, второй же на пограничных узлах. Сама плата тоже модульная. Вот основные ее подкомпоненты:

• MSFC(Multilayer Switch Feature Card) — отвечает за основные сетевые протоколы 2-го и 3-го уровня.


• PFC(Policy Feature Card) — работает с таблицей MAC-адресов; определяет, на каком уровне нужно обрабатывать пакет — 2-м или 3-м, пересылает пакеты на IP и MPLS; здесь же обрабатывается QoS и ACL.

          Исходя из моделей этих двух подкарт и строится практически весь модельный ряд супервайзеров 720 серии. Также в супервайзер интегрирована Switch Fabric, которая является некоторым соединительным элементом с другими платами. В отличии от общей шины этот способ соединения является полнодуплексным, работает по принципу много-ко-многим. Как раз 720 в названии модели и означает пропускную способность Switch Fabric — 720Gbps [6].

Рис. 11. Плата Switch fabric CISCO

         Фабрика — это некоторый компонент, у которого есть интерфейсы со всеми платами в шасси. Для совместимости она может работать и в режиме обычной шины. Эта возможность оставлена для карт, не поддерживающих работу через фабрику, либо для тех, которым нужна прямая связь. Можно сказать, что фабрика — некоторая таблица коммутации, только внутри шасси и для коммутации плат.

Фабрика интегрирована в Supervisor. Также она может идти и отдельной платой. Сама фабрика является некоторым интерфейсом обмена между различными Fabric-Enabled модулями, установленными в шасси. Она двухканальная, работает в полнодуплексном режиме. Switch Fabric может пересылать пакеты в различных режимах в зависимости от того, что поддерживает плата расширения:crossbar, dCEF(Cisco Express Forwarding, тот же crossbar, только данные передаются по фабрике в компактной структуре, в которой удобно просматривать заголовки), bus(обычная шина). Современные карты, работающие с Switch Fabric в режиме crossbar, обычно имеют подслот с установленным туда модулем пересылки данных CFC(Centralized Forwarding Card) [3].

Реализация Switch fabric в системах фирмы Altera

           Семейство FPGA StratixGX фирмы Altera позволяет использовать их в системах со Switch Fabric. На рис. 12 изображена такая типичная система с использованием Switch Fabric.

Рис. 12. Поток данных через сетевую карту к Switch fabric

         Эта система состоит из нескольких сетевых карт, каждая из которых содержит модули физического уровня (PHY), управление доступом к среде (MAC) или блок формирования кадров, функцию обработки пакетов, менеджер трафика и систему управления очередью. Сетевые карты расположены на шасси и подключены к соединительной плате. Типичная система использует централизованную архитектуру, в которой плата коммутационной матрицы соединяется со всеми сетевыми картами системы.

           К коммутационной матрице предъявляются 4 требования:

          - Она должна обеспечивать передачу пакетов со входных портов на выходные;

          - Switch Fabric должна осуществлять арбитраж, когда одновременно прибывают несколько пакетов, предназначенных одному выходному порту;

          - Коммутационная матрица должна обеспечивать достаточную буферизацию для ситуаций, когда частота поступления пакетов больше, чем пропускная способность матрицы;

          - Плата Switch fabric должна осуществлять управление потоком исходящих пакетов на выходных портах.

Централизованная система Switch fabric содержит плату, ответственную за соединение всех портов всех сетевых карт системы. Плата коммутационной матрицы трассирует данные и подсоединяется к сетевым картам, используя высокоскоростные связи соединительной платы. На рис. 13 изображена упрощенная система с 8 сетевыми картами, каждая из которых соединена с центральной платой Switch fabric.

Рис. 13. Централизованная система Switch Fabric

          На рис. 14 и рис. 15 показаны более детальные версии интерфейса соединительной платы 4 x3.125 Гб/с на сетевой карте и на плате коммутационной фабрики с несколькими наборами связей 4 x3.125 Гб/с. Дизайнер может имплементировать управление трафиком, управление буфером и передатчики соединительной платы на устройствах семейства StratixGX на плате сетевой карты (рис. 14). На рис. 15 показано, как устройство StratixGX обеспечивает двадцать 3.125 Гб/с последовательных связей к пяти 10 Гб/с сетевым картам.

Рис. 14. Интерфейс соединительной платы на сетевой карте

Рис. 15. Интерфейс соединительной платы на плате Switch Fabric

          StratixGX поддерживает скоростные чип-к-чипу интерфейсы. Высокоскоростные соединения в логическом массиве позволяют передавать пакеты в широком диапазоне скоростей. Дизайнер может имплементировать буферизацию пакетов с помощью организации виртуальной выходной очереди, используя память TriMatrix(также разработка фирмы Altera), и поддерживать высокоскоростные интерфейсы памяти [4].

Обзор чип-сетов со Switch Fabric фирмы Broadcom

         Фирма Broadcom изобрела масштабируемую коммутационную матрицу, которая может быть встроена в системы, основанные на приеме или передаче пакетов, таких, как синхронные оптические сети.  Первое из двух устройств – BCM8332 (рис.16)представляет собой 80-Гбит коммутируемый чип, содержащий SwitchFabric и наборы 32 входных и 32 выходных портов. Каждый порт содержит встроенный сериалазер/десериалайзер, который может выдавать 3.125Гб/с поток закодированных данных (2.5 Гб/с сырых данных).

Рис. 15. Чип BCM8332

Рис. 16. Чип BCM8320

         Устройство BCM8320 представляет собой двунаправленный 10-Гбит матричный интерфейс, который также располагает логикой матричного управления (рис. 16). Эти два чипа формируют сердце свитча с широкой полосой пропускания, который может быть использован многофункциональных свитчах.

         Предыдущие устройства имели схожую интеграцию и масштабируемость, но не они не могли обеспечить полосу пропускания для многих служб, работающих с матрицей. Чтобы обеспечить такую полосу пропускания, Broadcom разработал специальные технологии, которые могут буфферизровать каждый поток через матрицу. Для сравнения, другие архитектуры матриц обычно не могут справиться с несколькими потоками данных. Уникальной чертой этого чип-сета является гибкий перерасчет полосы пропускания.

        Типичная система коммутационной матрицы использует интерфейс чипа BCM8320 на каждой сетевой карте и от одного до шестнадцати чипов BCM8332, чтобы сформировать коммутационную матрицу (рис. 17).

Рис. 17. Коммутационная матрицы компании Broadcom

         Сетевой процессор на сетевой карте производит анализ пакетов данных и передает данные к BCM8320 через CSIX-совместимый порт. С двумя CSIXпортами BCM8320 может быть использован в архитектурах, которые используют два сетевых процессора на одной сетевой карте, или один сетевой процессор и менеджер трафика. Каждый CSIXпорт может работать на скорости 2.5, 5 и 10 Гбит/с.

         Матричный интерфейс включает в себя функции по организации очередей и управлением потоком данных, а также логику парсинга ячеек. Чип может обрабатывать несколько уровней приоритета для одноадресного трафика и два уровня приоритета для многоадресного трафика. Для контроля потока данных BCM8320 обеспечивает  внутриполосной механизм контроля потока.

         Каждая сетевая карта имеет пару интерфейсов чипов SwitchFabricи несколько ПЛИС, которые позволяют пользователю имплементировать свою собственную модификацию пакетного уровня и алгоритмы управления трафиком. Broadcom также предоставляет возможность конвертировать разные стандарты сетевых интерфейсов в CSIX с помощью собственных конфигураций ПЛИС [5].

Список литературы

         1) Пролетарский А.В. Конспект лекций МГТУ им. Баумана по курсу Построение коммутируемых компьютерных / А.В. Пролетарский [и д.р.] -МСК.: Национальный открытый университет ИНТУИТ, 2013

         2) Catalyst 6500 Release 12.2SX Software Configuration Guide[Электронныйресурс]. –Режимдоступа:http://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst6500/ios/12-2SX/configuration/guide/book/switch_fabric.html

       3) Обзор архитектуры шасси Cisco на примере серии 7600. [Электронный ресурс]. – Режим доступа:http://habrahabr.ru/post/167741

       4) Using Stratix GX in Switch Fabric Systems. [Электронный ресурс]. – Режим доступа: https://www.altera.com/content/dam/altera-www/global/en_US/pdfs/literature/wp/wp_switch_fabric.pdf

    5) Dave Bursky. Switch-Fabric Chip Set Delivers Per-Channel QoS. [Электронныйресурс]. – Режимдоступа: http://electronicdesign.com/digital-ics/switch-fabric-chip-set-delivers-channel-qos

       6) CISCO Switch Fabric. [Электронный ресурс]. – Режим доступа: www.cisco.com/c/en/us/td/docs/routers/crs/crs1/4_slot/system_description/reference/guide/sysdesc/10805ch4.html