Fiber connection в роутере что это

В этой статье я вкратце расскажу о основах FICON — протокола неразрывно связанного с миром мейнфреймов. Это маленькая статья-введение, описывающая концепцию FICON и поэтому я воздержусь от глубоких технических деталей. Если возникнет необходимость, то это будет сделано в следующих статьях.

Немного истории

FICON (FIber CONnection) — это проприетарный протокол и индустриальный стандарт ввода/вывода используемый для соединения мейнфреймов с системами хранения данных и периферийными устройствами. Появился в 1998 году как замена устаревшему протоколу ESCON (Enterprise Server CONnection) и сильно превосходит его по всем основным характеристикам. Как Вы уже догадались, придуман был данный стандарт в стенах компании, которая является основным производителем мейнфреймов на нашей планете — IBM.

В данный момент IBM-совместимые мейнфреймы также производят компании Fujitsu, NEC, Hitachi, хотя они практически не составляют конкуренцию IBM и продаются в основном на японском рынке. В их продуктах также используется FICON. А системы хранения данных и ленточные библиотеки с поддержкой FICON производят все крупнейшие игроки рынка систем хранения данных (EMC, Hewlett-Packard, IBM, Hitachi). Фактически, поддержка системой хранения данных протокола FICON является чуть ли ни одним из признаков того, что эта система класса Hi-End.

Рынок коммутаторов FICON не так сильно пестрит количеством производителей. Фактически этот рынок делят два производителя: большую его часть занимает компания Brocade (по разным оценкам около 70-80%), а остатки контролирует всеми известная Cisco Systems.

Необходимость разработки этого протокола появилась вследствие того, что мейнфреймы всегда строились на закрытой архитектуре и в частности всеми любимый SCSI не поддерживали. А в наш век, протокол SCSI используется практически на каждом первом сервере: SAS диски на серверах (Serial Attached SCSI), виртуальные тома с внешних систем хранения данных по протоколу FCP (SCSI over FC), виртуальные тома с внешних систем хранения по протоколу iSCSI. В исторической гонке скоростей интерфейсов в один прекрасный день сложилась такая ситуация, что скорости ESCON уже никого не устраивали, а замены из открытых систем (в частности SCSI) для мейнфреймов использоваться не могли, т.к. такая миграция приводила к необходимости внесения большого числа архитектурных изменений в ПО мейнфреймов. Поэтому хитрые умы из IBM решили разработать протокол, подобный по формату ESCON но на открытой и динамично развивающейся инфраструктуре. Такой инфраструктурой оказался Fibre Channel. Разработанный компанией IBM в 1998 году FICON — есть ни что иное, как адаптация и некоторая модификация ESCON к использованию его в качестве протокола верхнего уровня в стеке Fibre Channel.

Характеристики

Существующие в данный момент устройства FICON поддерживают скорости 2, 4, 8, 16 Гбит/сек. Правда стоит отметить что на данный момент скорость в 16 Гбит/сек. можно получить исключительно на оборудовании Brocade, так как Cisco пока не имеет подобных решений. Максимальное расстояние зависит от скорости интерфейсов, используемого оборудования и других факторов, но обычно не превышает 100 километров (без использования FCIP маршрутизаторов). На расстояниях более 500 метров необходимо будет использовать особые оптические модули (long-wave SFP) и одномодовое оптоволокно (dark fiber).

Топологии

Есть три основных способа подключения мейнфреймов к переферийному оборудованию через FICON:

1. Использование прямых подключений (point-to-point). Это самый простой способ. В данном случае FICON порт мейнфрейма подключается к порту переферийного устройства напрямую.
2. Переключаемая точка-точка (switched point-to-point). В данном случае порт мейнфрейма и порт периферийного устройства подключаются к одному FC коммутатору.
3. Каскадный FICON. В данном случае порт мейнфрейма подключается к одному коммутатору, а порт переферийного устройства — к другому коммутатору, связанному с первым через межкоммутаторную связь (ISL, Inter-Switch Link).
   Эти три способа отличаются не только физическим аспектом подключения, но и непосредственно влияют на способ настройки коммутаторов FICON и мейнфрейма. Они даже используют разные типы адресации. В частности при использовании прямых подключений точка-точка адрес состоит только из одного байта, который используется для адресации устройства. При использовании топологии каскадного FICON адрес состоит из двух байт. Первый байт используется для идентификации FC коммутатора в который подключено переферийное устройство (domain ID коммутатора), второй – для идентификации физического адреса порта устройства на коммутаторе.

Сходства и различия с Fibre Channel Protocol (FCP)

FICON использует аппаратную инфраструктуру Fibre Channel. То есть используются те же коммутаторы, те же оптоволоконные кабели с разъемом LC-LC, те же трансиверы, что используются для подключения серверов открытых систем (не мейнфреймов) к системам хранения данных. FICON — это всего лишь один из протоколов верхнего уровня (upper level protocol) который инкапсулируется в стек Fibre Channel на верхнем уровне (FC-4). Он инкапсулируется в стек FC так же как и SCSI в наиболее популярном FCP. FICON и FCP могут использоваться одновременно на одной и той же аппаратной инфраструктуре (делить одни и те же коммутаторы и директора сети хранения данных). Администрирование FICON фабрик очень похоже на администрирование обычных фабрик для открытых систем, но имеет свои весьма забавные особенности, связанные в первую очередь с адресацией устройств в мейнфреймах.

На этом всё! Спасибо Вам что вы дочитали до конца! Если вдруг кого-то заинтересует техническое продолжение, то оно не заставит себя ждать.

Сетевое соединение vs. шина ввода/вывода

Сначала был компьютер. Первый, он же и единственный. Боже, как это было просто. Все данные хранились где-то глубоко в его недрах, и если их там не было,
то их не было вообще. Потом появились сети, призванные объединить такие компьютеры для совместной работы. На этом эпоха централизованного хранения завершилась, потому что для повышения производительности гораздо удобнее оказалось приблизить ресурсы поближе к рабочим группам. Таким образом, в попытке минимизировать сетевую нагрузку накопители информации были были равномерно разделены между множеством серверов и настольных компьютеров.

Такое разделение каналов во многом объясняется различными требованиями к пересылке данных. В сети на первое место встает доставка нужной информации одному клиенту из множества возможных, для чего необходимо создать определенные и весьма сложные механизмы адресации и некий «сетевой этикет» при одновременной работе всех клиентов. В итоге, перед каждой пересылкой по сети приходится выполнять ряд неизбежных процедур в соответствии с объявленными правилами и сознательно мириться с возникающими при этом задержками и снижением пропускной способности сетевого канала. Кроме того, сетевой канал предполагает значительные расстояния, поэтому здесь предпочтительна передача данных по последовательному соединению.

А вот канал хранения выполняет крайне простую задачу, предоставляя возможность обмена с заранее известным накопителем данных. Единственное, что от него требуется — делать это максимально быстро. Расстояния здесь, как правило, небольшие, поэтому производители могут использовать более дорогой кабель для параллельной передачи данных.

Если звезды зажигаются…

Предполагается, что такая схема улучшит производительность и масштабируемость вычислительной среды вместе с более легким администрированием, а также повысит доступность данных. В итоге, мы вправе ожидать существенного снижения стоимости владения данным ресурсом, что справедливо ставится во главу угла финансовыми службами.

Очевидно, что всего этого можно добиться, если интегрировать накопители в сеть наряду с серверами, клиентскими машинами и прочими принтерами, т. е. использовать для этого существующий сетевой канал. К сожалению, после такого шага сеть просто впадет в кому, подавая лишь слабые признаки жизни. Конечно, если бы мы до сих пор использовали MS-DOS или все разом перешли на Linux, то с ними сетевой канал еще бы справлялся, но ведь по совершенно необъяснимым причинам пользователи предпочитают монстров типа Windows NT, да еще и пытаются передавать по этому же каналу потоковое видео.

В то же время существующему каналу хранения такие нагрузки по зубам, но вряд-ли в нынешнем виде он подходит для реализации истинно разделяемых ресурсов. Если обратиться к физической реализации такого канала, то самым сильным игроком здесь был и остается старый добрый параллельный SCSI, но при всей нашей любви к нему необходимо признать существенные ограничения на допустимую длину физической линии. Дело в том, что волновые характеристики отдельных проводников слегка отличаются, поэтому при передаче на большие расстояния возникает дифференциальная задержка в виде неодновременного прихода импульсов по разным сигнальным парам. В итоге получаем не более 25 метров даже при использовании дифференциального интерфейса HVD. Кроме того, передача по параллельному кабелю влечет за собой дополнительные расходы вследствие большей сложности монтажных работ, а также высокой стоимости используемых кабелей и коннекторов.

Fibre channel — хорошо забытое старое

Исходя из присущих параллельному соединению ограничений, сама идея использовать последовательную линию для канала хранения выглядит не такой уж и безумной, как это могло показаться с первого раза. Совершенно не зря говорят, что технический прогресс развивается по спирали. Если заглянуть в мир mainframe, то там практически с самого начала живет разработанный IBM стандарт последовательной передачи под названием ESCON (Enterprise Systems Connection) с использованием запатентованной IBM кодировки 8b/10b.

Когда в 1988 году ANSI (Американский Национальный Институт по Стандартизации) зарегистрировал рабочую группу по разработке «практичного, недорогого и вместе с тем расширяемого метода для высокоскоростного обмена данными между ЭВМ, суперкомпьютерами, рабочими станциями, персональными компьютерами, накопителями и устройствами отображения», мало кто из сторонних наблюдателей верил в успех, слишком уж глобальна и вызывающе звучала постановка задачи. Возможно, именно из-за такой недооценки потенциального соперника IBM с легкостью выдала лицензию на кодировку 8b/10b без отчислений владельцу (royalty-free license).

К тому времени парадигма Network (сетевое соединение) — Channel (шина ввода/вывода) была уже столь очевидна, что новый метод было решено назвать Fiber Channel. Через некоторое время разработчики спохватились, что английское слово Fiber слишком уж сильно ассоциируется с оптоволоконными линиями, поэтому оно было заменено на французскую (или британскую) транскрипцию Fibre. Учитывая, что основной топологией этого метода была избрана петля с арбитражным доступом (Arbitrated Loop), то его полное название составило Fibre Channel Arbitrated Loop или FC-AL.

Самое смешное, что после некоторых раздумий корпорация IBM тоже бросилась вдогонку, разработав свой собственный метод последовательной передачи под названием SSA (Serial Storage Architecture). Видимо, хотели сделать собственный закрытый стандарт, но получилось, как с микроканальной шиной MCA — основная масса разработчиков и производителей предпочла открытую архитектуру.

При всем богатстве выбора…

Как видно из приведенной таблицы, по сумме вышеперечисленных характеристик FC-AL выглядит явным фаворитом. Правда, справедливости ради стоит отметить новый HiPPI-800, который, несмотря на свое название High Performance Parallel Interface, также использует последовательную передачу данных и имеет во многом сходные характеристики канала (до 10 км, полудуплекс при эффективной полосе пропускания 80 Mbytes/s).

Мы совершенно сознательно не считаем разработанную IBM технологию SSA сколь-нибудь серьезным соперником технологии FC-AL. Не станем пока вдаваться в технические детали, о которых вдоволь поговорим позже, а сфокусируемся лишь на маркетинговых вопросах. В свое время инициатива IBM была поддержана очень небольшим количеством независимых производителей, и только несколько из них сумели продвинуться дальше стадии разработки. А потом начались потери. Компания Conner, выпустившая на рынок жесткие диски SSA, была приобретена компанией Seagate, являвшейся уже к тому времени членом FCLC (Fiber Channel Loop Community). В итоге — ни Коннера, ни дисков.

На данный момент жесткие диски SSA можно приобрести только у IBM и Xyratex, которая сама базируется на бывшем заводе IBM. Долгое время из IBM исходили слухи о скором выпуске RAID-контроллера SSA, макет которого возили по компьютерным выставкам и демонстрировали всем желающим. А потом возить перестали, объявив о продаже прав на продукт компании Adaptec. Через некоторое время Adaptec перешел под знамена FCLC и блистательно похоронил наши надежды. Поэтому сейчас нам в очередной раз искренне жаль всех пользователей SSA, которые остались сиротами после объявления IBM о начале разработки нового стандарта FC-EL (Fiber Channel Enhanced Loop). Интересно, а сколько раз нужно наступить на грабли, чтобы выработать устойчивый рефлекс, как у собаки Павлова?

Первое знакомство

На момент выхода данной статьи Fibre Channel может быть описан как технология интерфейса передачи данных с гарантированной скоростью 1.0625 Gbit/s, поддерживающая такие распространенные способы обмена, как SCSI или IP. Благодаря такой универсальности, FC-AL может использоваться как в высокоскоростных шинах ввода/вывода (канал хранения), так и в LAN (сетевой канал) с максимальной длиной физической линии до 10 километров при использовании оптоволокна. К другим очевидным достоинствам Fibre Channel можно отнести поддержку различных топологий (точка-точка, петля с арбитражным доступом и коммутируемая звезда).

В основу технологии положена методика простого перемещения данных из буфера передатчика в буфер приемника с полным контролем этой и только этой операции. Благодаря такому «разграничению прав и обязанностей» для FC-AL совершенно неважно, как обрабатываются данные индивидуальными протоколами до и после помещения в буфер, вследствие чего тип передаваемых данных (команды, пакеты или кадры) не играет никакой роли.

И чтобы совсем приблизиться к идеалу, собственный размер кадра в FC-AL увеличен до 2148 байт для эффективной работы с большими массивами. В то же время, для уменьшения накладных расходов при передаче коротких сообщений размер кадра может пропорционально уменьшаться вплоть до 36 байт.

Таким образом, технология Fibre Channel может смело претендовать на роль универсальной Магистрали, пропускающей потоки данных как существующих шин ввода/вывода, так и LAN соединений.

Во избежание возможных недоразумений сразу оговоримся, что мы не предлагаем всем дружно отказаться от IDE, SCSI, Ethernet или FDDI. Совсем нет, это было бы так же глупо, как и призывы некоторых производителей тянуть ATM к каждому рабочему месту.

Совершенно очевидно, что технологическое превосходство того или иного стандарта само по себе не может служить достаточным основанием для отказа от уже используемых решений. Иначе кто бы сейчас в здравом уме покупал IDE диски, когда есть существенно более продвинутые SCSI? Но зачем платить лишние деньги за конвейерную обработку, если на компьютере не установлена многозадачная и многопотоковая ОС? И даже если установлена, то так ли часто большинству из нас приходится пользоваться этими возможностями? С другой стороны, нам неизвестны примеры успешного использования IDE дисков для аппаратного обеспечения посещаемых Интернет-ресурсов.

From Wikipedia, the free encyclopedia

Fibre Channel
Layer 4. Protocol mapping
LUN masking
Layer 3. Common services
Layer 2. Network
Fibre Channel fabric Fibre Channel zoning Registered state change notification
Layer 1. Data link
Fibre Channel 8b/10b encoding
Layer 0. Physical

Fibre Channel (FC) is a high-speed data transfer protocol providing in-order, lossless^[1] delivery of raw block data.^[2] Fibre Channel is primarily used to connect computer data storage to servers^[3][4] in storage area networks (SAN) in commercial data centers.

Fibre Channel networks form a switched fabric because the switches in a network operate in unison as one big switch. Fibre Channel typically runs on optical fiber cables within and between data centers, but can also run on copper cabling.^[3][4] Supported data rates include 1, 2, 4, 8, 16, 32, 64, and 128 gigabit per second resulting from improvements in successive technology generations. The industry now notates this as Gigabit Fibre Channel (GFC).

There are various upper-level protocols for Fibre Channel, including two for block storage. Fibre Channel Protocol (FCP) is a protocol that transports SCSI commands over Fibre Channel networks.^[3][4] FICON is a protocol that transports ESCON commands, used by IBM mainframe computers, over Fibre Channel. Fibre Channel can be used to transport data from storage systems that use solid-state flash memory storage medium by transporting NVMe protocol commands.

Etymology[edit]

When the technology was originally devised, it ran over optical fiber cables only and, as such, was called «Fiber Channel». Later, the ability to run over copper cabling was added to the specification. In order to avoid confusion and to create a unique name, the industry decided to change the spelling and use the British English fibre for the name of the standard.^[5]

History[edit]

Fibre Channel is standardized in the T11 Technical Committee of the International Committee for Information Technology Standards (INCITS), an American National Standards Institute (ANSI)-accredited standards committee. Fibre Channel started in 1988, with ANSI standard approval in 1994, to merge the benefits of multiple physical layer implementations including SCSI, HIPPI and ESCON.

Fibre Channel was designed as a serial interface to overcome limitations of the SCSI and HIPPI physical-layer parallel-signal copper wire interfaces. Such interfaces face the challenge of, among other things, maintaining signal timing coherence across all the data-signal wires (8, 16 and finally 32 for SCSI, 50 for HIPPI) so that a receiver can determine when all the electrical signal values are «good» (stable and valid for simultaneous reception sampling). This challenge becomes evermore difficult in a mass-manufactured technology as data signal frequencies increase, with part of the technical compensation being ever reducing the supported connecting copper-parallel cable length. See Parallel SCSI. FC was developed with leading-edge multi-mode optical fiber technologies that overcame the speed limitations of the ESCON protocol. By appealing to the large base of SCSI disk drives and leveraging mainframe technologies, Fibre Channel developed economies of scale for advanced technologies and deployments became economical and widespread.

Commercial products were released while the standard was still in draft.^[6] By the time the standard was ratified lower speed versions were already growing out of use.^[7] Fibre Channel was the first serial storage transport to achieve gigabit speeds^[8] where it saw wide adoption, and its success grew with each successive speed. Fibre Channel has doubled in speed every few years since 1996.

Fibre Channel has seen active development since its inception, with numerous speed improvements on a variety of underlying transport media. The following table shows the progression of native Fibre Channel speeds:^[9]

Fibre Channel variants^[10]

Name	Line-rate (gigabaud)	Line coding	Nominal throughput per direction (MB/s)	Market availability
133 Mbit/s	0.1328125	8b10b	12.5	1993
266 Mbit/s	0.265625	8b10b	25	1994[6]
533 Mbit/s	0.53125	8b10b	50	?
1GFC	1.0625	8b10b	100	1997
2GFC	2.125	8b10b	200	2001
4GFC	4.25	8b10b	400	2004
8GFC	8.5	8b10b	800	2008
10GFC	10.51875	64b66b	1,200	2008
16GFC	14.025	64b66b	1,600	2011
32GFC (Gen 6)	28.05	256b257b	3,200	2016[11]
64GFC (Gen 7)	28.9	256b257b (FC-FS-5)	6,400	2020
128GFC (Gen 6)	28.05 ×4	256b257b	12,800	2016[11]
256GFC (Gen 7)	28.9 ×4	256b257b	25,600	2020
128GFC (Gen	57.8	256b257b	12,800	Planned 2024

In addition to a modern physical layer, Fibre Channel also added support for any number of «upper layer» protocols, including ATM, IP (IPFC) and FICON, with SCSI (FCP) being the predominant usage.

Characteristics[edit]

Two major characteristics of Fibre Channel networks are in-order delivery and lossless delivery of raw block data. Lossless delivery of raw data block is achieved based on a credit mechanism.^[1]

Topologies[edit]

There are three major Fibre Channel topologies, describing how a number of ports are connected together. A port in Fibre Channel terminology is any entity that actively communicates over the network, not necessarily a hardware port. This port is usually implemented in a device such as disk storage, a Host Bus Adapter (HBA) network connection on a server or a Fibre Channel switch.^[3]

• Point-to-point (see FC-FS-3). Two devices are connected directly to each other using N_ports. This is the simplest topology, with limited connectivity.^[3] The bandwidth is dedicated.
• Arbitrated loop (see FC-AL-2). In this design, all devices are in a loop or ring, similar to Token Ring networking. Adding or removing a device from the loop causes all activity on the loop to be interrupted. The failure of one device causes a break in the ring. Fibre Channel hubs exist to connect multiple devices together and may bypass failed ports. A loop may also be made by cabling each port to the next in a ring.
  • A minimal loop containing only two ports, while appearing to be similar to point-to-point, differs considerably in terms of the protocol.
  • Only one pair of ports can communicate concurrently on a loop.
  • Maximum speed of 8GFC.
  • Arbitrated Loop has been rarely used after 2010 and its support is being discontinued for new gen switches.
• Switched Fabric (see FC-SW-6). In this design, all devices are connected to Fibre Channel switches, similar conceptually to modern Ethernet implementations. Advantages of this topology over point-to-point or Arbitrated Loop include:
  • The Fabric can scale to tens of thousands of ports.
  • The switches manage the state of the Fabric, providing optimized paths via Fabric Shortest Path First (FSPF) data routing protocol.
  • The traffic between two ports flows through the switches and not through any other ports like in Arbitrated Loop.
  • Failure of a port is isolated to a link and should not affect operation of other ports.
  • Multiple pairs of ports may communicate simultaneously in a Fabric.

Attribute	Point-to-point	Arbitrated loop	Switched fabric
Max ports	2	127	~16777216 (224)
Address size	—	8-bit ALPA	24-bit port ID
Side effect of port failure	Link fails	Loop fails (until port bypassed)	—
Access to medium	Dedicated	Arbitrated	Dedicated

Layers[edit]

Fibre Channel does not follow the OSI model layering, and is split into five layers:

• FC-4 – Protocol-mapping layer, in which upper level protocols such as NVM Express (NVMe), SCSI, IP, and FICON are encapsulated into Information Units (IUs) for delivery to FC-2. Current FC-4s include FCP-4, FC-SB-5, and FC-NVMe.
• FC-3 – Common services layer, a thin layer that could eventually implement functions like encryption or RAID redundancy algorithms; multiport connections;
• FC-2 – Signaling Protocol, defined by the Fibre Channel Framing and Signaling 4 (FC-FS-5) standard, consists of the low level Fibre Channel network protocols; port to port connections;
• FC-1 – Transmission Protocol, which implements line coding of signals;
• FC-0 – physical layer, includes cabling, connectors etc.;

This diagram from FC-FS-4 defines the layers.

Layers FC-0 are defined in Fibre Channel Physical Interfaces (FC-PI-6), the physical layers of Fibre Channel.

Fibre Channel products are available at 1, 2, 4, 8, 10, 16 and 32 and 128 Gbit/s; these protocol flavors are called accordingly 1GFC, 2GFC, 4GFC, 8GFC, 10GFC, 16GFC, 32GFC or 128GFC. The 32GFC standard was approved by the INCITS T11 committee in 2013, and those products became available in 2016. The 1GFC, 2GFC, 4GFC, 8GFC designs all use 8b/10b encoding, while the 10GFC and 16GFC standard uses 64b/66b encoding. Unlike the 10GFC standards, 16GFC provides backward compatibility with 4GFC and 8GFC since it provides exactly twice the throughput of 8GFC or four times that of 4GFC.

Ports[edit]

Fibre Channel ports come in a variety of logical configurations. The most common types of ports are:

• N_Port (Node port) An N_Port is typically an HBA port that connects to a switch’s F_Port or another N_Port. Nx_Port communicating through a PN_Port that is not operating a Loop Port State Machine.^[12]
• F_Port (Fabric port) An F_Port is a switch port that is connected to an N_Port.^[13]
• E_Port (Expansion port) Switch port that attaches to another E_Port to create an Inter-Switch Link.^[13]

Fibre Channel Loop protocols create multiple types of Loop Ports:

• L_Port (Loop port) FC_Port that contains Arbitrated Loop functions associated with the Arbitrated Loop topology.^[13]
• FL_Port (Fabric Loop port) L_Port that is able to perform the function of an F_Port, attached via a link to one or more NL_Ports in an Arbitrated Loop topology.^[13]
• NL_Port (Node Loop port) PN_Port that is operating a Loop port state machine.^[13]

If a port can support loop and non-loop functionality, the port is known as:

• Fx_Port switch port capable of operating as an F_Port or FL_Port.^[12]
• Nx_Port end point for Fibre Channel frame communication, having a distinct address identifier and Name_Identifier,providing an independent set of FC-2V functions to higher levels, and having the ability to act as an Originator, a Responder, or both.^[12]

Ports have virtual components and physical components and are described as:

• PN_Port entity that includes a Link_Control_Facility and one or more Nx_Ports.^[13]
• VF_Port (Virtual F_Port) instance of the FC-2V sublevel that connects to one or more VN_Ports.^[13]
• VN_Port (Virtual N_Port) instance of the FC-2V sublevel. VN_Port is used when it is desired to emphasize support for multiple Nx_Ports on a single Multiplexer (e.g., via a single PN_Port).^[12]
• VE_Port (Virtual E_Port) instance of the FC-2V sublevel that connects to another VE_Port or to a B_Port to create an Inter-Switch Link.^[13]

The following types of ports are also used in Fibre Channel:

• A_Port (Adjacent port) combination of one PA_Port and one VA_Port operating together.^[13]
• B_Port (Bridge Port) Fabric inter-element port used to connect bridge devices with E_Ports on a Switch.^[12]
• D_Port (Diagnostic Port) A configured port used to perform diagnostic tests on a link with another D_Port.^[14]
• EX_Port A type of E_Port used to connect to an FC router fabric.^[14]
• G_Port (Generic Fabric port) Switch port that may function either as an E_Port, A_Port, or as an F_Port.^[13]
• GL_Port (Generic Fabric Loop port) Switch port that may function either as an E_Port, A_Port, or as an Fx_Port.^[13]
• PE_Port LCF within the Fabric that attaches to another PE_Port or to a B_Port through a link.^[12]
• PF_Port LCF within a Fabric that attaches to a PN_Port through a link.^[12]
• TE_Port (Trunking E_Port) A trunking expansion port that expands the functionality of E ports to support VSAN trunking, Transport quality of service (QoS) parameters, and Fibre Channel trace (fctrace) feature.^[15]
• U_Port (Universal port) A port waiting to become another port type^[14]
• VA_Port (Virtual A_Port) instance of the FC-2V sublevel of Fibre Channel that connects to another VA_Port.^[13]
• VEX_Port VEX_Ports are no different from EX_Ports, except underlying transport is IP rather than FC.^[14]

Media and modules[edit]

The Fibre Channel physical layer is based on serial connections that use fiber optics to copper between corresponding pluggable modules. The modules may have a single lane, dual lanes or quad lanes that correspond to the SFP, SFP-DD and QSFP form factors. Fibre Channel has not used 8 or 16 lane modules (like CFP8, QSFP-DD, or COBO) used in 400GbE and has no plans to use these expensive and complex modules.

The small form-factor pluggable transceiver (SFP) module and its enhanced version SFP+, SFP28 and SFP56 are common form factors for Fibre Channel ports. SFP modules support a variety of distances via multi-mode and single-mode optical fiber as shown in the table below. The SFP module uses duplex fiber cabling that has LC connectors.

The SFP-DD module is used for high density applications that need to double the throughput of an SFP Port. The SFP-DD is defined by the SFP-DD MSA and enables breakout to two SFP ports. As seen in the picture, two rows of electrical contacts enable the doubling of the throughput of the module in a similar fashion as the QSFP-DD.

The quad small form-factor pluggable (QSFP) module began being used for switch inter-connectivity and was later adopted for use in 4-lane implementations of Gen 6 Fibre Channel supporting 128GFC. The QSFP uses either the LC connector for 128GFC-CWDM4 or an MPO connector for 128GFC-SW4 or 128GFC-PSM4. The MPO cabling uses 8- or 12-fiber cabling infrastructure that connects to another 128GFC port or may be broken out into four duplex LC connections to 32GFC SFP+ ports. Fibre Channel switches use either SFP or QSFP modules.

Fiber type	Speed (MB/s)	Transmitter[16]	Medium variant	Distance
Single-mode Fiber (SMF)	12,800	1,310 nm longwave light	128GFC-PSM4	0.5m — 0.5 km
1,270, 1,290, 1,310 and 1,330 nm longwave light	128GFC-CWDM4	0.5 m – 2 km
6,400	1,310 nm longwave light	64GFC-LW	0.5m — 10 km
3,200	1,310 nm longwave light	3200-SM-LC-L	0.5 m — 10 km
1,600	1,310 nm longwave light[ITS 1]	1600-SM-LC-L[ITS 2]	0.5 m – 10 km
1,490 nm longwave light[ITS 1]	1600-SM-LZ-I[ITS 2]	0.5 m – 2 km
800	1,310 nm longwave light[ITS 3]	800-SM-LC-L[ITS 4]	2 m – 10 km
800-SM-LC-I[ITS 4]	2 m – 1.4 km
400	1,310 nm longwave light[ITS 3][ITS 5]	400-SM-LC-L[ITS 6]	2 m – 10 km
400-SM-LC-M[ITS 4]	2 m – 4 km
400-SM-LL-I[ITS 7]	2 m – 2 km
200	1,550 nm longwave light[ITS 8]	200-SM-LL-V[ITS 8]	2 m – 50 km
1,310 nm longwave light[ITS 5][ITS 3]	200-SM-LC-L[ITS 6]	2 m – 10 km
200-SM-LL-I[ITS 7]	2 m – 2 km
100	1,550 nm longwave light[ITS 8]	100-SM-LL-V[ITS 8]	2 m – 50 km
1,310 nm longwave light[ITS 9][ITS 3]	100-SM-LL-L[ITS 10] 100-SM-LC-L[ITS 6]	2 m – 10 km
100-SM-LL-I[ITS 10]	2 m – 2 km
Multi-mode Fiber (MMF)	12,800	850 nm shortwave light[ITS 11][ITS 12][ITS 13]	128GFC-SW4	0 – 100 m
6,400	64GFC-SW	0 — 100m
3,200	3200-SN	0 – 100 m
1,600	1600-M5F-SN-I[ITS 14]	0.5 m – 125 m
1600-M5E-SN-I[ITS 14]	0.5–100 m
1600-M5-SN-S[ITS 14]	0.5–35 m
1600-M6-SN-S[ITS 15]	0.5–15 m
800	800-M5F-SN-I[ITS 14]	0.5–190 m
800-M5E-SN-I[ITS 16]	0.5–150 m
800-M5-SN-S[ITS 16]	0.5–50 m
800-M6-SN-S[ITS 16]	0.5–21 m
400	400-M5F-SN-I[ITS 14]	0.5–400 m
400-M5E-SN-I[ITS 16]	0.5–380 m
400-M5-SN-I[ITS 17]	0.5–150 m
400-M6-SN-I[ITS 17]	0.5–70 m
200	200-M5E-SN-I[ITS 16]	0.5–500 m
200-M5-SN-I[ITS 17]	0.5–300 m
200-M6-SN-I[ITS 17]	0.5–150 m
100	100-M5E-SN-I[ITS 18]	0.5–860 m
100-M5-SN-I[ITS 19]	0.5–500 m
100-M6-SN-I[ITS 19]	0.5–300 m
100-M5-SL-I[ITS 19]	2–500 m
100-M6-SL-I[ITS 20]	2–175 m

Multi-mode fiber	Fiber diameter	FC media designation
OM1	62.5 µm	M6
OM2	50 µm	M5
OM3	50 µm	M5E
OM4	50 µm	M5F
OM5	50 µm	N/A

Modern Fibre Channel devices support SFP+ transceiver, mainly with LC (Lucent Connector) fiber connector. Older 1GFC devices used GBIC transceiver, mainly with SC (Subscriber Connector) fiber connector.

Storage area networks[edit]

The goal of Fibre Channel is to create a storage area network (SAN) to connect servers to storage.

The SAN is a dedicated network that enables multiple servers to access data from one or more storage devices. Enterprise storage uses the SAN to backup to secondary storage devices including disk arrays, tape libraries, and other backup while the storage is still accessible to the server. Servers may access storage from multiple storage devices over the network as well.

SANs are often designed with dual fabrics to increase fault tolerance. Two completely separate fabrics are operational and if the primary fabric fails, then the second fabric becomes the primary.

Switches[edit]

Fibre Channel switches can be divided into two classes. These classes are not part of the standard, and the classification of every switch is a marketing decision of the manufacturer:

• Directors offer a high port-count in a modular (slot-based) chassis with no single point of failure (high availability).
• Switches are typically smaller, fixed-configuration (sometimes semi-modular), less redundant devices.

A fabric consisting entirely of one vendors products is considered to be homogeneous. This is often referred to as operating in its «native mode» and allows the vendor to add proprietary features which may not be compliant with the Fibre Channel standard.

If multiple switch vendors are used within the same fabric it is heterogeneous, the switches may only achieve adjacency if all switches are placed into their interoperability modes. This is called the «open fabric» mode as each vendor’s switch may have to disable its proprietary features to comply with the Fibre Channel standard.

Some switch manufacturers offer a variety of interoperability modes above and beyond the «native» and «open fabric» states. These «native interoperability» modes allow switches to operate in the native mode of another vendor and still maintain some of the proprietary behaviors of both. However, running in native interoperability mode may still disable some proprietary features and can produce fabrics of questionable stability.

Host bus adapters[edit]

Fibre Channel HBAs, as well as CNAs, are available for all major open systems, computer architectures, and buses, including PCI and SBus. Some are OS dependent. Each HBA has a unique World Wide Name (WWN), which is similar to an Ethernet MAC address in that it uses an Organizationally Unique Identifier (OUI) assigned by the IEEE. However, WWNs are longer (8 bytes). There are two types of WWNs on an HBA; a World Wide Node Name (WWNN), which can be shared by some or all ports of a device, and a World Wide Port Name (WWPN), which is necessarily unique to each port.

See also[edit]

References[edit]

INCITS standards[edit]

Sources[edit]

• Clark, T. Designing Storage Area Networks, Addison-Wesley, 1999. ISBN 0-201-61584-3

Further reading[edit]

• RFC 2625 – IP and ARP over Fibre Channel
• RFC 2837 – Definitions of Managed Objects for the Fabric Element in Fibre Channel Standard
• RFC 3723 – Securing Block Storage Protocols over IP
• RFC 4044 – Fibre Channel Management MIB
• RFC 4625 – Fibre Channel Routing Information MIB
• RFC 4626 – MIB for Fibre Channel’s Fabric Shortest Path First (FSPF) Protocol

External links[edit]

• Fibre Channel Industry Association (FCIA)
• INCITS technical committee responsible for FC standards(T11)
• IBM SAN Survival Guide
• Introduction to Storage Area Networks
• Fibre Channel overview
• Fibre Channel tutorial (UNH-IOL)
• Storage Networking Industry Association (SNIA)
• Virtual fibre Channel in Hyper V
• FC Switch Configuration Tutorial

Для систем хранения на базе флеш-накопителей очень важно наличие возможности подключения к каналам Fibre Channel Gen6, поскольку ускорение доступа и устойчивое выполнение операций чтения-записи при применении этой технологии позволяет существенно улучшить производительность инфраструктуры хранения по сравнению с предыдущими поколениями Fibre Channel.

В этой статье рассказывается о текущем состоянии приложений и технологий хранения для ЦОД, таких как трансиверы и волоконно-оптические линии Fibre Channel, объясняется разница между Fibre Channel и конкурирующими технологиями, рассматриваются планы перспективного развития Fibre Channel (седьмое поколение и далее) в контексте будущих приложений для ЦОД, сходство и различие планов развития Fibre Channel и высокоскоростной технологии Ethernet, а также физической волоконно-оптической кабельной инфраструктуры, необходимой для поддержки обоих этих направлений.

ИСТОРИЧЕСКИЙ ЭКСКУРС

Стандарт Fibre Channel с пропускной способностью 1 Гбит/с был утвержден в 1997 году (рис. 1). Жизненный цикл технологии 1 GFC с момента ее появления на рынке в 1998 году и до устаревания в 2004-м протекал одновременно с разработкой и выводом на рынок стандарта 2 GFC, а также с первым этапом разработки 4 GFC. В 2005 году трансиверы, поддерживающие 2 GFC, поставлялись уже в промышленных объемах, а технология 4 GFC была утверждена в качестве стандарта и начала предлагаться на рынке. Этот цикл признания, устаревания и обновления повторяется на протяжении последних 20 лет.

Рис. 1. Развитие Fibre Channel с 1997 года

На практике довольно часто наблюдается мирное сосуществование различных технологий с разными скоростями передачи данных. При этом клиентское устройство и коммутатор могут поддерживать разные скорости (например, когда в коммутаторе установлены платы 16 GFC, а старый массив хранения обеспечивает поддержку только 4 GFC).

ЭВОЛЮЦИЯ ПРОПУСКНОЙ СПОСОБНОСТИ

Соединения Fibre Channel между серверами и системами хранения организуются с использованием высокоскоростного волоконно-оптического кабеля. Пропускная способность каналов растет в геометрической прогрессии со знаменателем 2: всякий раз скорость передачи Fibre Channel удваивается по сравнению с предыдущей. На рис. 2 представлен график роста пропускной способности прошлых и будущих версий Fibre Channel с указанием скоростей Fibre Channel и Ethernet, используемых (и рекомендуемых) для решений FCoE.

Рис. 2. Планы увеличения пропускной способности, разработанные Fibre Channel Industry Association, в графическом представлении

Порты Fibre Channel поддерживают трансиверы с различной дальностью и скоростью передачи данных. В соответствии с нормативными требованиями текущий стандарт трансиверов должен обеспечивать обратную совместимость с двумя предыдущими поколениями (например, трансиверы 8 GFC совместимы с 4 GFC и 2 GFC).

В настоящее время на рынке доминируют два типа трансиверов: малый формат SFP (с дуплексным коннектором LC) и Quad SFP (QSFP с 8/12-волоконным коннектором MPO). В тех конфигурациях, где коммутаторы располагаются рядом или серверы устанавливаются в непосредственной близости от пограничного коммутатора SAN, можно задействовать медные кабели прямого подключения (Direct Attach Cable, DAC), поддерживающие Fibre Channel (как правило, их длина не превышает 10 м).

Модули SFP, представленные сейчас в очень широком ассортименте, используются в большинстве трансиверов от 1 до 32 GFC. Изначально эти модули поддерживали пропускную способность до 5 Гбит/с или ниже, тогда как новые варианты разрабатывались для поддержки приложений 4 GFC и более поздних. Например:

• SFP+ для 8 GFC, 10 GFC, 10 Gigabit Ethernet (10GbE) и 16 GFC;
• SFP28 для 32 GFC (и 25 GbE).

По предварительной информации, модули SFP28 будут поддерживать и более высокие скорости (50 и 64 GFC), но это еще требует подтверждения. Спецификации новых поколений модулей SFP предусматривают более высокую целостность сигнала по сравнению с предыдущими, чтобы обеспечить соответствие растущим требованиям к пропускной способности.

Модули QSFP впервые начали применяться в InfiniBand и высокоскоростных конфигурациях Ethernet (40 GbE). У них имеется четыре параллельных оптических или электрических канала, обеспечивающих высокоскоростную передачу 100 GbE (4 × 25 Гбит/с) и 128 GFC (4 × 32 Гбит/с).

Изначально модули QSFP поддерживали скорость передачи до 4 × 5 Гбит/с, а новые варианты разрабатывались для приложений Fibre Channel, превышающих 16 GFC. Модули QSFP используются во многих трансиверах в конфигурациях от 40 GbE до 128 GFC. Подобно дуплексным модулям SFP с последовательной передачей данных на скорости до 32 Гбит/с, новые поколения QSFP, QSFP+ и QSFP28 отвечают повышенным требованиям к скорости передачи данных:

• QSFP+ для 128 GFC (в том числе для высокоплотных конфигураций 4 × 32 GFC);
• QSFP28 для перспективных решений Ethernet / Fibre Channel (с целевыми скоростями 200 GbE и 256 GFC).

БУДУЩЕЕ ТЕХНОЛОГИЙ FIBRE CHANNEL

Для сокращения затрат там, где это возможно, при построении каналов SAN Fibre Channel в ЦОД используют коротковолновые трансиверы в сочетании с многомодовым волоконно-оптическим кабелем (Multimode Fiber, MMF). Одномодовый кабель (Singlemode Fiber, SMF) и трансиверы (как правило, такая комбинация обходится дороже) применяются для соединения коммутаторов (Interswitch Link, ISL) в разных помещениях/зданиях ЦОД.

В табл. 1 приведены данные о существующих и перспективных решениях Fibre Channel с разной пропускной способностью. Для организации соединения 32 GFC протяженностью 100 м нужен кабель MMF второго поколения, оптимизированный для лазерной передачи (OM4).

Таблица 1. Спецификации Fibre Channel

На более длинных дистанциях используются длинноволновые трансиверы и одномодовый кабель. Трансивер SMF, соответствующий спецификациям Fibre Channel Physical Interface, обеспечивает передачу данных на расстояние до 10 км, а более дешевые варианты — до 2 км.

Для поддержки 128 GFC в трансиверах 128 GFC-PSM4 будет применяться та же технология, что и в недорогих параллельных 4-канальных одномодовых трансиверах (PSM4) с дальностью действия 500 м для Ethernet со скоростью 100 Гбит/с. Аналогичным образом, технология CWDM4, используемая при построении каналов Ethernet протяженностью 2 км с пропускной способностью 100 Гбит/с, будет задействована в решениях 128 GFC. Ожидается, что для обеспечения ISL-соединения между модулями 128 G QSFP28 и 32 G SFP28 производители коммутаторов станут применять технологию PSM4.

КАБЕЛЬНАЯ ИНФРАСТРУКТУРА FIBRE CHANNEL

В соответствии со стандартами IEC и TIA под линией (link) понимается постоянная волоконно-оптическая кабельная инфраструктура, к которой подключается активное оборудование. К линии не относятся соединительные шнуры, используемые для подключения активных сетевых устройств в распределительных зонах, и кроссировочные шнуры.

Тестирование линий в стандартах ISO/IEC и TIA представляет собой проверку характеристик фиксированных (постоянных) сегментов проложенного кабеля. Успешное прохождение тестирования гарантирует соответствие линий требованиям стандартов и их устойчивое функционирование при использовании качественных коммутационных шнуров.

Стандарт Fibre Channel ANSI T11 определяет требования к каналам, образующим SAN. Каждый из уровней Fibre Channel Physical Media Dependent (PMD) обладает различными характеристиками в зависимости от вида кабельной проводки. Для проектирования гибкой и надежной кабельной системы предусматривается набор «регулировок», манипулируя которыми можно добиться стабильного функционирования каналов SAN.

В бюджет мощности линий для приложений Ethernet и Fibre Channel не включаются потери при прохождении сигнала через соединители, которые подключают к оборудованию на обоих концах тракта. Они учитываются в бюджете мощности линии как разница между минимальной мощностью передатчика и минимальной чувствительностью приемника. Число соединителей в канале равно общему количеству сопряженных пар. Соединители, подключаемые к оптическим трансиверам, сопряженными парами не считаются.

ОПТИЧЕСКИЙ БЮДЖЕТ ДЛЯ ПРИЛОЖЕНИЙ

Общий бюджет мощности оптической линии определяется стандартом приложений (например, Ethernet) и зависит от потерь мощности и общей протяженности канала. Как правило, большая часть оптических потерь невелика и не превышает 0,3 дБ. При этом к двум наиболее существенным факторам, ограничивающим протяженность канала, относятся межсимвольная интерференция (Inter-Symbol Interference, ISI), которая зависит от ширины полосы пропускания оптического волокна, и потери, вносимые соединителями (Connector Insertion Loss, IL). Их влияние во многом зависит от качества проектирования и методов, используемых при построении и тестировании канала.

Два источника потерь — IL (потери в сопряженных разъемах) и затухание (ослабление лазерного сигнала внутри оптического волокна). IL — это критически важный параметр, определяющий характеристики канала. Потери в линии зависят от количества соединений оптического волокна и индивидуальных потерь в сопряженных парах разъемов. Общие потери в линии вычисляются как сумма потерь в соединениях и затухания, которое зависит от длины волокна.

Зачастую затухание сигнала в волокне и потери мощности, возникающие вследствие межсимвольной интерференции, можно варьировать для компенсации потерь в соединениях, но при расчетах все равно следует проявлять осторожность и находить компромиссный вариант.

В качестве примера рассмотрим соединение 16 GFC OM4 (M5F в Fibre Channel) протяженностью 50 м. Это треть от максимально допустимой спецификациями дальности в 150 метров (табл. 2). У такой линии параметр ISI оказывается значительно меньше, чем у линии протяженнос-тью 150 м. Таким образом, общие потери в соединениях могут быть больше — до 2,4 дБ. Или же потери ISI можно сократить за счет использования волокна OM4 с более широкой полосой пропускания.

Таблица 2. Зависимость протяженности канала и бюджета его мощности от потерь в соединениях (расстояние, м / бюджет потерь, дБ)

СТРУКТУРИРОВАННАЯ КАБЕЛЬНАЯ МОДЕЛЬ ДЛЯ FIBRE CHANNEL

Структурированная кабельная система позволяет с минимальными рисками осуществлять перемещения, добавления и изменения (Moves, Adds And Changes, MAC), а также эффективно управлять соединениями между ISL, серверами и системами хранения. Ее применение создает условия для управления изменениями в ЦОД с обеспечением дальнейшего развития и перехода на новые технологии. Выбирая такую кабельную модель, можно развертывать коммутаторы высокой плотности, не жертвуя управляемостью.

С появлением каждого очередного поколения оборудования Fibre Channel и увеличением скорости передачи данных резервы мощности неуклонно снижаются. Важно также, чтобы в средах высокой плотности обеспечивалась возможность подключения «каждого к каждому». Это может потенциально привести к превышению доступного бюджета мощности, поскольку в таких каналах появляется все больше соединений.

Цель структурированной кабельной модели заключается в том, чтобы все порты в схеме перекрестных соединений «каждого с каждым» служили логическим представлением портов коммутаторов, серверов и средств хранения в ЦОД. Такой кросс называется главной распределительной областью (Main Distribution Area, MDA) в стандарте TIA 942 и центральной коммутационной зоной в спецификациях Fiber Transport Systems (FTS) компании IBM. Перекрестные соединения между конечными точками выполняются с помощью соединительных кабелей между коммутационными панелями в MDA. При использовании такого подхода работа активного оборудования может быть нарушена только в результате аварии или технологических изменений.

Структурированная кабельная система базируется на стандартах, что гарантирует управляемость и масштабируемость перемещений, добавлений и изменений (с использованием TIA 606) для поддержки будущих технологий Fibre Channel.

На рис. 3 показано подключение соединителей многоволоконных магистральных кабелей (Multi-Fiber Push On, MPO) к кассетным модулям MPO/LC. Магистральные кабели с разъемами MPO содержат кратное 12 число волокон и могут прокладываться между коммутационными панелями/шкафами в ЦОД на большие расстояния.

Рис. 3. Модель кросс-коммутации

Такие магистральные кабели подключаются к указанным выше модулям или к другим кабелям с разъемами MPO через панели для сопряжения MPO. В статической среде, где не требуется коммутация, в качестве варианта могут использоваться кабельные разветвители с коннекторами LC для подключения к магистральному кабелю с разъемами MPO через панель для сопряжения MPO.

Кассетные модули MPO/LC высокой плотности в коммутационных панелях/корпусах имеют до 72 портов LC или MPO на 1 RU (rack unit). На рис. 4 приведено описание готовых к использованию оптических элементов, упрощающих реализацию структурированной кабельной модели.

Рис. 4. Готовые к использованию волоконно-оптические элементы, упрощающие реализацию структурированной кабельной модели

Разветвители MPO-LC позволяют подключить трансиверы SFP+ в коммутаторе высокой плотности SAN Director (с разъемами LC) к волоконно-оптической магистрали, оснащенной коннекторами MPO.

Модульные кассеты и панели оптических адаптеров MPO поддерживают магистральные кабели с коннекторами MPO. Магистральный кабель заводится в заднюю часть такого компонента, а к его фронтальной части подключаются коммутационные шнуры LC или MPO. Модульная архитектура plug-and-play минимизирует общую стоимость инсталляции и обеспечивает максимальную масштабируемость.

Модульные кассетные распределительные системы поддерживают 72 порта LC (с двухволоконным дуплексом). Стойка/шкаф с такой системой может вмещать до 3024 портов LC. При построении решений столь высокой плотности необходимо обеспечить управляемость и минимизировать риск повреждения смежных (потенциально активных) цепей в областях активной коммутации путем выбора специально предназначенных для этого распределительных систем.

ТИПИЧНЫЕ КАБЕЛЬНЫЕ СИСТЕМЫ SAN В ЦОД

Каналы можно сгруппировать на верхнем уровне по количеству пар сопряженных разъемов. Соединения обычно осуществляются в коммутационных панелях или шкафах, которые могут иметь разное предназначение (консолидация, отображение портов, кроссировка), а панели бывают либо статическими (в точке консолидации кабеля под полом с небольшим числом MAC), либо динамическими (в кроссах, обеспечивающих выполнение операций MAC «каждый с каждым»). Чаще всего соединения Fibre Channel развертываются одним из трех способов:

1. точка-точка: прямое соединение между портами Fibre Channel с помощью волоконно-оптического кабеля без разъемных соединений в канале;
2. межсоединение: один постоянный кабельный сегмент, терминированный на каждом из концов на коммутационной панели, к которой с помощью соединительного кабеля подключаются трансиверы оборудования;
3. кроссировка: два сегмента постоянного кабеля (коммутационные панели на концах каждого), между которыми осуществляется кроссировка на центральном узле, и соединительные кабели для подключения трансиверов оборудования (см. рис. 3).

В структурированных кабельных системах используются оптические распределительные системы (коммутационные поля высокой плотности), с помощью которых соединяется постоянная инфраструктура (магистрали MPO), связывающая различные области размещения оборудования (Equipment Distribution Area, EDA) в ЦОД. Применение претерминированных систем MPO (в отличие от монтируемых на месте) при использовании кроссов позволяет быстро создать такую инфраструктуру, где порты устройства можно подключать к любому другому порту.

В условиях увеличения плотности сетевого оборудования порты SAN начинают исчисляться тысячами, и управление подключенными кабелями превращается в сложную задачу. Исторически подключение кабелей непосредственно к отдельным портам оборудования считалось приемлемым лишь в системах небольшого масштаба (при соединении точка-точка или межсоединении). Применение того же подхода к оборудованию с большим количеством портов резко повышает вероятность ошибок при выполнении операций MAC.

Fibre Channel может поддерживать различные кабельные конфигурации, но для устанавливаемых трансиверов нужно знать бюджет мощности, особенно если каналы отличаются от базовых каналов стандарта Fibre Channel-PI (две пары сопряженных оптических разъемов с затуханием 0,75 дБ на каждую).

В крупных ЦОД используют каналы с четырьмя кассетными модулями и магистральными кабелями MPO, которые связывают различные области размещения оборудования с MDA.

На рис. 3 показан канал с четырьмя кассетными модулями, в котором используются магистральные кабели, проложенные с каждой стороны кросса/MDA. Каждый магистральный кабель подключается к модульной оптической кассете, образуя канал, объединяющий четыре такие кассеты (общая величина вносимых потерь складывается из потерь, возникающих в этих соединениях).

Коммутационный шнур LC–LC в MDA соединяет отображаемые порты с внутренней стороны смежных магистральных кабелей. Шнуры LC–LC с каждой стороны линии подключаются к трансиверам в оборудовании. В таком сценарии используются два магистральных кабеля, два соединительных шнура LC–LC в EDA, один коммутационный шнур MDA LC–LC и четыре кассетных модуля LC. В альтернативной конфигурации один кассетный модуль LC заменяется (обычно это делается со стороны SAN Director высокой плотности) разветвителем MPO-LC и коммутационной панелью MPO. В такой конфигурации минимизированы потери IL в соединениях, поскольку одна пара сопряженных разъемов LC–LC исключается из канала (отсутствует коммутация LC в EDA SAN Director).

Канал с четырьмя кассетными модулями начинается на порту SFP+ устройства хранения (в нижнем левом углу рис. 3). Соединительный шнур LC–LC связывает устройство хранения с первой кассетой, которая, в свою очередь, подключается к магистрали MPO. Эту магистраль подключают к левой кассете в MDA, коммутационный шнур LC–LC связывает ее с противоположной кассетой, а в конечном итоге и с магистралью в правой части. Наконец, последняя подсоединяется к кассете в области коммутации, а правый соединительный шнур LC–LC — к порту SFP+ на коммутаторе.

Это пример типичного развертывания структурированной кабельной инфраструктуры с кроссом MDA.

ВЫБОР СОЕДИНЕНИЙ FIBRE CHANNEL

В предыдущем примере был показан способ построения канала с помощью кассет LC-MPO и магистральных кабелей MPO, но в общем случае для реализации структурированной кабельной модели можно использовать много различных компонентов. Магистральные кабели с разъемами LC, которые подключаются к задней части панели, оснащенной адаптерами LC и размещаемой в оптическом распределительном шкафу, позволяют обойтись без кассетных модулей и тем самым уменьшить общие потери IL в соединениях (четыре сопряженные пары разъемов MPO в этом случае исключаются). Проектные решения Fibre Channel допускают использование различных кабельных компонентов и архитектур в зависимос-ти от конкретных потребностей заказчиков.

Число соединений в канале ограничено. У продемонстрированной нами модели с четырьмя кассетными модулями потери IL будут высокими, и для соблюдения требований стандарта Fibre Channel-PI их необходимо уменьшить. В базовой модели стандарта Fibre Channel с двумя соединениями общее затухание IL не должно превышать 1,5 дБ (две сопряженные пары разъемов по 0,75 дБ в каждой), что достигается несколькими путями.

Первый и самый простой предусматривает использование модулей с низкими потерями, благодаря чему суммарное затухание IL в соединениях для конфигурации с четырьмя кассетами оказывается меньше 1,5 дБ (максимум по 0,375 дБ на каждую). Второй способ требует знания канальной модели и выбора компромиссных вариантов. Потери в соединениях могут и превышать 1,5 дБ за счет уменьшения затухания в волокне и снижения влияния ISI.

Очень важно уже на ранней стадии привлечь к проектированию специалистов по структурированным кабельным системам, что позволит лучше понять, какие ограничения присущи разрабатываемой модели соединений Fibre Channel.

ЗАКЛЮЧЕНИЕ

Решения Fibre Channel предусматривают использование доступных по цене трансиверов MMF и SFM для реализации высокоскоростных портов SAN как в небольших серверных, так и в гипермасштабируемых центрах обработки данных. В большинстве каналов Fibre Channel используются MMF с кроссами и центральными коммутационными узлами, расположенными в непосредственной близости от больших коммутаторов Fibre Channel директорского класса. В крупных системах с коммутаторами высокой плотности лучшим решением считается отображение портов коммутатора в кроссах.

Для реализации в кроссах гибкой связи «каждого с каждым» в канале используются несколько соединительных переходов. В представленном здесь сценарии с четырьмя кассетами потери IL в соединениях нивелируются за счет выбора волокна требуемой длины, что позволяет получить необходимый запас мощности.

При построении протяженных каналов внутри зданий или между ними используются длинноволновые трансиверы и одномодовые волокна. В общем случае применение решений SMF (для вариантов протяженностью 10 км) помогает увеличить доступный бюджет мощности, что дает возможность устанавливать кабельные системы с более высокими общими потерями.

Перспективные планы развития Fibre Channel предусматривают поддержку клиентских приложений SAN с дальнейшим ростом пропускной способности в геометрической прогрессии со знаменателем 2. Шестое поколение Fibre Channel обеспечивает передачу данных на скорости 128 Гбит/с по четырем передающим и четырем приемным линиям с пропускной способностью 32 Гбит/с каждая (с использованием параллельных оптических кабелей MPO).

Несмотря на отсутствие явного указания в стандарте Fibre Channel-PI-6P, разветвительные решения с пропускной способностью 32 Гбит/с уже поддерживаются поставщиками коммутационного оборудования Fibre Channel. Недорогие модули на базе SWDM (OM5 MMF), а также PSM4 и CWDM4 (SMF) будут разработаны также для 128 GFC и перспективных технологий Fibre Channel с пропускной способностью 256 Гбит/с и выше.

Виктор Александер, независимый эксперт по СКС

What Does Fiber Connection Mean?

A fiber connection (FICON) is a fiber optic channel technology that increases capacity and lowers the cost of enterprise system connection (ESCON). FICON is a proprietary IBM fiber channel (FC), layer-4 protocol with a channel to control unit cabling infrastructure.

FICON is often used with IBM 64-bit mainframe z/Architecture and Geographically Dispersed Parallel Sysplex (GDPS), as well as a number of mainframes supporting fiber channel protocol (FCP) via a small computer system interface (SCSI) command set over fiber channel.

Techopedia Explains Fiber Connection

FICON increases input/output (I/O) aptitudes through faster physical link rates and innovative architecture – making it eight times faster ESCON. FICON also supports older technology like ESCON and parallel topology.

FICON’s features include:

• FC switches or directors
• Only one required channel address
• Network layout flexibility with larger distances
• Supports ESCON control units with a bridge feature
• Compatible with S/390 G5 server installed channels
• Supports 100 Mbps bidirectional transmissions up to 12 miles
• Multiplexing support of small bits of data with large data transfers.
• Full-duplex data transmission )FDDT) with simultaneous data reading/writing over a single link
• American National Standards Institute (ANSI) standard FC physical and signaling interface (FC-PH) for cabling, signal and transmission speed