2006 г.

Интеграция IP и Fibre Channel

Александр Горловой, "Экспресс-Электроника"

В настоящее время большая часть корпоративных данных передается по сетям с использованием протокола IP, а доступ к системам хранения осуществляется при помощи сетей хранения или путем непосредственных подключений по SCSI. И чтобы совместить блоковое хранение данных с корпоративным IP-трафиком, системные администраторы вынуждены поддерживать работу разнородных сетей. Добавляемая к цене традиционных сетей LAN и WAN стоимость оборудования для SAN и персонала для их обслуживания подвигла разработчиков на создание решений, интегрирующих IP и SAN.

Примерно с 1980-х годов главным протоколом для перемещения данных на блочном уровне между серверами был SCSI. Несмотря на ограничения по длине соединительных кабелей и количеству обслуживаемых устройств, SCSI получил широкое распространение. (Согласно данным Gartner Dataquest, сегодня в мире при помощи SCSI подключено примерно 100 млн устройств хранения данных — диски, ленты и прочее оборудование) Особенность SCSI заключается и в том, что каждый сервер является эксклюзивным собственником устройств, подключенных к нему. В этом случае совместное использование одного устройства несколькими серверами невозможно, а поломка сервера приведет к потере доступа к данным.

Избавиться от присущего SCSI ограничения по масштабируемости и увеличить расстояние между подключаемыми устройствами хранения до 10 км, избежав при этом ограничений по количеству подключаемых устройств, удалось за счет создания коммутируемой сетевой инфраструктуры, получившей название Fibre Channel. Высокая производительность этого решения явилась следствием ее аппаратной реализации. Благодаря высокой пропускной способности, возможности обслуживания большого количества устройств и поддержке блоковых протоколов хранения, Fibre Channel стал основой построения сетей хранения данных. Однако и этот протокол имеет свои ограничения. Преодолеть их сегодня позволяет только сетевое хранение на базе IP.

В частности, Internet Fibre Channel Protocol (iFCP) — протокол, позволяющий вводить устройства и структуры FC в сетевые среды IP. В этом случае каждое FC-устройство мапируется в уникальный IP-адрес, что позволяет избежать маршрутизации выдаваемых Fibre Channel данных. Также протокол iFCP способствует организации межсоединения FC-сетей и помогает локализовать возможные ошибки в работе сетей хранения.

До того момента, пока не был предложен стандарт для инкапсуляции протокола SCSI в TCP/IP, возможности блокового доступа к данным через сеть IP не было. При помощи iSCSI можно обмениваться стандартными командами SCSI между хост-системами и устройствами хранения через сеть TCP/IP. При этом важно, что iSCSI-команды, которыми обмениваются устройства через сеть, являются стандартными командами SCSI, а для передачи трафика данных вместо кабелей SCSI или сети Fibre Channel используется сетевая инфраструктура IP. Иными словами, использование сети IP предоставляет возможность передавать данные посредством имеющейся сетевой инфраструктуры любого масштаба.

Появившиеся NAS-устройства позволяли подключать масштабируемые файловые системы хранения непосредственно к существующей локальной сети на базе IP/Ethernet. Для NAS-устройств характерна простота инсталляции и обслуживания. Они поддерживают локальные файловые системы (например NTFS, UFS), к которым при помощи протоколов преобразования можно организовать совместный доступ от разных серверов в сети. Файловая система осуществляет доступ к данным на дисках, которые по отношению к NAS могут быть внутренними или внешними и подключаться через SCSI или Fibre Channel (FC). Эти устройства более удобны на уровне файлового доступа, чем системы с уровнем блокового доступа, и оптимальны с точки зрения применения в гетерогенных средах (NT, Unix, Solaris).

Устройства для сетевого хранения на базе IP

В настоящее время на рынке существует целый ряд продуктов для организации сетей IP SAN.

IP Storage Switch — коммутатор для IP-сети хранения. Выполняет функции коммутации как для устройств iSCSI, так и для устройств FC. Имея порты iSCSI и FC, IP Storage Switch может производить коммутацию IP/Gigabit Ethernet, коммутацию FC, а также преобразование протоколов iSCSI в FC и FC в iFCP. Такая мультипротокольная функциональность позволяет объединять в одну IP-сеть хранения и устройства iSCSI, и FC.

iSCSI Initiators — инициаторы iSCSI. Это серверы, требующие передачи данных на блочном уровне, они инкапсулируют команды SCSI в TCP/IP, маршрутизируемые в IP-сети. Хосты обмениваются данными на блочном уровне с устройствами назначения iSCSI и при помощи IP-коммутаторов с устройствами назначения FC.

iSCSI Targets — устройства назначения iSCSI. Это устройства хранения данных (ленты, диски, RAID-системы), которые получают команды iSCSI и осуществляют обмен данными в IP-сети и/или посредством межсетевого коммутационного оборудования (маршрутизаторы, коммутаторы сетей хранения).

Адаптеры iSCSI и сетевые интерфейсные карты (NIC) представляют собой карты Gigabit Ethernet с аппаратной поддержкой протоколов iSCSI и TCP/IP. С точки зрения взаимодействия между хост-системой и сетью хранения данных адаптеры iSCSI выполняют те же функции, что и контроллеры Fibre Channel. К обычным сетевым картам Ethernet 10/100 или Gigabit Ethernet тоже можно добавить программный драйвер iSCSI, но на центральный процессор в таком случае ляжет двойная нагрузка: связанная с обслуживанием стека TCP и с протоколом iSCSI. Для уменьшения этой нагрузки и с целью оптимизации производительности системы рекомендуется использовать специализированные контроллеры iSCSI.

Достоинства интегрированных (Fibre Channel-IP) сетей хранения

В приведенных на схемах примерах сетей хранения данных применена общая сетевая IP-технология для iSCSI- и FC-устройств. Она обуславливает перечисленные ниже возможности и преимущества.

• Универсальный доступ к накопителям по всей сети IP, независимо от типа подключения конкретного устройства (FC, iSCSI).
• Доступ к существующим сетям хранения на базе FC и возможность миграции к среде IP.
• Использование высокопроизводительных и стабильных систем FC.
• Расширение возможностей доступа iSCSI-серверов к high-end системам/сетям хранения.
• Объединение iSCSI-, FC-сетей хранения, NAS-ресурсов в пул при помощи IP-сети в рамках долгосрочной стратегии хранения данных.
• Хорошая управляемость, доступность.
• Ядро коммутирующей среды на базе IP.
• Локальное и удаленное резервное копирование по сети IP.
• Виртуализация хранения в общих пулах гетерогенных ресурсов хранения данных.
• Копирование "точка-точка".

Общая IP-сеть или общая IP-технология?

Одним из существенных недостатков, якобы сдерживающих развитие технологии IP SAN, является совмещение трафиков хранения данных и сообщений в одной IP-сети. Считается, что такая реализация способствует возникновению "узких мест" в сети. Поэтому более практичным будет разделение сетевой IP-инфраструктуры таким образом, чтобы трафик данных и трафик систем хранения обслуживали разные сегменты. Сегментация дает пользователям защиту инвестиций и позволяет добиться максимальной эффективности передачи обоих типов трафика в общей сетевой инфраструктуре. Например, известные стандартные технологии типа виртуальных сетей (VLAN) используют то же самое сетевое оборудование, но сеть Ethernet при этом разделена на несколько областей.

Наличие общей сетевой технологии говорит о том, что независимо от типа развертываемой сети — SAN, LAN, MAN, WAN — в основе все равно будет одна и та же инфраструктура, позволяющая осуществлять единое управление и поддержку работы сетевого оборудования.

Примеры конфигурации

Приведем примеры смешанных сред хранения iSCSI и Fibre Channel на базе IP. На схеме 1 показано объединение больших SAN на базе IP и на базе FC, а также других IP- и NAS-устройств при помощи одной IP-сети.

Схема 1. Сеть SAN первичного дата-центра и удаленные подключения

Второй сценарий (схема 2) - сеть хранения данных в удаленном центре данных - показывает, что возможно раннее развертывание iSCSI, когда более дешевые iSCSI будут сосуществовать с системами Fibre Channel, при этом обе среды потребуют интеграции в IP.

Схема 2. Удаленный дата-центр. Мультипротокольная сеть IP-SAN

Конфигурация первичного дата-центра показывает, как независимые сети хранения данных — iSCSI, FC, NAS — могут быть интегрированы в общую сетевую IP-платформу внутри корпоративной сети хранения информации. (В целях упрощения схемы на рисунке изображен один IP-коммутатор). Для большей доступности ресурсов хранения можно воспользоваться дополнительным (дублирующим) коммутатором для соединения iSCSI и FC. Один коммутатор сети хранения осуществляет доступ к сетям WAN, например для организации удаленного зеркала в удаленном центре данных. Другие географически удаленные приложения могут включать в себя консолидацию систем хранения с сетями SAN отдельных департаментов в сети IP MAN. Использование iFCP для связи сетей FC, находящихся на большом расстоянии друг от друга, с одной стороны, предоставляет связь между ними, а с другой — сохраняет автономность каждой сети.

Перечислим ключевые особенности SAN первичного дата-центра.

• В качестве высокопроизводительного ресурса хранения дата-центра можно использовать SAN на базе Fibre Channel (контроллеры, коммутаторы, диски).
• IP-коммутаторы предоставляют высокоскоростные межсоединения для iSCSI- и FC-сетей SAN, IP-серверов, NAS-устройств. Это делает возможным использование единой IP технологии.
• Создается сеть iSCSI SAN за счет подключения серверов iSCSI и устройств хранения.
• NAS-устройства подключаются к IP-коммутаторам с целью расширения возможностей систем хранения данных.

Приложения включают в себя объединение в пул всех ресурсов хранения блокового уровня, резервное копирование подключенных по iSCSI и Fibre Channel устройств, расширение IP SAN, зеркалирование, восстановление после сбоев/катастроф.

Особенности SAN удаленного дата-центра заключаются в следующем.

• Ядро коммутационной среды формируют IP-коммутаторы, фокус смещен в сторону IP-сети. Таким образом, сеть SAN удаленного дата-центра интегрируется в расширенную сеть при помощи IP WAN.
• В качестве интерфейсов серверов и систем хранения можно использовать как iSCSI, так и Fibre Channel.
• Использование существующих систем хранения FC способствует стабильности, интероперабельности работы оборудования, а также предоставляет довольно широкий выбор устройств.
• Смещение фокуса в сторону IP-сети позволяет упростить процесс интеграции, а при желании и миграции на сети хранения iSCSI.
• Связь с первичным дата-центром может быть выделенной или коллективной IP-сетью.

Одним из примеров сети SAN департамента (схема 3) может служить группа устройств, интенсивно работающих с хранилищами данных и требующих наличия гибкой инфраструктуры. SAN уровня департамента осуществляют доступ к данным по iSCSI на блоковом уровне и интегрируются в сеть хранения первичного дата-центра при помощи сети IP. Этот сценарий представляет собой пример недорогого развертывания сети, где ресурсы iSCSI поглощаются развивающейся обычной IP-сетью. Возможности сети включают в себя локальное резервное копирование, копирование "точка-точка", доступ к ресурсам хранения при помощи IP-протокола.

Схема 3. Подключение сетей департаментов

Ключевые особенности SAN уровня департамента:

• Сеть IP SAN подключается к первичному дата-центру посредством IP MAN. Доступ к устройствам хранения на базе IP, Fibre Channel и iSCSI осуществляется при помощи IP-коммутаторов.
• Серверы iSCSI и устройства хранения подключены к сетям IP при помощи интерфейсных карт iSCSI (NIC) или высокопроизводительных контроллеров (HBA) iSCSI.
• Сетевые межсоединения выполнены при помощи IP-коммутаторов.

Выводы

Как видно, интеграция смешанных (IP и Fibre Channel) сетевых ресурсов хранения в мультипротокольные сети SAN позволяет получить гибкую среду, способствующую более эффективному использованию ресурсов хранения. Протокол iSCSI и продукты на его основе обеспечили универсальный доступ к ресурсам хранения блокового уровня. При помощи развертывания iSCSI внутри существующей сети IP, а также сетей FC SAN, можно объединять в пул и управлять системами хранения как единым ресурсом, которым пользуется большое количество локальных и удаленных приложений.