Сетевая инфраструктура: анализ, объекты и проектирование

Сетевая инфраструктура ЦОД – современный транспорт информационных потоков

В эпоху распределенных вычислительных систем и стремительно растущей популярности гибридных облачно-локальных конфигураций ЦОД скорость предоставления современных ИТ-сервисов определяется не только особенностями вычислительной инфраструктуры, но «видами транспорта», по которым данные перемещаются между точками их хранения и обработки.

В недалеком прошлом сеть центра обработки данных представляла собой быструю и масштабируемую локальную сетью, которая соединяет все оборудование ЦОД, главным образом, серверы. Однако разговоры о скоростях Ethernet в последнее время стали частным, отнюдь не самым дискуссионным вопросом. Традиционная централизованная модель ЦОД, предполагающая, что все данные, сервисы и приложения сосредоточены на одной площадке, которая обеспечивает гарантированные уровни доступности и безопасности данных, осталась, пожалуй, только у небольших организаций. В целом же на смену конструкции на базе единого централизованного ЦОД приходит концепция сети ЦОДов.

В эту новую концепцию укладываются как территориально-распределенные структуры основного и резервного ЦОДа, соединенные высокоскоростными каналами связи в единый вычислительный комплекс, так и иерархические комплексы региональных и периферийных ЦОД, а также гибридные конструкции, объединяющие локальные и облачные площадки хранения и обработки данных. Ориентируясь на эти тенденции в настроениях владельцев ЦОДов, отмечают аналитики Gartner в своем исследовании Magic Quadrant for Data Center and Cloud Networking 2020, начали расширять функционал видимости сети, сетевых политик, а также возможности управления сетью для поддержки рабочих нагрузок, расположенных в общедоступных облаках.

В исследовании отмечается знаковая тенденция: к 2023 году 10% предприятий полностью интегрируют сетевую деятельность центров обработки данных в «трубопроводы» непрерывной интеграции CI/CD (Continuous Integration/Continuous Delivery). В начале 2020 г. эта активность находилась практически на нулевом уровне.

Происходящие изменения должны в ближайшие годы существенно изменить сетевую инфраструктуру корпоративных ЦОДов. Однако эти изменения будут происходить на фоне значимой тенденции, которая уже набирает силу во все мире, — переход к принципам программной определяемости в сетевой инфраструктуре.

Пространственная протяженность сетей

Часто сети различаются по пространственной протяженности. Так обычно называют LAN (Local Area Network) — это локальная сеть, которая включает в себя множество компьютеров и периферийных устройств внутри здания. Однако на практике бывает, что такая сеть может принимать довольно большое количество пользователей. Независимо от ее размера, сеть всегда будет называться локальной сетью, даже если она является общедоступной и частной. С другой стороны, если сеть охватывает сравнительно большую географическую область, она называется глобальной сетью (WAN).

Чтобы обеспечить постоянную доступность сетевой инфраструктуры, источник бесперебойного питания (ИБП) может использоваться для обеспечения подачи критических электрических нагрузок при сбое питания. С технической точки зрения локальная сеть может быть построена совершенно по-разному. В классическом контексте кабели в настоящее время являются структурированными кабелями.

Наиболее широко используется стандартное решение Ethernet. В то же время передача предпочтительно выполняется электрически через соответствующие кабели с витой парой (кабель CAT 5 или выше), но он также может быть выполнен оптически через волоконно-оптический кабель и кабель из волокна (полимерные оптические волокна, POF).

В настоящее время Ethernet достигает скорость передачи данных 100 Гбит/с, что соответствует общей пропускной способности данных не более 12,5 ГБ/с, стандарты для 200 Гбит/с и 400 Гбит/с . В зависимости от расстояния до моста и требуемой скорости соединения Ethernet могут быть установлены с помощью медных кабелей (витая пара категории 3 с витой парой категории 8) или с помощью оптических соединительных линий.

Интернет-провайдеры

Интернет-провайдеры концептуально организованы в три уровня или яруса. Провайдеры третьего уровня представляют собой небольшие региональные компании, которые продают подключение к интернету конечным пользователям. Обычно они не владеют оборудованием, необходимым для передачи данных, и покупают подключение у интернет-провайдеров второго уровня. Эти интернет-провайдеры крупнее, они владеют кабелями и другим сетевым оборудованием. Например, Comcast в США или Vodafone в Европе входят в число крупнейших интернет-провайдеров в мире. Обычно эти компании сотрудничают, чтобы перемещать данные. Этот процесс называется пирингом.

Однако интернет-провайдеры второго уровня не охватывают весь земной шар, поэтому они покупают услуги (транзит) у интернет-провайдеров первого уровня, которые владеют межконтинентальными кабелями (AT&T, Deutsche Telekom Global Carrier). Стоит отметить, что некоторые интернет-провайдеры второго уровня также могут продавать доступ в интернет напрямую клиентам.

Как правило, к услугам провайдеров первого уровня более мелкие компании прибегают тогда, когда им нужно наладить передачу данных на большие расстояния. Однако, если требуется соединить два близких города, то будет достаточно пиринга.

Быстрый пиринг возможен благодаря точкам обмена интернет-трафиком (IXP): это помещения и целые здания, заполненные компьютерами и маршрутизаторами, которые соединяют несколько интернет-провайдеров вместе и помогают сократить пути для интернет-трафика. IXP расположены по всему миру, и на сегодняшний день насчитывается около 240 таких точек в 180 регионах.

В целом, отправка сообщения через интернет означает передачу данных нескольким интернет-провайдерам и IXP, их маршрутизаторам и кабелям. Фактический путь определяется местоположением получателя, который примет сообщение, а также часто коммерческими соглашениями между интернет-провайдерами.

Стек протоколов, снова канальный уровень

О канальном уровне модели TCP/IP мы рассказали меньше всего, давайте вернемся еще раз к началу, чтобы рассмотреть инкапсуляцию протоколов и, что значит «стек».

Большинству пользователей знаком протокол Ethernet. В сети, по стандарту Ethernet, устройства отправителя и адресата имеют определенный MAC-адрес — идентификатор «железа». MAC-адрес инкапсулируется в Ethernet вместе с типом передаваемых данных и самими данными. Фрагмент данных, составленных в соответствии с Ethernet называется фреймом или кадром (frame).

MAC-адрес каждого устройства уникален и двух «железок» с одинаковым адресом не должно существовать, хотя порой такое случается, что приводит к сетевым проблемам. Таким образом, при получении сетевой адаптер занимается извлечением полученной информации из кадра и ее дальнейшей обработкой.

После ознакомления с уровневой структурой модели становится понятно, что информация не может передаваться между двумя компьютерами напрямую. Сначала кадры передаются на межсетевой уровень, где компьютеру отправителя и компьютеру получателя назначается уникальный IP. После чего, на транспортном уровне, информация передается в виде TCP-фреймов либо UDP-датаграмм.

На каждом этапе, подобно снежному кому, к уже имеющейся информации добавляется служебная информация, например, порт на прикладном уровне, необходимый для идентификации сетевого приложения. Добавление служебной информации к основной обеспечивают разные протоколы — сначала Ethernet, поверх него IP, еще выше TCP, над ним порт, означающий приложение с делегированным ему протоколом. Такая вложенность называется стеком, названным TCP/IP по двум главным протоколам модели.

Защита сетевой инфраструктуры предприятия

В наше время, когда информационные технологии уже крепко связаны с бизнес–процессами большинства компаний, а способы и методы сетевых атак постоянно совершенствуются и развиваются, все еще бытует мнение что установка обычного сетевого экрана на границе сети достаточно для защиты внутренних корпоративных ресурсов. Это, к сожалению, не совсем так, а, вернее, совсем не так.

Как пример малой эффективности обычного межсетевого экрана, пользователь системы может самостоятельно нажать на ссылку, полученную от хорошо знакомого друга в социальной сети либо по почте, скачать и запустить вирус, который, используя известный эксплоит не обновлённой операционной системы или программы, получит права администратора и будет выполнять злонамеренную задачу изнутри корпоративной сети. При этом копии вируса будут активно рассылаться по контакт листу пораженной системы. В Интернете доступны онлайн системы для тестирования подозрительных файлов разными антивирусными программами, но ими в первую очередь пользуются те же злоумышленники для написания новых «незаметных» вирусов. В связи с этим в наше время существует такое огромное количество бот–нет сетей, достаточно просто купить номера ворованных кредитных карточек и все больше взлом компьютеров стает обычным методом зарабатывания денег. Поэтому задача обеспечения безопасности требует комплексного подхода на всех уровнях сетевой инфраструктуры и компьютерных ресурсов [8].

Общие подходы и технологии для построения безопасной сети

Процесс построения безопасной сетевой инфраструктуры начинается с планирования. На этом этапе перечисляются сервисы, которые будут использоваться в сети, связанные с ними риски, определяются необходимые шаги и механизмы для снижения этих рисков. На основании данных, полученных на этапе планирования, разрабатывается соответствующий дизайн сетевой инфраструктуры и создается набор политик безопасности. После этого идет этап непосредственного внедрения. Поскольку безопасность это не конечный результат, а процесс, внедрением и первоначальной настройкой какой–либо системы защиты ничего не заканчивается. Решения безопасности требуют постоянного «внимания»: отслеживания событий безопасности, их анализа и оптимизации соответствующих политик.

От написания эффективных политик безопасности и их строгого соблюдения очень зависит работа всего комплекса защиты. Правильные политики должны быть зафиксированы документально, не иметь большого количества исключений. На все оборудование должны регулярно устанавливаться обновления. Также большую угрозу для безопасности составляют простые пользовательские пароли, ошибки в конфигурации устройств, использование настроек по умолчанию, незащищенных протоколов и технологий [2].

Для обеспечения полной безопасности всей IT инфраструктуры необходимо внедрять механизмы защиты на всех уровнях сети от границы до коммутаторов доступа. На уровне доступа крайне рекомендуется использовать управляемые коммутаторы с поддержкой функционала защиты протоколов ARP, DHCP, STP. Авторизовать пользователей при подключении с помощью технологии 802.1x. Подключать сотрудников в разные VLAN в зависимости от их функциональных обязанностей и задавать правила взаимодействия и доступа к разным ресурсам на уровне распределения.

При подключении к сети WAN и Интернет важно помимо межсетевого экрана иметь возможность сканировать трафик на уровне приложений, проверять наличие угроз с помощью IPS систем. Пограничное оборудование должно быть стойким к DoS и DDoS атакам. Крайне рекомендуется для выхода пользователей в Интернет использовать прокси сервера с дополнительной проверкой на вирусы, нежелательное, вредоносное и шпионские ПО. На прокси дополнительно можно организовать веб и контент фильтрацию. Также важно наличие решения для проверки почты на предмет спама и вирусов. Все корпоративные ресурсы, к которым нужно обеспечить доступ извне в целях безопасности должны быть вынесены в отдельную демилитаризированную зону DMZ. Для удаленного доступа использовать технологию VPN с шифрованием передаваемых данных [11].

Для управления всем сетевым оборудованием должны использоваться защищенные протоколы SSH, HTTPS, SNMPv3. Для возможности анализа логов время на устройствах должно быть синхронизировано. Для понимания, какой трафик ходит в сети, насколько загружено оборудование, какие события на нем происходят, использовать протоколы Syslog, RMON, sFlow, NetFlow. Очень важно вести учет, кто, когда и какие изменения вносит в конфигурацию оборудования. Полный перечень технологий, которые используются для обеспечения безопасности сетевой инфраструктуры, указаны на схеме и на рис.1 [15].

Рисунок 1. Перечень технологий для обеспечения безопасности сетевой инфраструктуры

Очень серьезные решения в области сетевой безопасности предлагает компания Check Point Software Technologies, которая является признанным лидером в сфере разработки продуктов для защиты корпоративных сетей. Компания предлагает программно–аппаратные комплексы безопасности в виде интернет шлюзов. При этом такие решения не стоит рассматривать, как элементарный фаервол. Продукты стоит рассматривать, как мощное масштабируемое решение, собираемое из так называемых программных блэйдов. Таким образом в зависимости от потребностей организации в данный момент можно задействовать те или иные компоненты защиты и при этом еще и выбрать уровень производительности системы. Интересной особенностью является то, что в целом вся система управляется централизованно с единой консоли управления, что позволяет, серьезно масштабировать систему и упростить ее конфигурирование и обслуживание. Комплекс так же обладает гибко настраиваемой центральной системой сбора событий безопасности и построения отчетов [7].

Некоторые возможности комплекса:

1. межсетевой экран с контролем соединений (патент Check Point Software Technologies, которым на сегодня пользуются практически все разработчики МСЭ);
2. шлюз подключения к Интернету с возможностью кластеризации и балансировки нагрузки и применения трансляции сетевых адресов;
3. терминатор VPN соединений с возможностью формирования различных топологий;
4. динамическая инспекция трафика с возможностью разбора SSL сессий;
5. контроль утечек данных;
6. защита от подмены ip адресов;
7. сканер предотвращения вторжений;
8. сборщик логов с контролем объемов, источников и получателей трафика и идентификацией пользователей;
9. система построения отчетов по событиям безопасности [7].

Уровни сетевой модели OSI и уровни TCP/IP

(OSI) Open System Interconnection — многоуровневая модель взаимодействия открытых систем, состоящая из семи уровней. Каждый из семи уровней предназначен для выполнения одного из этапов связи.

Для упрощения структуры большинство сетей организуются в наборы уровней, каждый последующий возводится над предыдущим.

Целью каждого уровня является предоставление неких сервисов для вышестоящих уровней. При этом от них скрываются детали реализации предоставляемого сервиса.

Протокол – формализованное правило, определяющие последовательность и формат сообщений, которыми обмениваются сетевые компоненты, лежащие на одном уровне, но в разных узлах.

Протоколы, реализующие модель OSI никогда не применялись на практике, но имена и номера уровней используются по сей день.

1. Физический.
2. Канальный.
3. Сетевой.
4. Транспортный.
5. Сеансовый.
6. Представления.
7. Прикладной.

Для лучшего понимания приведу пример. Вы открываете страницу сайта в интернете. Что происходит?

Браузер (прикладной уровень) формирует запрос по протоколу HTTP (уровень представлений и сеансовый уровень), формируются пакеты, передаваемые на порт 80 (транспортный уровень), на IP адрес сервера (сетевой уровень). Эти пакеты передаются по сетевой карте компьютера в сеть (канальный и физический уровень).

Уровни OSI — краткий обзор

Физический уровень. Если коротко и просто, то на физическом уровне данные передаются в виде сигналов. Если передается число 1, то задача уровня передать число 1, если 0, то передать 0. Простейшее сравнение — связать два пластиковых стаканчика ниткой и говорить в них. Нитка передает вибрацию физически.

Канальный уровень. Канальный уровень это технология каким образом будут связаны узлы (передающий и принимающий), тут вспоминает топологию сетей: кольцо, шина, дерево. Данный уровень определяет порядок взаимодействия между большим количеством узлов.

Сетевой уровень. Объединяет несколько сетей канального уровня в одну сеть. Есть, например, у нас кольцо, дерево и шина, задача сетевого уровня объединить их в одну сеть, а именно — ввести общую адресацию. На этом уровне определяются правила передачи информации:

1. Сетевые протоколы (IPv4 и IPv6).
2. Протоколы маршрутизации и построения маршрутов.

Транспортный уровень обеспечивает надежность при передачи информации. Он контролирует отправку пакетов. Если пакет отправлен, то должно придти (на компьютер который отправлял пакет) уведомление об успешной доставке пакета. Если уведомление об успешной доставке не поступило то нужно отправить пакет еще раз. Например TCP и UDP.

Сеансовый уровень. Отвечает за управление сеансами связи. Производит отслеживание: кто, в какой момент и куда передает информацию. На этом уровне происходит синхронизация передачи данных.

Уровень представления. Уровень обеспечивает «общий язык» между узлами. Благодаря ему если мы передаем файл с расширением .doc, то все узлы понимают что это документ Word, а не музыка. На этом уровне к передаваемым пакетам данных добавляется потоковое шифрование.

Прикладной уровень. Осуществляет взаимодействие приложения (например браузера) с сетью.

Уровни TCP/IP

Набор протоколов TSP/IP основан на собственной модели, которая базируется на модели OSI.

• Прикладной, представления, сеансовый = Прикладной.
• Транспортный = Транспортный.
• Сетевой = Интернет.
• Канальный, физический = Сетевой интерфейс.

Уровень сетевого интерфейса

Уровень сетевого интерфейса (называют уровнем 2 или канальным уровнем) описывает стандартный метод связи между устройствами которые находятся в одном сегменте сети.

Сегмент сети — часть сети состоящая из сетевых интерфейсов, отделенных только кабелями, коммутаторами, концентраторами и беспроводными точками доступа.

Этот уровень предназначен для связи расположенных недалеко сетевых интерфейсов, которые определяются по фиксированным аппаратным адресам (например MAC-адресам).

Уровень сетевого интерфейса так же определяет физические требования для обмена сигналами интерфейсов, кабелей, концентраторов, коммутаторов и точек доступа. Это подмножество называют физическим уровнем (OSI), или уровнем 1.

Например, интерфейсы первого уровня это Ethernet, Token Ring, Point-to-Point Protocol (PPP) и Fiber Distributed Data Interface (FDDI).

Немного о Ethernet на примере кадра web-страницы

Пакеты Ethernet называют кадрами. Первая строка кадра состоит из слова Frame. Эта строка содержит общую информацию о кадре.

Далее в кадре располагается заголовок — Ethernet.

После заголовка кадра идет заголовок протокола IPv4, TCP и HTTP.

В конце идет заголовок HTTP с запросом GET (GET — один из вариантов запроса к веб-серверу).

Таким образом цель кадра — запрос содержимого веб-страницы которая находится на удаленном сервере.

В полном заголовке Ethernet есть такие значения как DestinationAddress и SourceAddress которые содержат MAC-адреса сетевых интерфейсов.

DestinationAddress показывает MAC шлюза в локальной сети, а не веб-сервера, так как протоколы 2-го уровня «не видят» дальше локальной сети.

Поле EthernetType указывает на следующий протокол более высокого уровня в кадре (IPv4).

Коммутаторы считывают адреса устройств локальной сети и ограничивают распространение сетевого трафика только этими адресами. Поэтому коммутаторы работают на уровне 2.

Уровень Интернета

Уровень интернета называют сетевым уровнем или уровнем 3. Он описывает схему адресации которая позволяет взаимодействовать устройствам в разных сетевых сегментах.

На уровне интернета преимущественно работает протокол IP, работающие на уровне 3 устройства — маршрутизаторы. Маршрутизатор читает адрес назначения пакета, а затем перенаправляет сообщение по соответствующему пути в пункт назначения. Подробнее о маршрутизации вы можете почитать в статье маршрутизация в windows.

Если адрес в пакете относится к локальной сети или является широковещательным адресом в локальной сети, то по умолчанию такой пакет просто отбрасывается. Поэтому говорят, что маршрутизаторы блокируют широковещание.

Стек TCP/IP реализован корпорацией Microsoft ну уровне интернета (3). Изначально на этом уровне использовался только один протокол IPv4, позже появился протокол IPv6.

Протокол версии 4 отвечает за адресацию и маршрутизацию пакетов между узлами в десятках сегментах сети. IPv4 использует 32 разрядные адреса. 32 разрядные адреса имеют довольно ограниченное пространство, в связи с этим возникает дефицит адресов.

Протокол версии 6 использует 128 разрядные адреса. Поэтому он может определить намного больше адресов. В интернете не все маршрутизаторы поддерживают IPv6. Для поддержки IPv6 в интернете используются туннельные протоколы.

В Windows по умолчанию включены обе версии протоколов.

Транспортный уровень

Транспортный уровень модели TCP/IP представляет метод отправки и получения данных устройствами. Так же он создает отметку о предназначении данных для определенного приложения. В TCP/IP входят два протокола транспортного уровня:

1. Протокол TCP. Протокол принимает данные у приложения и обрабатывает их как поток байт.Байты группируются, нумеруются и доставляются на сетевой хост. Получатель подтверждает получение этих данных. Если подтверждение не получено, то отправитель отправляет данные заново.
2. Протокол UDP.Этот протокол не предусматривает гарантию и подтверждение доставки данных. Если вам необходимо надежное подключение, то стоит использовать протокол TCP.

Прикладной уровень

Прикладной уровень — это этап связи на котором сетевые сервисы стандартизированы. Многие знают протоколы прикладного уровня: POP3, HTTP, Telnet, FTP и другие. Как правило программы работающие с этими протоколами имеют дружественный, интуитивно-понятный интерфейс.
Изучив этот материал вы изучили основы компьютерных сетей.

Обучаю HTML, CSS, PHP. Создаю и продвигаю сайты, скрипты и программы. Занимаюсь информационной безопасностью. Рассмотрю различные виды сотрудничества.