Микроскопом по гвоздям: стоит ли ставить серверное железо в домашний ПК?
Привет, Гиктаймс! Народное поверье гласит, что трава у соседа всегда зеленее, а компьютеры, которые для своих нужд закупают дотошные предприниматели, надёжнее и производительнее, чем сдобренные маркетингом модели в рознице. Целая каста энтузиастов охотится на серверные комплектующие и боготворит производительность железа корпоративного класса. Разбираемся, действительно ли крупные организации плещутся в «IT-раю», или же гики сотворили себе идола из ничего?
Нет преград энтузиастам, особенно если эти преграды воздвигнуты коварными маркетологами, которые поделили все электронные устройства на корпоративные и консьюмерские! Потому что даже в СМИ с рекламой о загадочном «пользовательском опыте» разработчики софта и железа проговариваются, мол, «камера этого смартфона обеспечивает профессиональное качество снимков!», да и другим образом штамп о профессионалах, которые ерундой не пользуются, эксплуатируют уже давно. И если уж искать пресловутую «профессиональную технику» и качество услуг, то лучше вопрошать железо и методы обслуживания корпоративного класса, верно?
Мотивы, которыми руководствуются неугомонные энтузиасты, лежат на поверхности — пусть консьюмерская техника и развивается бодрее за счёт аппетитов покупателей, «закаленные боями» комплектующие корпоративного класса явно будут надёжнее, а на вторичном рынке — ещё и дешевле. Играют же как-то гики на видеокартах для рабочих станций, собирают же могучие и «вечные» домашние ПК с серверной начинкой! Стало быть, есть смысл попытать счастья?
И толика этого самого смысла в подобное затее, разумеется, есть, но с приобретением корпоративных «атрибутов» под домашние условия можно «влипнуть» и, в лучшем случае, переплатить за невостребованную функциональность, а в худшем — уйти в минус в сравнении с вариантами, доступными для розничного покупателя. Разбираемся, в чём состоит подвох в использовании железа, разработанного для корпораций.
Среднестатистический компьютер
Рабочий компьютер на предприятии, в учебном заведении или в офисе и домашний ПК имеют кое-что общее: рассчитаны они на нерегулярное использование и не предполагают круглосуточной эксплуатации. Кроме того, предполагается, что в любом, пользователь всего один (даже если существует группа пользователей, доступ выполнятся по очереди).
Это важно для понимания количества обращений hdd пользователем и операционной системой.
Конечно же, существуют исключения. Например, при медленном доступе в интернет, при загрузке большого объема данных, компьютер можно оставить включенным на ночь, чтобы до утра все докачалось.
Как вариант, хардкорные киберспортсмены (как видите, я политкорректно не употребляю слово «зад. ты»), обычно фанаты какой-нибудь ММОРПГ, включают бота и отправляют персонажа на фарм-ресурсы.Но это уже – скорее исключение, чем правило: среднестатистический юзер включает компьютер, когда он нужен, и выключает его на ночь.
Еще один важный параметр, выдвигаемый к винчестеру в настольном ПК – низкий уровень шума во время работы: никому не нужен комп, который будет греметь как трактор. В случае с ноутбуками, выдвигается дополнительное требование к энергопотреблению: чем оно ниже, тем больше проработает устройство на том же заряде батареи.
Плюсы и минусы SMR
У дисков с черепичной технологией записи есть определенные преимущества:
- Наслоение треков позволяет существенно экономить место на физическом диске винчестера, а значит повышается емкость накопителя.
- Необходимого объема накопителя можно достичь меньшим количеством физических дисков, следовательно, уменьшается вес, энергопотребление, шум и степень нагрева.
- SMR-диски имеют меньшую себестоимость.
Не обошлось и без недостатков:
- При регулярной перезаписи информации, диск быстрее изнашивается, появляются ошибки и битые сектора.
- Если объем перезаписываемых данных большой, или на диске осталось мало свободного пространства, активизируется технология случайной записи. Это значит, что записываемая информация распределяется по пустующим участкам диска в случайном порядке. При этом устройству приходится перезаписывать большое количество лент, что в свою очередь приводит к существенному падению скорости записи и времени отклика диска.
Однако самой острой проблемой по мнению пользователей является тот факт, что не все производители считают нужным сообщать, какая технология записи используется в различных моделях.
Компания Seagate – наверное единственная, которая откровенно заявила о применении технологии SMR в своих жестких дисках. Но в апреле 2020 года несколько журналистских расследований доказали, что технология черепичной записи используется и другими корпорациями без соответствующей маркировки и каких-либо упоминаний.
Полемика велась больше месяца, в результате производители опубликовали списки моделей дисков SMR и написали подробные рекомендации по эксплуатации к линейкам, предназначенным для data-центров, NAS-хранилищ и RAID-массивов. Это именно те конфигурации систем хранения данных, которые в большей степени зависят от скоростных характеристик накопителей.
SSD не побеждает по вместительности
Старые добрые винчестеры до сих пор имеют своё место в серверах. И это не просто так, они имеют несколько преимуществ. Самым значимым преимуществом HHD над SSD является стоимость хранения единицы информации.
Если классический серверный жёсткий диск объёмом 4 Тб стоит 160 долларов, то SSD приблизительно такого же объёма (3,84Тб) будет стоить дороже 650 долларов. Любой SSD диск, в отличии от HDD, имеет конечное количество циклов перезаписи и чтения информации, которые ограничивают срок его службы.
Разница между СХД и полкой и что такое JBOD
Давайте попробуем определить, что за устройство на картинке.
Правильно — по “морде” определить невозможно. Нужно смотреть на тыльную часть. И варианты могут быть разные:
А. Сервер
B. Система хранения данных (СХД)
C. Дисковая полка SAS-1 c двумя контроллерами JBOD (HP MSA2000sa AJ750A)
Думаю, читатели данной статьи хорошо знают, что такое сервер, но имеют смутное представление об СХД и полках. СХД и полка похожи, но тем не менее между ними существенная разница.
СХД — система хранения данных — это не полка.
СХД (система хранения данных) намного сложнее полки, они дороже и имеют значительно больше нюансов.
Отличие СХД от полки это наличие “Мозга”. Контроллеры СХД это мини-серверы, со своими процессорами, памятью и операционной системой. СХД собирают из дисков RAID массивы, и передают данные по протоколам высокого уровня (iSCSI, NFS), контролируют целостность данных, позволяют создавать снапшоты и многое другое. СХД нужна если наша задача построить отказоустойчивый кластер
Однако, в случае если мы просто хотим добавить дисков в сервер, наличие “мозга” создаёт сложности: Не все СХД понимают диски объемом более 2Tb. Редкие СХД принимают от независимых производителей. Несмотря на то, что СХД полезное устройство — в этой статье мы не будем рассматривать использование СХД. Сегодня давайте разберёмся с полками.
Полка — это не СХД.
Полка — достаточно простое устройство. Корпус, два блока питания, бэкплэйн и JBOD* контроллеры. Задача полки, без какой либо обработки, передать данные из накопителя в адаптер (карту RAID или HBA). Любая полка поддерживает диски любого объёма и любого производителя. Всё решает карточка в сервере. Контроллер полки — это набор микросхем с жесткой логикой.
Так выглядит подключение дисков внутри сервера
Так подключение сервер + полка.
С точки зрения схемотехники (и операционной системы), диски, установленные в полку, ничем не отличаются от дисков установленных в сервер**.
Полка имеет отдельный корпус, отдельные блоки питания, но в обоих случаях подключение производиться через RAID карточку установленную в сервер -, отличие лишь в том, что в случае с полкой, кабель подключается не по внутреннему а по внешнему разъёму.
*JBOD = Just A Bunch of Disks ( просто пачка дисков )
** Если быть совсем точным, полку можно сравнивать с сервером в котором установлен SAS экспандер — это серверы в которых количество дисков превышает 8. Для операционной системы SAS экспандер не заметен.
Вот широко распространённый RAID контроллер LSI9260-8i
8i означает 8 внутренних портов SAS/SATA
А вот его брат LSI9280-4i4e
4 внутренних и 4 внешних порта
Как называется вот этот контроллер, я думаю вы уже догадались )
Правильно — это LSI9280-8e
Все эти контроллеры собраны на одном и том же чипе LSI2108. Они обеспечивают работу по протоколам SAS/SATA со скоростью 6Gb/s и “понимают” диски объёмом более 2Tb. Попутно замечу, что на этом чипе собраны RAID контроллеры в серверах Supermicro, Intel, IBM, DELL, Fujitsu и CISCO. Многие из производителей даже не утруждают себя разработкой собственной печатной платы — меняют только прошивку. Но впрочем RAID и HBA — тема для отдельной статьи.
Вывод: если не хватает места для дисков — можно просто подключить к серверу полку. Новый сервер покупать не обязательно.
Еще несколько нюансов.
Полки бывают не только SAS, но других типов, например FC (скорее всего они вам не нужны).
Полки могут быть 3, 6 и 12Gb/s. Не все знают, что в одном кабеле mini-SAS четыре канала. Это значит, что для вычисления скорости обмена полка-контроллер показатель 3,6,12 нужно умножить на 4, а в случае если полка и контроллер соединяются двумя кабелями, на 8. Для примера 3-х гигабитная полка сможет отдавать в сервер 3×4 = 12 Гигабит! Что очень неплохо, особенно, если вы устанавливаете шпиндельные накопители. Для работы диска с сервером важна не скорость передачи данных а количество операций ввода-вывода IOPS. Об этом читайте в пункте 7.
Не важно Supermicro, IBM, DELL или HP. Любая SAS полка будет работать с любым SAS контроллером. Брэнд имеет значение только когда вы подключаете полку к СХД.
Полки можно собирать в гирлянду — подключая к одному контроллеру сразу несколько полок.***
*** Если вы используете SATA диски, длина подключения не должна превышать 1М.
При использовании SAS дисков (или SATA дисков с интерпозерами) можно подключать полку по двум путям, через два контроллера. Это позволяет избежать отказа в случае выхода их строя одного из контроллеров.
Полки можно добавлять по мере роста количества данных, подключая их двумя путями
“в гирлянду” вот так:
SFF* полки ( обычно бывают 2U на 24-25 дисков)
Для чего нужны SFF полки?
Типичный сервер редко перекидывает большие блоки данных — в основном он производит хаотичные запросы чтения или записи маленьких блоков из совершенно разных мест массива. Скорость по этому показателю измеряется не в Гигабитах в секунду, а в количестве операций ввода-вывода (IOPS). И именно IOPS, а не трансфер основной параметр которому следует уделять внимание. Пользователи ПК сравнивают диски по показателям 3Gb/s, 6Gb/s, 12Gb/s, но зачастую, скорость потока диск — сервер это не Гигабиты, и даже не Мегабиты, а Килобиты! Скорости 3Gb/s, которую обеспечивают даже устаревшие интерфейсы в большинстве случаев достаточно. Сильно ошибаются те, кто думают, что улучшат производительность, сменив диски 3Gb/s на 12Gb/s. Если не изменился форм-фактор и обороты диска — скорость IOPS не измениться.
На увеличение IOPS положительно влияют: увеличение оборотов, уменьшение физического размера, увеличение числа дисков в массиве.
LFF диски, (особенно низкооборотистые 7200RPM) не предназначены на работу в режиме случайного доступа — их назначение хранение ColdData (например бэкапов)
*SFF Small Form Factor — это диски 2,5” Обычно это высоко-оборотистые 10-15К SAS диски объёмом 300-1200GB. Не стоит путать их с ноутбучными дисками.
LFF Large Form Factor — это диски 3,5” Обычно низко-оборотистые 7200 диски, объёмом 2TB и более.
И наконец, если у вас уже есть СХД, добавив полку вы можете увеличить не только объём, но и существенно повысить скорость работы. Ведь показатель IOPS напрямую зависит от количества дисков.
У нас имеются полки для наиболее распространённых СХД производства NetAPP, HP, Dell, IBM.
Проблема дисков объемом более 2 ТБ и старых материнских плат
Кстати, на материнской плате есть пять SATA разъемов и один eSATA, но у меня есть дискретный PCI-E контроллер на два SATA устройства, что позволит не тянуть провод в eSATA порт на задней панели компьютера.
Сразу расскажу об одной проблеме, с которой вы можете столкнуться при построении файлового сервера на столь старой материнской плате, как Asus M3N78-VM.
При сборке я воткнул пару своих дисков на три терабайта в материнскую плату, и она правильно опознала (на первый взгляд) жесткие диски и запустилась. Однако я совсем забыл о проблеме дисков объемом более 2 ТБ и старых материнских плат.
При загрузке сервера были видны все файлы на диске, но были ошибки доступа к ним, похожие на недостаток прав NTFS в «безопасности» и постоянно запускался CHKDSK, пытаясь «исправить» ошибки.
Я решил — «пусть исправит», и оставил компьютер с включенным CHKDSK. В результате на диске осталось около 800 ГБ данных, а 2 ТБ пропало, именно так и видит ОС большой диск на старой материнской плате — доступно в районе 800 ГБ файлов и все.
К счастью, мой сторонний контроллер поддерживал диски объемом 3 ТБ и выше, и при подключении больших дисков к нему, «проверка диска» из под Windows исправила все ошибки и вернула файлы на место.
Помните об это проблеме и будьте осторожны! При покупке сторонних контроллеров уточняйте поддержку больших жестких дисков.
Я покупал свой контроллер пару лет назад, сейчас в DNS по Москве доступен вот такой, подороже.
Технология записи жестких дисков
Схема работы жесткого диска не сложная. Круглые пластины из металла с покрытием из ферромагнитного сплава, вращаются на шпинделе. На пишущие головки подается напряжение, которое намагничивает участки дисков. Каждый намагниченный участок называется доменом, и хранит бит данных, приобретая значения 0 или 1. Значение домена определяется магнитным вектором.
Сейчас в жестких дисках используется две технологии записи информации:
CMR – аббревиатура от «conventional magnetic recording», что обозначает «обычная магнитная запись». Из названия видно, что это стандартная технология записи, которая распространена у большинства современных жестких дисков.
На самом деле, CMR – это упрощенный вариант, произошедший от аббревиатуры PMR, обозначающей технологию перпендикулярной записи. Это значит, что вектор намагниченности доменов располагается под прямым углом к плоскости диска, то есть перпендикулярно. В CMR-накопителях при записи информации треки (дорожки) накладываются параллельно, не взаимодействуя друг с другом.
SMR – черепичная магнитная запись. Все треки записываются, частично накладываясь на предыдущий, словно черепица на крыше. Если необходимо перезаписать информацию в середине массива, системе придется продублировать второй трек, который наложен сверху, что влечет за собой перезапись третьего по счету и дальше по цепочке.
Чтоб избежать перезаписи всего диска, дорожки объединяют в ленты. При записи информации, обновление треков не выходит за пределы одной ленты.
Управление процессами записи и перезаписи осуществляется компонентами самого диска или и с участием системы ПК:
DM-SMR – запись регулируется только контроллером. К этой группе относится большинство жестких дисков пользовательского сегмента.
HM-SMR – процессы записи и чтения контролируются системой (хостом), а фиксация данных осуществляется строго последовательно.
HA-SMR – комбинация двух технологий, процессы записи могут контролироваться силами винчестера или хоста.
Также в различных источниках можно встретить упоминание о технологии LMR. Это продольная запись, при которой магнитный вектор находится на плоскости диска. Технология устаревшая и с 2010 года не используется.
Энергопотребление
Производительность – это не единственная важная характеристика сетевого накопителя. Принимая во внимание, что подобные домашние серверы работают в круглосуточном режиме, не менее важно и их энергопотребление. Поэтому мы сравнили потребление тестового NAS WD My Cloud EX4 при установке в него четырёх жёстких дисков обоих производителей. Измерение потребления выполнялось в конфигурации RAID 5 в двух режимах: в состоянии простоя без подачи команды гибернации на жёсткие диски, то есть, при холостом вращении их шпинделя, и во время интенсивных файловых операций.
Графики недвусмысленно указывают на то, что использование в составе сетевых хранилищ WD Red вместо Seagate NAS HDD позволяет добиться экономии от 2 до 4 Вт. Кажется, мелочь? Не совсем. Если учесть, что NAS работает непрерывно, эта мелочь может обернуться в разницу 20-30 кВт∙ч за год. Конечно, это тоже не слишком много, но и не столь мало для того, чтобы таким различием можно было бы пренебречь. К тому же следует понимать, что меньшее энергопотребление WD Red означает и их меньший нагрев во время работы. А это, в свою очередь, будет выливаться в более их благоприятный температурный режим при установке в тесном корпусе сетевого накопителя.
