Чёрный ящик — это такая математическая и иногда физическая концепция некой сущности, внутреннее устройство которой нас не интересует и мы с ним никаких дел не имеем. А интересует нас исключительно вход и выход этой сущности.
В этом смысле, Blackbox не совсем удовлетворяет научному определению и внутренний его мир нужно тоже понимать и осознавать.
Маленький дисклэймер: все мои нижеприведённые мысли вызваны недостатком технической информации и относятся к предельному случаю с нагрузкой в 25 кВт на стойку, ибо только эти случаи меня в данный момент и занимают по жизни.
Но сначала рассмотрим чёрный ящик снаружи. Что мы увидим?
- Нужен внешний источник энергии... Не просто источник, а фидер (а лучше два фидера) по 200 кВт. Не так мало... Проектные работы, согласование и утверждение проекта во всех инстанциях, монтаж оборудования в ГРЩ здания или на подстанции требуют времени. Если у вас нет такой выделенной мощности, согласование может занять годы (но это уже совсем другая история).
- Внешний источник энергии должен быть с ИБП. Контейнер с ИБП, который можно поставить рядом, это тоже весьма занятная песня: обеспечение обогрева зимой, кондиционирования летом.
- ДГУ тоже полезно было бы иметь. А это ещё один круг согласований, разрешений, срок поставки 3-6 месяцев для таких агрегатов.
- Необходим внешний источник воды. Не просто воды, а холодной воды. Если вдруг у вас нет свободного чиллера, который можно было бы настроить на температуру 14 градусов (неочевидно, сможет ли решение по охлаждению работать на более холодной воде), то вам нужно подобрать, спроектировать, заказать, дождаться, смонтировать, запустить чиллер. Не просто чиллер, а систему чиллеров с резервированием. Это, конечно, несколько быстрее, чем построить обычный датацентр, но не сильно. Срок поставки среднестатистического чиллера на 200 кВт — два с половиной - четыре месяца, ещё минимум две недели на монтаж и запуск. Я даже не говорю про подбор и проектирование. По личному опыту на выбор модели и конфигурации чиллера и поставщика, который его повезёт, может уйти месяц, особенно если этим приходится заниматься летом. Ах да, цена. Два простеньких 200-т киловаттных моноблока, работающих в параллель, обойдутся вам, очень приблизительно, без учёта многих затрат, в пару сотен тысяч евро (простите за такие подробности, как раз сейчас этим в одном из проектов занимаюсь).
- Кстати, о красивой картинке, где Blackbox'ы стоят в каком-то ангаре в несколько ярусов... Представляю себе процесс расчёта параметров насосов в чиллерах для обеспечения подъёма раствора гликоля, и магистральные трубы от чиллера к контейнерам, по которым ездят погрузчики... сисадмины, бегающие по ангару с лестницами, и лифты для подъёма оборудования на верхние ярусы... должно быть занятно...
- ИТ... Ну здесь всё достаточно просто: кидаем оптоволокно и всё хорошо. Хотя, наверное, тоже есть свои засады.
Гораздо интереснее заглянуть во внутренности чёрного ящика.
- Любое обслуживание, кажется, только с полной остановкой всего содержимого, т. к. для доступа к отдельному шкафу нужно открыть переднюю и заднюю двери контейнера, а это значит, что нарушится кольцевой поток воздуха.
- Необходимость обеспечивать абсолютную однородность содержимого каждого шкафа. Все шкафы должны не только содержать абсолютно одинаковый набор серверов и коммуникационных устройств, но и абсолютно одинаковую загрузку процессоров, да ещё и абсолютно одинаковую скорость работы вентиляторов. В противном случае у нас просто возникнет воздушная пробка и оборудование в остальных стойках слегка расплавится.
- Непредсказуемые последствия отказов оборудования в стойках.
- Срабатывание автомата из-за выхода из строя, напрмер, блока питания в сервере, приведёт к необходимости мгновенно отключать всё оборудование, не дожидаясь корректного шатдауна: если у нас отключается, например, одна стойка целиком, в ней останавливаются все вентиляторы, практически полностью блокируется поток воздуха, каждой из стоек негде взять почти полтора кубометра охлажденного воздуха в секунду (при 25 кВт на стойку и 70 литров в секунду на киловатт), перегрев случится буквально через несколько секунд.
- Требуется очень аккуратный и тщательный подбор серверов: в большинстве моделей вентиляторы способны протащить необходимое количество воздуха через сервер. Но нужно же не только прокачать этот воздух через сервер, но ещё и через радиатор системы охлаждения и фильтр (ну где-то же в кольцевом пути воздуха должен быть фильтр?). Даже установка вентиляторов в торцах может не решить проблему.
Отсюда два вывода:
1. Blackbox вполне применим для высокопроизводительных вычислений, где мы имеем дело с кластерами, состоящими из сотен одинаковых серверов. Но вот адекватность такой системы для решения современных бизнес-задач, где пять минут простоя в год становится недопустимой роскошью, требует очень серьёзного и внимательного изучения.
2. Сверхвысокая скорость внедрения может иметь место только если уже установлены ИБП, ДГУ, чиллеры. В противном случае и это преимущество теряется на фоне сроков поставки и внедрения остального оборудования.
PS: Очень жаль, что не попал на презентацию. Очень удачно для Sun, что не попал на презентацию, а то бы не удержался и всё бы им испортил ;-)
Автор: Игорь Обухов.
Интересное...
Комментарии:
romx said:
Если бы вы попали на презентацию, то вы бы получили ответы на большинство своих вопросов. По крайней мере я их получил, а было их не меньше чем у вас. :)
июля 30, 2007 20:01
booter said:
romx, а можно поподробнее?
июля 30, 2007 23:02
romx said:
booter: поподробнее о чем?
Просто 26 июля на прошлой неделе SUN устраивал показ Blackbox в Москве в рамках европейского roadshow, достаточно подробно показывалось и рассказывалось как с "продажной", так и с технической стороны.
Свои впечатления по этому поводу я у себя в блоге писал несколько постов (ссылка на моем нике в первом комменте)
Думаю что телефонный звонок с вопросами в российский SUN сейчас вполне возможен, люди мне показались вполне компетентными и в теме, тем более, как я уже писал у себя, Россия имеет уникальный опыт первой в мире инсталляции работающего Blackbox в московском МТС-е.
июля 31, 2007 10:01
booter said:
romx, я читал сообщения, но там технические аспекты, подмеченные Игорем, не раскрывались никак. В Sun позвонить, конечно, идея хорошая, но смысла особого нету - этоже размышленизмы по поводу, а не предварительный анализ перед покупкой.
июля 31, 2007 14:10
Igor Obukhov said:
Ну почему не анализ? У меня сейчас задачка, которую можно было бы свести к двум таким контейнерам. Но... Самых сложных вопросов с чиллером и ИБП этот контейнер не снимает, возможности использовать вводы меньше 200 кВт тоже не дает. А самое ужасное -- нет возможности сделать смотровую комнату с большим окном в серверную :-) А это немаловажный фактор -- заказчик и мы должны иметь возможность хвастаться системой не останавливая ее работу :-)
июля 31, 2007 15:37
romx said:
Игорь, мне показалось, что вы исходите из неверной посылки, что циркуляцию воздуха через радиаторы осуществляют вентиляторы в корпусах серверов. Это не так, радиаторы активные, на них установлены вентиляторы, которые и просасывают через них воздух по всей вертикали стойки, сверху донизу.
https://www.flickr.com/photos/romx/914482427/
Вот тут они хорошо видны, радиаторы охлаждения с водой за ними.
То есть циркуляция обеспечивается и без серверов в стойке вовсе.
Что касается проблем с разрывом циркуляции с открытыми дверями и извлеченными для обслуживания стойками, то такой вопрос был, ответ был таков, что мощности охлаждения достаточно (не в рабочем режиме) для обеспечения охлаждения половиной радиаторов, то есть если вы по какой-то причине раскрываете контейнер нараспашку, и если за бортом у вас не +35, то правая и левая сторона достаточно длительно (часы) может охлаждать каждую сторону радиаторов почти независимо. Система диагностики повысит мощность потока для поддержания температуры, так что хотя это и не есть рабочий режим, и рекомендуется даже во время maintenace держать контейнер закрытым, в принципе это достаточно штатная и не аварийная ситуация.
Бесперебойники рекомендуется ставить на стойки, а не общий на blackbox, то есть как это обычно делается в ДЦ, поскольку автономный генератор (два таких генератора независимо, в blackbox два независимых контура питания со вводами справа и слева контейнера) вообще сам по себе достаточно хороший "бесперебойник" :) на систему в целом.
Что же касается wow-effect то на сегодняшний день по нему такая уникальная штука бьет всех конкуретнов как лежачих :)
Рекомендую все же заинтересованным лицам все же встречаться и говорить с SUN-овцами, в конце концов это их работа, даже если это и не "анализ перед покупкой".
июля 31, 2007 16:13
Igor Obukhov said:
romx,
То, что видно на иллюстрации, очень не похоже на ветниляторы для продувки стойки, а больше похоже на вентиляторы нагрузочной машинки. Хотя, надо разбираться.
В любом случае, остаются проблемы и вопросы:
Во-первых, я имел в виду не пустую стойку, а вставшую по какой-то причине стойку. Вот случилось у нас КЗ в блоке питания, вырубился у нас автомат на стойку, все оборудование выключилось. Такую пробку никакие внешние вентиляторы не прокачают. Это значит, что все стойки до и стойки после остаются без холодного воздуха. При 25 кВт на стойку буквально через несколько секунд все оборудование вырубится по перегреву. Все ли оно после этого включится?
Во-вторых, размещение ИБП в стойках... Нужно понимать, что ИБП мощностью 25 кВт (мы ведь, правда, говорим о 25 кВт на стойку?) в стойку встанет с большим трудом. В принципе, можно поставить 3 SURT10000RMXLI, это будет всего 18 юнитов, у нас останется целых 22 юнита на оборудование, но и мощности это будет 24 кВт. Кроме того, ИБП даст еще от себя почти 3 кВт тепловыделения. Мы остаемся с 22 кВт на стойку... Уже получается, что мы можем полезной нагрузки иметь 176 кВт...
В-третьих, генератор -- это генератор. Он не может заменить ИБП. Он может дополнить ИБП.
В-четвертых, даже если внешние вентиляторы для принудительной протяжки воздуха в системе есть, остается проблема необходимости обеспечения полной одинаковости начинки не пустых стоек. Ибо в противном случае общий поток воздуха будет определяться стойкой с наименьшим потоком воздуха.
июля 31, 2007 16:47
Igor Obukhov said:
Дополнение. На фотографиях на sun.com/blackbox видны вентиляторы принудительной циркуляции воздуха. Они расположены, судя по всему, только в концах рядов. Воздушный фильтр в системе тоже есть, по крайней мере, он есть на фотографиях.
К сожалению, это не снимает самых интересных вопросов о системе.
июля 31, 2007 17:12
romx said:
Игорь, нет, это именно все стойки "проложены" радиатором _И_ вентиляторами на нем.
В конце рядов конечно тоже есть вентиляторы. Но основную задачу циркуляции обеспечивают именно вентиляторы радиаторов.
июля 31, 2007 17:48
Voennov said:
Интересный вопрос.
Что является более оптимальным вариантом с точки зрения занимаемого пространства и нагрузки на электроэнергию
"Классическое" воздушное охлаждение, но обородование занимает больший объем или такой вариант водяного охлаждения, но место и энергию занимает чиллер, шланги, система дублирования и т.п. ?
августа 1, 2007 15:41
Igor Obukhov said:
Я про это напишу как-нибудь... Давно собираюсь. Но нужно цифры считать аккуратно.
В общем случае -- выгоднее.
августа 1, 2007 17:45
Mikhail Elashkin said:
Коллеги, напоминаю, что у меня всегда есть возможность организовать обсуждение этого или другого вопроса. Т.е. я могу договориться с Саном, что его специалисты здесь или в штатах ответят на вопросы. Можно по скайпу или телефону. Результаты выложим.
Так что хотите? Делаем конференцию по охлаждению? Можно из нескольких событий - вот АРС тоже могут выступить. И практиков пригласим из датацентров...
августа 1, 2007 20:16
Alexander Nikolov said:
Миша, это отличная идея! Тема очень интересная и действительно есть некоторые неоднозначные моменты с Blackbox которые хотелось бы по возможности прояснить. Может составим коллективными усилиями какий-нибудь обобщеный список вопросов, которые ты потом переадресуешь в Sun?
августа 2, 2007 9:13
0 коммент.:
Отправить комментарий
Ваш комментарий появится в блоге после проверки администратором