Модульний ЦОД: огляд рішень. Оперативний ЦОД – «мобільний» чи «модульний»? Заводські приймальні випробування

Модульні дата-центри дозволяють значно скоротити інвестиції у будівництво ЦОДів, насамперед, за рахунок відсутності необхідності будувати капітальну будівлю та можливості розширювати майданчик у міру необхідності. Економія на капітальних витратах може досягати 50%. У разі економічної рецесії попит такі рішення зростає.

Концепція модульного дата-центру (МЦОД) побудована на ідеї типового рішення – модуля із заданим набором систем електропостачання, охолодження та фізичної безпеки. Більшість вузлів подібного блоку вже заздалегідь зібрано і встановлено виробником, що дозволяє істотно скоротити роботи з інсталяції готового рішення на стороні замовника. Крім того, окремі модулі є незалежними у плані життєзабезпечення, що в сукупності з короткими термінами розгортання дозволяє нарощувати потужність дата-центру за необхідності.

«Завдяки масштабованості, можливості поетапного введення в експлуатацію, а також незалежності кожного модуля по критичних системах життєзабезпечення, замовник має можливість поступового інвестування тільки в необхідний на даний момент обсяг ЦОДу. Це повною мірою відповідає нинішній економічній ситуації багатьох компаній, крім того, таким чином вирішується проблема недозавантаженості та простоювання потужностей, що у результаті суттєво скорочує терміни окупності дата-центру», - розповідає Станіслав Терешкін, керівник напряму ЦОД групи "Астерос".

У чому вигода МЦОД?

Економічна доцільність використання модульних технологій охоплює чотири аспекти: скорочення капітальних інвестицій, зниження операційних витрат, відсутність простою обладнання завдяки нарощуванню потужностей у міру необхідності, а також коротший термін повернення інвестицій за рахунок швидшого введення майданчика в експлуатацію.

Для запуску модульного ЦОДу потрібно 4-6 місяців з моменту початку проектування, що в 2-3 рази менше ніж для звичайного дата-центру. «Прискорене введення в експлуатацію модульних ЦОД також зумовлене тим, що модулі разом з елементами інженерної інфраструктури збираються безпосередньо на заводі біля вендора, де зосереджені всі інженерні та монтажні ресурси. Це значно швидше, ніж виконувати ці роботи на майданчику замовника», - пояснює Всеволод Воробйов, керівник напрямку ЦОД центру мережевих рішень «Інфосистеми Джет».

Важливим фактором у скороченні термінів є те, що модульні рішення не вимагають будівництва капітальної бетонної будівлі з потужними стінами та перекриттями. Як правило, модульні технології передбачають наявність «передвиготовленого» приміщення, яке можна помістити як усередині іншої будівлі, так і в чистому полі. «Запитуючи, яким має бути дата-центр, ми дуже часто стикаємося зі стереотипом бетонної будівлі з потужними стінами та перекриттями, - ділиться досвідом Олександр Переведенцев,заступник начальника відділу підтримки продажів інженерних систем компанії "Техносерв". - Однак насправді переваг такого ЦОДу перед модульним не має. Зазвичай прагнення монументальності гасне, коли замовник порівнює терміни та кошторис будівництва з витратами на зведення модульної конструкції».

«При грамотному плануванні термін проектування та введення в експлуатацію може бути скорочений у 2 рази і більше за рахунок фактичної відсутності будівництва капітальних споруд (включаючи проектування, експертизу проекту, отримання дозволів на будівництво та безпосередньо самого будівництва», – коментує експерт компанії «Енвіжн Груп») Арсеній Фомін.

У розрізі капітальних витрат певна економія може бути досягнута за рахунок використання готових типових продуктів, які обходяться дешевше за рішення, розроблені на замовлення. Однак ще більшу роль грає можливість вводити окремі блоки в експлуатацію поетапно, тим самим скорочуючи розмір початкових інвестицій. «Будівництво ЦОДу за принципом модульності дає можливість вкладати гроші поетапно, створюючи відмовостійкі кластери, що діють, що дозволяють одночасно вирішувати покладені на них бізнес-завдання (отримувати прибуток) і повертати вкладені інвестиції. Початкові інвестиції проекту становлять 20%-30%, решта розподілена за часом відповідно до етапів введення ЦОДу в експлуатацію», - пояснює Павло Дмитрієв, заступник директора департаменту інтелектуальних будівель компанії «Крок»

Загальна економія CAPEX при використанні модульних рішень складає до 30%, підрахували в дослідницькій компанії 451 Research. Опитані CNews системні інтегратори називають цифри від 15 до 50% економії на капітальних витратах залежно від конструктивних особливостей об'єкта.

В області операційних витрат економія відбувається за рахунок уніфікації інженерних систем, відповідно, скорочуються витрати на обслуговуючий персонал, закупівлю запасних частин та ремонт. Крім того, з'являється можливість зменшити рахунок за електроенергію. За даними Schneider Electric, модульний підхід дозволяє знизити сукупну вартість володіння (Total Cost of Ownership, TCO) на $2–7 у перерахунку на 1 Вт потужності ЦОДу. «Економія електроенергії йде за рахунок того, що модульні ЦОДи зазвичай компактніші, ніж «класичні». Обсяг повітря, яке потрібно охолоджувати, в них менше, тому системи кондиціювання споживають менше електроенергії», - пояснює представник компанії «Утілекс» Валентин Фосс.

Втім, не всі гравці ринку погоджуються з тим, що економія на OPEX є значною: «Операційні витрати будуть приблизно однакові в порівнянні з немодульним дата-центром», - вважає Арсеній Фомін. Однак він застерігається, що «економія може бути досягнута за рахунок відсутності необхідності утримання та ремонту капітальної будівлі.»

Приклади проектів модульних ЦОД у 2015–2016 роках.

Оперативність у прийнятті та реалізації стратегічних рішень вже давно стала ключовим фактором конкурентної боротьби в умовах ринкової економіки. На розвинених ринках боротьба навіть за мінімальну і найкоротшечасну бізнес-перевагу набуває найчастіше ірраціональних масштабів. Це повною мірою стосується і галузі корпоративних ІТ, у тому числі сфери центрів обробки даних. Якогось моменту виробники обладнання вирішили поширити підхід «коробкових» рішень навіть на такий складний комплекс, як інженерна інфраструктура ЦОД. У результаті народилася концепція контейнерних дата-центрів. На першому етапі головним завданням і перевагою таких рішень була їхня мобільність, яка полягала в можливості оперативно перевозити дата-центр з одного місця в інше, швидко вводити його в експлуатацію і швидко згортати. Звідси і назва – «мобільний ЦОД» або МЦОД. Багато західних компаній незабаром оцінили таку концепцію, і замість використання мобільності системи стали застосовувати ці комплекси для прискорення запуску в експлуатацію стаціонарних обчислювальних майданчиків. У цьому контексті зібраний, налаштований і протестований виробником контейнер підходить якнайкраще. Таким чином, з'явилася друга назва концепції - модульний ЦОД (знову ж таки, МЦОД) його ще називають «контейнерним».

Ідея здалася багатьом дуже вдалою, у результаті в «докризовий» період 2006-2008 років свої розробки МЦОД представили десятки компаній у всьому світі. APC, Emerson, IBM, Hewlett-Packard, Dell, Sun Microsystems (нині Oracle), SGI – ось неповний список міжнародних виробників, які працюють над створенням подібних рішень.

Різке погіршення загальносвітової економічної ситуації заморозило попит на такі рішення. Але «відлига», що намітилася, знову починає підігрівати інтерес до модульних дата-центрів.

Використання систем такого класу поки що виявляється дорожчим за аналогічні стаціонарні ЦОД, але ціна рішень постійно знижується. До того ж економіка поступово відроджується, а разом із нею – і інтерес до рішень, що підвищують оперативність роботи та швидкість розгортання бізнесу. У той же час не можна забувати і про те, що до вибору МЦОДу треба підходити виважено, оскільки подібні рішення мають чимало підводних каменів.

Начинка "контейнера"

З інженерної точки зору контейнерний ЦОД є невеликим автономним готовим до експлуатації модулем, який усередині обладнаний , СКС, системами безперебійного електроживлення та кондиціювання, засобами протипожежного захисту та умовного доступу, моніторингу та управління інфраструктурою (рис. 1, 2). Важливою характеристикою МЦОДу є стійкість до впливів навколишнього середовища, адже такий комплекс часто можуть встановити на вулиці.

Подібні комплекси найчастіше поміщають у стандартні 20 або 40-футові металеві контейнери для морських перевезень (хоча це і «пережиток» початкової орієнтації на рухливість). Є й інші варіанти виконання, що передбачають розміщення у спеціальних, більших контейнерах. В одному МЦОД міститься від кількох до десяти і більше повнорозмірних (аж до 60U) серверних стійок, а потужність встановленого обладнання коливається в межах від кількох десятків до сотень кіловат.

Зараз, на перший план виходить можливість використовувати модулі як базові складові для створення та масштабування дата-центрів. Розробники стали пропонувати такі системи як повноцінну заміну традиційним ЦОД або як автономні модулі розширення. До важливих переваг МЦОД можна включити той факт, що замовник позбавляється необхідності розробки та побудови власного об'єкта зі складною інженерною інфраструктурою. Немає необхідності виконання будівельних робіт для розміщення комплексу і, як наслідок, зменшується кількість необхідної дозвільної документації та погоджень із держорганами. Натомість можна взяти вже готове та перевірене рішення, яке до того ж легко масштабується – у міру необхідності додаються такі ж контейнери. Оскільки монтажні роботи та тестування всіх підсистем виконуються на заводі-виробнику, то при введенні модульного ЦОД в експлуатацію потрібно виконати на місці лише пуско-налагоджувальні роботи, які, як показує практика зарубіжних впроваджень, займають від кількох днів до тижня.

Окреме питання – час постачання комплексу замовнику. Терміни виконання проекту становили трохи більше трьох місяців - з 9 липня по 15 вересня 2009 року (рис. 3).

Зазначимо, що «мобільність», з якої все починалося, є умовною. Щоб ввести МЦОД в експлуатацію, його треба підключити до електромережі та каналів передачі даних. Крім того, якщо використовується водяна система охолодження, необхідно також забезпечити підведення води і наявність зовнішньої холодильної машини (чиллера). Теоретично можливий варіант, коли МЦОД живиться від автономного дизельного генератора, використовує повітряну систему охолодження (тоді чилер не потрібен), але за нинішньої вартості палива економічна ефективність такого рішення буде сумнівною.

Зазначимо також, що контейнерний (модульний) та мобільний варіанти ЦОД відрізняються. Комплекс, призначений для транспортування, буде значно дорожчим, оскільки він має бути оснащений спеціальною демпферною платформою, що забезпечує безпечне навантаження та перевезення.

МЦОД - критерії вибору

Вибір складного комплексного рішення, чи то звичайний чи контейнерний ЦОД, пов'язані з необхідністю детального аналізу потреб компанії, формуванням чітких вимог, і критеріїв оцінки ефективності проекту. Наприклад, у масштабних проектах, де використовується безліч контейнерів, який завжди раціонально застосовувати кожному з них індивідуальну систему електроживлення чи охолодження. Найвигідніше підключити ці підсистеми централізовано, використовуючи принцип контейнерних груп - особливо якщо ЦОД не передбачається пересувати.

Також при виборі контейнерних дата-центрів дуже важливо звертати увагу на адаптованість рішення до нашої дозвільної системи, у тому числі щодо систем пожежогасіння, відповідності вимогам НБУ щодо екранування тощо. Потрібно враховувати і місцеві кліматичні норми, діапазони температурних коливань, кількість опадів, адже комплекс перебуватиме на вулиці цілий рік. Не можна скидати з рахунків і питання підключення технічного обслуговування, для якого необхідні досвідчені технічні фахівці вузького спрямування, які знають нюанси роботи саме мобільних рішень.

Ціна одного контейнерного ЦОД досить висока. Його вартість вища, ніж стаціонарного дата-центру аналогічної потужності. Однак слід враховувати, що ціна мобільного ЦОД не включає вартості організації зовнішніх систем забезпечення - ДГУ, чиллера, трансформаторної підстанції, складу ПММ, обов'язково із заземленням, і так далі (у кожному випадку це індивідуальний набір), а традиційний ЦОД за зазначеної вартості вже містить всі ці підсистеми, що становлять значну частку проекту.

А як бути із персоналом? Для нього необхідне окреме приміщення, яке відповідає санітарним нормам, а там елементарно мають бути санвузли, не передбачені базовою конструкцією МЦОД, отже, треба робити прибудову. На (рис. 3) добре видно додаткові бічні приміщення для персоналу, прибудовані до 20-футового контейнера з торців, а також труби системи охолодження.

У ряді випадків при масштабному використанні контейнерів (у проектах від 1 МВт і вище) різниця у вартості може скоротитися; у тому числі за рахунок використання загальних підсистем гарантованого електроживлення та кондиціювання. Однак тут варто враховувати той момент, що велике впровадження, навіть засноване на контейнерних ЦОДах, значною мірою позбавлене гнучкості. Електричну потужність треба отримувати відразу весь майбутній комплекс (як і розробляти систему гарантованого електроживлення та кондиціювання), навіть якщо спочатку планується встановити лише кілька контейнерів і нарощувати їх кількість у міру необхідності. Крім того, обслуговувати велику кількість МЦОД під відкритим небом незручно, отже, треба зводити укриття, а це вже робота з архітектором, БТІ - загалом все те ж будівництво.

За інших рівних умов, вартість мобільного або модульного ЦОД явно вища за ЦОД стаціонарного. Але в ряді випадків його мобільність (модульність), основна вимога замовника. Не завжди буває можливість розгорнути будівництво стаціонарного ЦОД, наприклад, в умовах крайньої півночі. І в цьому випадку модульність ЦОД перевага. А так само при тимчасовій необхідності одного й того самого ЦОДу, але в різних місцях.

Основою для виникнення цього рішення свого часу стали мобільні ЦОДи («ЦОДи в контейнері»), що з'явилися на ринку близько 3 років тому. Мобільність ЦОДів - спочатку їх найважливіша характеристика - почала відходити другого план, поступаючись місцем таким чинникам, як автономність і швидкість розгортання. Як наслідок, виробники почали відмовлятися від терміну «мобільність», переходячи до «модульності», та розширювати свої рішення – масштабувати модульні ЦОДи до розмірів стандартних дата-центрів, не обмежуючись окремим контейнером.

Обмеження модульного ЦОДу

Один із недоліків цього рішення – труднощі адаптації під нестандартне обладнання (масиви Hi-End з нестандартними форм-факторами, з нетиповими вимогами до системи охолодження). Подібне обладнання важко встає в «цеглинки» модульного ЦОДу з його «заточеними» під класичну схему інженерними системами. У такому разі доводиться проектувати відповідні системи спеціально під модульний дата-центр.

Іноді замовники йдуть шляхом формування невеликого стаціонарного ЦОДу для нетипового серверного обладнання. Стандартні сервери при цьому «живуть» у побудованому поруч модульному ЦОДі. Подібна схема розподілу обладнання економічніша, ніж зведення звичайного ЦОД для всіх серверів.

Той факт, що модульні ЦОДи віддають перевагу стандартним серверам, обертається певною перевагою для замовників - цим обладнанням легко керувати.

Логічним наслідком є ​​скорочення експлуатаційних витрат - витрат за його обслуговування.

Потрібно сказати, що обсяги капітальних вкладень при будівництві стаціонарного ЦОДу будуть нижчими, ніж при купівлі модульного. У випадку з модульним ЦОДом замовник у сукупності набуває і стін, і металоконструкцій, і опорних частин. Але мислити необхідно комплексно і вважати на перспективу: за рахунок зниження витрат, пов'язаних з інженерним оснащенням «порожніх» площ, які мали б місце в масштабному стандартному ЦОДі, можна вийти на окупність модульного дата-центру набагато швидше - через 2-3 роки замовник буде у плюсі.

Існують обмеження щодо зведення модульного ЦОДу: для такого дата-центру необхідний критий ангар або місце, де його можна побудувати. Неможливо реалізувати «модульну» схему у будівлі з вільними приміщеннями у різних його частинах.

З урахуванням особливостей будівельних майданчиків у Москві (дорожнеча площ, складний технічний стан будівельних конструкцій), модульний ЦОД економічно вигідніше будувати за межами столиці. До того ж, у Москві складніше отримати необхідні електричні потужності, ніж у області.

Якщо говорити про енергоефективність, у модульному ЦОД можна успішно реалізувати ті ж «зелені» технології, що і в стаціонарному дата-центрі. Єдине рішення, яке тут неможливо використовувати через його масивність – колесо Kyoto Cooling.

Поява технології створення дата-центру (ДЦ) на базі морського контейнера вже далекого 2007 року не привернула особливої ​​уваги експертів: рішення представлялося не просто нішевим, а, швидше, експериментом, який міг дозволити собі один із лідерів світового ІТ-ринку.

Проте новинка виявилася затребуваною, оскільки вирішувала завдання оперативного розгортання невеликого, але високонадійного ДЦ. Конкуренти оцінили зручний хід, що зумовило появу нового класу ДЦ, т.з. мобільних ДЦ. На відміну від традиційних ДЦ, які розміщуються у звичайних будинках з бетону та цегли, ці рішення поставляються у вигляді готових виробів і можуть встановлюватися та експлуатуватися навіть просто неба.

Природним розвитком цього напряму стала поява нового класу ДЦ – модульних ДЦ (Modular Datacentre, MDC). Технологія їх створення дозволяє оперативно будувати та масштабувати розгорнутий об'єкт, а потім нарощувати його до рівня великих ДЦ. За оцінками експертів, від моменту підписання договору до здачі в експлуатацію класичного ДЦ із площею 250-300 кв. м йде від 7-8 місяців до 1 року. Для аналогічного модульного ДЦ завдяки тому, що всі його елементи є типовими, час на проектування, постачання, монтаж та введення в експлуатацію скорочується до 3-5 місяців.

Контейнерні та модульні ДЦ перестали бути нішевим видом бізнесу, вийшли з тіні та стали суттєвим фактором зростання всього ринку ДЦ порівняно недавно, на рубежі 2009-2010----рр. Поширення модульних ДЦ, збільшення кількості не пілотних, а запущених у комерційну експлуатацію об'єктів — одна із суттєвих тенденцій світового ринку ДЦ за підсумками 2012 року.

Від контейнера до модуля

Розглядаючи відомі визначення модульного ДЦ, можна виділити кілька тлумачень: під терміном модульний (modular data center, containerized data center, containerized modular data centers) можуть ховатися різні за функціями і можливостями системи або рішення 1 .

На першому етапі концепція модульних ДЦ традиційно була прив'язана до морських контейнерів (тирозмір ISO) і розглядалася як функціонально повний ДЦ, розміщений у стандартному металевому корпусі. Однак розвиток концепції модульності поступово вийшов за межі поняття «контейнерні ДЦ». Разом з тим, останні досі не втратили свого значення і залишаються затребуваними в різних галузях економіки.

Оскільки єдина термінологія не сформувалася, її поки що немає і в нормативній базі. У експертному співтоваристві розглядаються кілька варіантів поняття «модульного ДЦ», причому всі вони виходять із припущення, що такі ДЦ будуються на основі контейнерної бази. Тобто, за визначенням IMS Research, попередньо змонтованої повністю закритої мобільної оболонки, в якій розміщені ВСІ підсистеми інфраструктури ДЦ 2 .

У міру розвитку концепції більшість експертів почали схилятися до іншого погляду на модульні ДЦ. Цей підхід передбачає можливість попереднього монтажу та тестування інженерних та ІТ-підсистем ДЦ у контейнер, який є металевою конструкцією у формі прямокутного паралелепіпеда довільних, але стандартизованих вендором розмірів. Як приклад можна навести рішення HP-Flexible Data Center, в якому ДЦ формувався із чотирьох функціональних блоків (контейнерів), що з'єднуються за допомогою центрального вузла.

Ще один підхід ґрунтується на тому, що базою модульного ДЦ може бути будь-який замкнутий простір, у тому числі контейнер (стандартизований чи ні). Модульність такого ДЦ обумовлена ​​тим, що всі підсистеми інфраструктури ДЦ монтуються із стандартних блоків, модулів, попередньо виготовлених та протестованих на заводі-виробнику. Дані блоки стикуються як усередині одного типу, так і з іншими типами, що дозволяє масштабувати як конкретну підсистему, так і ДЦ в цілому. Така універсальність відноситься і до апаратури, і ПЗ. Загалом можна припустити, що не всі модульні ДЦ розташовуються у контейнері, проте більшість контейнерних ДЦ належать до класу модульних ДЦ.

Поява контейнерних, а потім модульних ДЦ дало поштовх до формування нової парадигми створення ДЦ, т.з. Data Center 2.0. На думку її авторів, вона проголошує відхід від традиційного варіанта будівництва ДЦ, що базувався на бізнес-моделі ДЦ як будівлі, приміщення, що здається в оренду. Нова концепція дозволяє розглядати ДЦ елемент ІТ, своєрідний програмно-апаратний комплекс, з допомогою якого клієнтам пропонуються різні послуги.

Економіка питання

Переваги модульних ДЦ є суттєвими: мобільність у плані доставки готового виробу, швидкість розгортання за межами виробничої ділянки, аутсорсинг дизайну та потенційна економія податків.

За оцінками компанії 451 Research, використання модульних ДЦ у більшості випадків забезпечує зниження витрат на будівництво, а економія капітальних витрат у цьому випадку становитиме від 10 до 30%. Згідно з розрахунками фахівців компанії «Техносерв», модульний ДЦ обходиться в 1,5-2 рази дешевше за орендований або придбаний майданчик. Однак якщо замовник має власне приміщення, в якому не треба робити посилення перекриттів, капітальний ремонт, інші будівельні роботи, то вартість порівнянна, або модульне--- рішення буде на 10-15% дорожче.

За даними Schneider Electric, використання модульного підходу забезпечує зниження капітальних та операційних витрат на 2-7 доларів у перерахунку на 1 Вт потужності ДЦ. З цими висновками збігається і оцінка Forrester, згідно з якою традиційна схема створення ДЦ потужністю 2 МВт вимагатиме витрат близько 127,4 млн доларів, а ДЦ, реалізований за модульною схемою, коштуватиме 77,1 млн доларів 3 . У середньому, за оцінками експертів, у 2012-му р. модульний ДЦ у розрахунку на 1 МВт коштував замовнику 6 млн доларів без урахування доставки та пусконалагоджувальних робіт.

Компанія DCD intelligence провела порівняння витрат на створення ДЦ потужністю 4 МВт у США (Мал.  1) . За її розрахунками, створення традиційного ДЦ обійдеться замовнику на 13-14% дорожче, ніж модульний варіант. Основна перевага досягається за рахунок зниження витрат на монтаж та налагодження обладнання. Слід звернути увагу, що безпосередньо обладнання та ПЗ для модульного ДЦ суттєво дорожче.

Рис.1. Порівняння витрат на створення ДЦ потужністю 4 МВт у США, ціни в доларах США станом на 01.01.2013 р. Джерело: DCD Intelligence

Безперечною перевагою модульного ДЦ є фабричне складання, яке дозволяє усунути більшість технологічних дефектів до відправки модуля замовнику. При цьому модульні ДЦ мають високу інформаційну та фізичну безпеку, а системи моніторингу, що постачаються в комплекті, вже базуються на рішеннях DCIM.

Очевидно, що концепція модульності передбачає стандартизацію рішень: це створює основу для підвищення якості та надійності блоків та подальшого зниження експлуатаційних витрат. Крім стислих термінів розгортання, іншою перевагою є його висока масштабованість: модульне рішення мінімізує капітальні витрати на першому етапі, а надалі дає можливість нарощувати потужність ДЦ без істотних переробок інженерної інфраструктури.

Економія енергії

До переваг модульних ДЦ слід також віднести високі значення енергоефективності як окремих модулів, так модульного ДЦ загалом. Це зумовлено тим, що вже на етапі проектування такого дата-центру конструктори оптимізують енергоспоживання та тепловідведення всіх його компонентів з урахуванням можливостей конструкції.

Практичні вимірювання показали, що застосування модульної конструкції дає суттєве підвищення енергоефективності та дозволяє досягти значної економії коштів. Наприклад, у ДЦ IO Phoenix за підсумками 2012 року коефіцієнт PUE тієї частини, де використовується фальшпідлога, становив 1,73, тоді як середньорічний PUE модульної частини становив 1,41. Для США (штат Арізона) це виявляється у щорічній економії в 200 000 доларів/1 МВт потужності ІТ-обладнання 4 . Представники компанії відзначають, що модульна частина ДЦ перевершила аналог з фальшпідлогою частково завдяки унікальній конструкції модулів, яка забезпечує управління повітряними потоками на порядок ефективніше, ніж у разі використання з цією метою гарячих і холодних коридорів. Мабуть, єдиним енергоефективним рішенням, яке поки що неможливо використовувати в модульних ДЦ, є колесо Kyoto Cooling: його розміри не вписуються в габарити відомих модулів.

Сценарії використання

Навіть з урахуванням розглянутих нижче обмежень та сумнівів при впровадженні модульних ДЦ це рішення, напевно, затребуване у двох випадках: за необхідності оперативної заміни існуючого ДЦ або зведення нового в умовах обмежених площ (резервний ДЦ, ДЦ у віддаленій філії компанії). Інша сфера використання модульних ДЦ — послуга colocation. Будувати масштабний ДЦ, не впевнений у тому, що його площі будуть затребувані, — величезний ризик для провайдера. Модульна технологія має маневреність і дозволяє мінімізувати капітальні витрати саме на старті.

При розміщенні нового ДЦ мало хто з проектувальників припускає, що через 2-3 роки після його введення в комерційну експлуатацію може виникнути ситуація, яка потребує переміщення ДЦ в інший або навіть регіон. У випадку зі стаціонарним ДЦ його переїзд ризикує перетворитися для господарів на пекло непроглядне. У випадку з модульним ДЦ розбирання/складання та переміщення займуть мінімальний час, причому переїзд можна оптимізувати: вводити/виводити ДЦ «помодульно».

Модульні ДЦ справляються практично безболісно і з такою проблемою, як підвищення енергоспоживання апаратури в стійках і необхідність збільшити тепловідведення: сама конструкція передбачає оперативну зміну параметрів апаратури, що розміщується.

Проблеми впровадження модульних ДЦ

Окрім безперечних переваг, експерти відзначають і низку обмежень при будівництві модульних ДЦ: у деяких випадках їх ціна зводить переваги нанівець у порівнянні з традиційними ДЦ. Крім того, багато вендорів не мають єдиного підходу до стандартизації блоків і безпосередньо модулів, що іноді стає причиною повернення потенційних клієнтів до традиційного рішення. Проте, IMS Research вважає, що неминуча стандартизація продукції та зростання обсягів виробництва у перспективі дозволять суттєво знизити собівартість модульних ДЦ.

Певним бар'єром слід вважати консервативність мислення замовника. Наприклад, профілактичне та регламентне технічне обслуговування зрозумілі клієнту. Але як поведеться новинка у разі відмови обладнання? Очевидно, при необхідності ремонту стандартна інфраструктура не викликає труднощів, але проблеми, які можуть виникнути у разі ремонту в модульному ДЦ, здатні поставити замовника в глухий кут, тим більше що своїми силами йому навряд чи вдасться оперативно усунути несправність. Внаслідок цього виникає неприємна проблема залежності від вендора.

Якщо говорити про великі і дуже великі ДЦ, наприклад, такі, що належать таким грандам, як Microsoft, Google або Amazon, то тут можливості та переваги модульних ДЦ роблять їх кращим варіантом як з урахуванням масштабованості, так і оптимізації витрат. Але якщо йдеться про проектоване невелике ДЦ, наприклад, із споживаною потужністю 200-300 кВт, то вибір на користь інноваційного рішення щонайменше не очевидний.

Інший критерій - площа ДЦ, що будується. За оцінками експертів, поріг рентабельності для модульних ДЦ поки що знаходиться на рівні 200-250 кв. м. Таким чином, і за критерієм «потужність», і за критерієм «площа» йдеться про середні або великі ДЦ, а для невеликих ДЦ оптимальне безпосереднє будівництво.

Майбутнім власникам модульних ДЦ слід врахувати труднощі їхньої адаптації під нестандартне обладнання, наприклад, масиви Hi-End з нестандартними форм-факторами та нетиповими вимогами до системи охолодження. Інтегрувати подібне обладнання до модульного ДЦ у ряді випадків непросто: це може вимагати додаткового уточнення проекту. Відомий паліатив, коли стандартні сервери розміщуються в модульному ДЦ, а нестандартні встановлюються в ДЦ, побудованому за класичною схемою.

У 2012 р. Uptime Institute провів серед ІТ-фахівців опитування, спробувавши з'ясувати суттєві, на їхню думку, недоліки модульних рішень. Найбільше респондентів (35  %) повідомили, що пропозиції вендорів є недостатніми гнучкі і не задовольняють їх вимогам (Мал.   2) . Ще 33 % вважають, що поки модульні ДЦ надто дорогі. 32  % опитаних наголошують на невеликому терміні служби таких рішень, 30  % вказують на новизну технології та відсутність достатньої кількості реалізованих проектів, а 27  % незадоволені тим, що рішення «залочені» виробником. Крім того, 15  % респондентів нарікають на невеликий вибір продуктів, а 12  % не влаштовує розмір блоків.

Мал. 2. Результати опитування Uptime Institute серед ІТ-фахівців Джерело: Uptime Institute, 2012

Наріжне питання будь-якого проекту — термін окупності. Більшість експертів вважає, що визначальними факторами для терміну окупності є бізнес-модель та умови розгортання. Також має значення цільове призначення модульного ДЦ: чи використовуватиметься він як комерційний чи як відомчий ЦОД?

Постачальники модульних ДЦ

Спектр постачальників модульних ДЦ та його компонентів надзвичайно широкий. Тут присутні вендори, для яких модульні ДЦ є основним видом бізнесу; постачальники елементів інженерної інфраструктури класичних ДЦ та ІТ-рішень; а також компанії, що надають послуги ДЦ.

До перших відносяться: AST Modular, BladeRoom Group Ltd, Cannon Technologies, COLT Technology Services, Datapod, Flexenclosure, Elliptical Mobile Solutions, IO Datacenters, MDC Stockholm, NxGen Modular та Silver Linings Systems.

Основними гравцями другого сегменту є Schneider Electric та Emerson Network Power. Серед вендорів, що постачають на ринок ІТ-рішення, найвідоміші: Dell, HP, IBM, Cisco, SGI, Huawei, Google, Toshiba, Bull.

У фокусі цього огляду — компанії, що належать до перших двох груп (Див. таблицю).

Таблиця. Перелік основних гравців ринку модульних ДЦ станом на 01.10.2013 р. Джерело: дані компаній

AST Modular

Іспанська інжинірингова компанія випускає лінійку модульних ДЦ в ISO-контейнерах типорозмірів 10", 20", 40" та 53". Можливі два варіанти виконання. У першому варіанті розміщуються ІТ-підсистема та всі підсистеми інженерної інфраструктури, включаючи підсистему пожежогасіння. Для другого розроблено два модулі: IT Unit та Power Unit. До стійк, що розміщуються в IT Unit, може бути підведено 3-40 кВт, в контейнері 40" може бути розміщено до 19 стійок. Інфраструктура дозволяє забезпечити високу надійність ДЦ - аж до рівня Tier IV. Рішення саме цієї компанії обрано "Вимпелкомом" для ДЦ в Ярославлі.

BladeRoom Group Ltd

Компанія постачає модульний ДЦ під брендом BladeRoom system. На основі модуля можливо побудувати ДЦ з площею від 600 до 60 000 кв. м, при цьому система тепловідведення забезпечує потужність, що підводиться, від 1,0 до 24 кВт/стійка (повітряне охолодження). Інженерна інфраструктура BladeRoom system дозволяє організувати ДЦ з різними рівнями надійності Tier II-IV. В останньому випадку використовуються два незалежні енерговведення, ДБЖ конфігуруються до 2N, дизель-генератори - також до 2N. Система вентиляції підтримує температуру ІТ-обладнання у модулі в діапазоні 18-24 °C. Компанія гарантує замовлення, постачання та пусконалагодження модульного ДЦ (120 стійок) за 12 тижнів.

COLT Technology Services

Компанія із Великобританії відома як постачальник послуг ДЦ у Європі. Для реалізації модульних ДЦ пропонує рішення під брендом Colt ftec data centre. До складу рішення входять модулі Colt Spaceflex, Colt Powerflex, Colt coolflex. Площа ІТ-модуля Colt spaceflex варіюється в діапазоні 125-500 кв. м. Модуль енергопостачання забезпечує живлення потужністю до 3 кВт/кв. м, або до 230 кВт/ряд стійок при 25 кВт/стійка. Останнє впровадження компанії анонсовано у липні 2013 р. у Нідерландах. Тут на площі близько 1000 кв. м додатково встановлені модулі компанії, підведена потужність 1,6 МВт, до 20 кВт/стійка за гарантованого PUE 1,21.

Flexenclosure

Компанія Flexenclosure – шведський вендор, який розробляє та виробляє швидкозбірні модульні ДЦ, а також елементи електроенергетичної інфраструктури (насамперед для телекомунікаційної галузі). Рішення eCentre — модульний ДЦ, що швидко зводиться, для розміщення та запитки серверного та телекомунікаційного обладнання. Його оптимізовано для підвищення енергоефективності та мінімізації сукупної вартості володіння. Модульний ДЦ eCentre включає інфраструктуру електроживлення, охолодження та безпеки.

Elliptical Mobile Solutions

Elliptical Mobile Solutions заснована в 2005  р. та займає особливе становище серед постачальників модульних ДЦ. Компанія спеціалізується на т.п.  н. мікромодульному рівні (рівні стійки) і випускає два основних продукти: R.A.S.E.R. HD та R.A.S.E.R. DX. Обидва пристрої є функціонально закінчені ДЦ. Модуль R.A.S.E.R. DX - блок, в якому можуть бути встановлені 42 ІТ-пристрої з сумарною споживаною потужністю не більше 12 кВт. Модуль R.A.S.E.R. HD також забезпечує встановлення 42 ІТ-пристроїв, проте їх сумарна споживана потужність може бути в діапазоні 20-80 кВт, що забезпечується водяною системою охолодження. При цьому виробник анонсує пристрій PUE не вище 1,1 (!).

IO Datacenters

Компанія IO Datacenters пропонує інфраструктурні модулі та програмне забезпечення для створення модульних ДЦ. Продуктова лінійка IO.Anywhere має три види модулів: CORE, EDGE та ECO.

IO.Anywhere CORE включає три типи модулів: до 18 стійок 50U, до 50 стійок 50U і силовий модуль, що забезпечує роботу інформаційного модуля із споживаною потужністю до 600 кВт. У комплект поставки всіх модулів включений програмний комплекс для керування розподілом енергії та тепловідведенням.

IO.Anywhere EDGE включає два типи модулів: до семи стійок 50U для вирішення ІТ-завдань та інфраструктурний модуль для розміщення підсистем безперебійного живлення, охолодження та пожежогасіння.

MDC Stockholm

Компанія із Швеції пропонує рішення на основі функціонально незалежних модулів (серверний модуль, модуль охолодження, модуль безперебійного живлення, модуль керування).

NxGen Modular

Компанія NxGen Modular заснована порівняно недавно, у 2009 р., проте серед її замовників можна знайти і Microsoft, і Apple (ДЦ у м. Прайнвіль, штат Орегон, США). Компанія постачає як компоненти модульних ДЦ, і безпосередньо модульні ДЦ. Серед основних продуктів компанії – ДЦ у контейнері: до 300 кВт для ІТ-систем; енергетичний модуль; модуль охолодження та модуль, що інтегрує підсистеми живлення, охолодження та кабельні телекомунікаційні з'єднання на загальній платформі.

Silver Linings Systems

Компанія постачає модулі для ДЦ у двох варіантах: модуль, стандартизований SLS, та модуль на основі ISO-контейнера. Модулі сполучаються з модулями живлення та охолодження. У першому варіанті один або два ряди може бути розміщено від 4 до 10 стійок (45U). Конструкція модуля забезпечує тепловідведення від стійки в діапазоні 7-35 кВт. В останньому випадку в модулі може бути розміщено трохи більше чотирьох стійок.

Другий варіант передбачає використання ISO-контейнерів типових розмірів: 20, 40 або 53 фути. У першому випадку модуль складається з двох контейнерів, в останньому їх п'ять. У модулі може бути розміщено від 8 до 50 стійок. Конструкція забезпечує тепловідведення від стійки при енергоспоживання в діапазоні 7-28 кВт. Модулі анонсуються без системи безперебійного живлення та без системи пожежогасіння. Ймовірно, підбір пристроїв для цих підсистем інженерної інфраструктури виконуватиме інтегратор проекту.

Emerson Network Power

Компанія пропонує кілька продуктів (SmartRow, SmartAisle та Smart-Mod) під загальним брендом Smart Solutions. SmartRow - функціонально закінчений модуль відкритого виконання з 3-6 ІТ-стійок, блоку охолодження, блоку електроживлення та блоку пожежогасіння. SmartAisle - функціонально закінчений модуль відкритого виконання, що включає до 40 ІТ-стійок у дворядному виконанні (20х 2) при допустимій потужності до 10 кВт/стійка, системи охолодження та електроживлення.

У комплект модулів входить програмно-апаратний комплекс Liebert iCOM controls. Для дистанційного моніторингу та управління елементами інфраструктури модуля SmartAisle можуть бути використані системи Avocent, Liebert Nform і Liebert SiteScan.

На відміну від SmartRow та SmartAisle SmartMod представляє групу контейнерно-розміщених модулів, які дозволяють встановити всередині контейнера ІТ-систему та системи охолодження та електроживлення. Можливий варіант, коли окремому модулі розміщується система електроживлення.

Для реалізації проектів з урахуванням даних продуктів компанія пропонує комплекс проектування SmartDesign. Усі комплектуючі, на основі яких виконані рішення, також виготовлені Emerson Network Power.

Schneider Electric

Компанія розробила комплекс модулів та архітектуру ДЦ на їх основі. Основні модулі: Data Center Module, Facility Power Module (500 кВт), Air Cooling Module (400 кВт) та Water Cooling Module (500 кВт).

Сегмент модульних ДЦ приваблює інтерес дедалі більшої кількості постачальників інфокомунікаційних продуктів. Наприклад, постачання модульних ДЦ у 2013 році планувала розпочати компанія NEC. Її розробки будуть застосовуватись у великих стаціонарних ДЦ. У Росії кілька фірм анонсували свої продукти даного сегмента. Першопрохідником була компанія «Сітронікс», яка у 2010 р. випустила на ринок контейнерні ДЦ Daterium. Наразі вона пропонує Daterium 2 та Daterium 3. У 2013 р. свій модульний проект «ІТ-Екіпаж» представила компанія «Техносерв».

Використання модульних ДЦ почалося і російському ринку. Крім великого проекту «Вимпелкому», про який згадувалося вище, у жовтні 2013 р. «Аерофлот», HP та «Техносерв» оголосили про завершення проекту створення резервного ЦОД авіаперевізника. Рішення включає продукт компанії «Техносерв» — модульний ДЦ «ІТ-Екіпаж».

Цифри та факти

Наскільки великий потенціал сегмента модульних ДЦ у майбутньому? Експерти компанії IMS Research, які використовують для визначення модульних ДЦ не термін modular data center, а containerized data centers (куди включаються і модульні, і контейнерні, і мобільні ДЦ), вважають, що постачання containerized data centers у 2013 році зросте на 40  % у порівнянні з 2012 роком. Згідно зі звітом цієї компанії, у 2012 р. порівняно з 2011 р. обсяг цього сегменту ринку ДЦ практично подвоївся.

Контейнерні та модульні рішення з'явилися у 2005-2006 рр., але експерти IMS Research вважають, що по суті цей сегмент ринку почав формуватися лише у 2011 році. IMS Research передбачає, що Північна Америка буде найбільшим ринком для модульних ДЦ у 2012 році, але прогнозує, що постачання до Китаю щороку подвоюватимуться протягом наступних п'яти років у зв'язку зі швидким зростанням галузі ДЦ у регіоні та необхідністю оперативного розгортання обчислювальних центрів. Ряд експертів, навпаки, вважає, що найбільшого успіху чекають модульні ДЦ на ринках Азії та Африки, що розвиваються.

Найменше оптимізму в експертів TechNavio. Вони припускають, що у 2012-2016 роках. у США ринок модульних ДЦ зростатиме в межах 11,2 % 5 .

За даними DCD intelligence, найбільше відносне зростання обсягу інвестицій у технології модульних ДЦ у 2011-2013 роках. був у РФ та Франції (Мал.   3) . Очевидно, тут варто говорити про відносне, ніж про велике валове зростання. Тим не менш, російські ІТ-компанії в такій ситуації можуть спробувати створити власні рішення навіть на базі імпортних комплектуючих. DCD intelligence передбачає, що у країнах BRIC є певний інтерес до обговорюваним рішенням.

Мал. 3. Відносне зростання обсягу інвестицій у технології модульних ДЦ, 2011-2013 рр.

Нещодавно група компаній Softline вивела на ринок принципово нову форму надання послуг дата-центру – «ЦОД як сервіс» (DCaaS). Рішення включає виробництво модульного центру обробки даних (МЦОД), його встановлення на майданчику замовника, сервісний супровід і помісячну схему оплати.

Послуга «ЦОД як сервіс» передбачає виробництво модульного дата-центру, його постачання, встановлення та підключення на майданчику замовника, а також його подальший супровід за умов щомісячної орендної плати, тобто без необхідності капітальних вкладень та розширення штату з боку замовника. Мабуть, у цьому полягає головна концептуальна особливість нашого рішення, яка ставить його в один ряд з такими сервісами, як, наприклад, IaaS чи HaaS.

Етапи реалізації

Після підписання договору та проведення авансового платежу запускається виробництво модулів майбутнього дата-центру на заводі нашого партнера, петербурзького виробника модульних ЦОД GreenMDC. Водночас, якщо на об'єкті відсутній майданчик для встановлення модуля, ми проводимо роботи з його підготовки. Важливо, щоб до майданчика була забезпечена можливість під'їзду вантажного транспорту та підйомного крана для доставки та встановлення готових модулів ЦОДу.

Вже через 4-5 місяців замовник отримує «під ключ» готовий модульний ЦОД, зроблений з урахуванням рекомендацій Uptime Institute не нижче за рівень TIER-III. Кожен МЦОД GreenMDC проходить програму заводських випробувань у присутності наших фахівців. Надалі це дозволяє уникнути можливих несправностей на майданчику замовника. У конфігурацію рішення входять всі інженерні системи, необхідні забезпечення безперебійної роботи обчислювального устаткування (шафи, системи електропостачання, пожежогасіння, охолодження, моніторингу та інших.). Доставку та підключення готового модульного дата-центру до інженерних мереж Softline здійснює власними силами. Замовнику залишається наповнити МЦОД власним обчислювальним та комунікаційним обладнанням (серверами, СГД, мережевими комутаторами та ін.) та використовувати на свій розсуд. Втім, у рамках додаткового проекту ми готові оснастити дата-центр та обчислювальною технікою.

Далі протягом терміну дії договору, знову ж таки на підставі щомісячних платежів, здійснюється сервісний супровід МЦОД. До нього включено необхідні роботи згідно з регламентом, які проводяться, як правило, раз на три місяці. До регламентних робіт належать візуальний контроль, перевірка працездатності систем, діагностика та усунення несправностей, віддалений моніторинг інженерних систем з підключенням до першої лінії підтримки з інформуванням про можливі несправності, своєчасна гарантійна заміна компонентів інженерного обладнання, що вийшли з ладу, та інші заходи, необхідні для забезпечення безперебійної роботи МЦОДу.

Планові контракти розраховані на 3-5 років (36 місяців - мінімальний термін): протягом цього часу замовник експлуатує МЦОД у міру своїх потреб, проте до закінчення терміну договору інженерне обладнання значиться на балансі Softline.

Фокус послуги

Ідея пропонувати ЦОД як сервіс виникла після аналізу запитів наших клієнтів. Багатьом із них стали вимагатися потужності власного дата-центру, причому у максимально короткі терміни та часто в умовах обмеженого бюджету. Оскільки сьогодні компанія Softline активно розвиває різні схеми послуги як сервіс (інфраструктура, ПЗ, обладнання), то ЦОД не став винятком. Ми виробили оптимальне за вартістю та швидкістю розгортання якісне та надійне рішення, знайшли партнера – компанію GreenMDС.

Щодо фокусу послуги, то в оцінці потенційних замовників ми не орієнтуємось на конкретну вертикаль. Цільові замовники DCaaS - це великий бізнес у різних галузях: ритейл, нафтова промисловість, телеком, держсектор і т. д. Потреби у них теж можуть бути різними: комусь необхідно побудувати резервний ЦОД, комусь - швидко оснастити власним дата- центром щойно відкрита філія або новий виробничий майданчик.

Які вигоди?

Насамперед, замовник отримує готовий модульний ЦОД без значних початкових інвестицій, які під час будівництва «класичного» дата-центру досягали б десятків і сотень мільйонів рублів. За схемою щомісячного платежу, що застосовується Softline, він, не виплативши повну вартість ЦОДу, вже може ним користуватися тут і зараз. У сервісний платіж включено навіть страховку від загибелі обладнання та недбалості. Також це дозволяє задіяти різні статті бюджету та перенести витрати до операційного бюджету.

Друга перевага – швидкість виробництва та запуску МЦОДу в експлуатацію. Softline пропонує кілька типових проектів, кожен з яких може бути реалізований за 4-5 місяців, але не обмежується ними. При необхідності ми разом із партнерами можемо розробити рішення під специфічні вимоги замовника.

Третє: поки Softline надає сервісну підтримку та технічне обслуговування МЦОДу, замовнику не потрібно додатково збільшувати штат і взагалі піклуватися про технічні питання, моніторинг, усунення несправностей. Підкреслю: у рамках цього рішення мається на увазі підтримка з боку Softline тільки інженерної інфраструктури, але при необхідності ми готові взяти на обслуговування все ІТ обладнання замовника.

Четверте – високий рівень захисту рішення. Ми будуємо модульний ЦОД, що відповідає рекомендаціям Uptime Institute не нижче рівня TIER3.

Зрештою, укладаючи договір із Softline, замовник користується всіма перевагами «принципу одного вікна»: він отримує підрядника, платить фіксовану плату і точно знає, коли МЦОД буде запущений в експлуатацію. Взаємодія з виробником (GreenMDC), пошук фінансування, доставку, встановлення модуля – все це Softline бере на себе.

Як і хмарний ЦОД, рішення ЦОД як сервіс добре масштабується: при зростанні потреб замовника в обчислювальних потужностях можна розширити його, приєднавши необхідний додатковий модуль до існуючого МЦОДу. Але модульний ЦОД встановлюється на території замовника і всі корпоративні дані не виходять за межі його ІТ-периметра.

GreenMDC - російський розробник

Компанія GreenMDC є російським розробником та виробником модульних центрів обробки даних. І услуга «ЦОД як сервіс» стала можливою завдяки спільним зусиллям Softline та GreenMDC. Наш партнер виробляє надійні модульні ЦОДи, що забезпечують стабільну роботу ІТ-інфраструктури та простоту експлуатації. Для спільних проектів з нами фахівці GreenMDC використовують весь свій багаторічний досвід розробки модульних дата-центрів, багатоступінчастого контролю якості складання та навантажувального тестування всіх інженерних систем МЦОД перед відправкою замовнику. Softlinе виступає як оператор проекту та веде проект від початку до кінця: від документообігу та узгодження робіт до подальшого обслуговування вже готового та введеного в експлуатацію ЦОДу.

Офіс та виробництво компанії GreenMDC знаходяться в Санкт-Петербурзі, тому комплексне рішення та кінцевий продукт є вітчизняним – незважаючи на присутність у ньому як вітчизняних, так і імпортних комплектуючих. Крім того, замовник фактично не купує обладнання, а орендує.

Базова комплектація послуги

Існує кілька типових конфігурацій модульного ЦОДу, з кількістю стійок від 6 до 10 та максимальним ІТ-навантаженням від 30 до 80 кВт на машинний зал, 5 або 8 кВт на стійку. Також ми можемо надати мікро-ЦОД, розрахований на дві стійки – це зовсім невеликі потужності для якихось невеликих об'єктів. Якщо ж замовнику необхідно розгорнути масштабніший ЦОД, ми готові розглянути й індивідуальне рішення.

В окремих, дуже поодиноких випадках замовник не може визначити оптимальний для нього варіант ЦОДа. Тоді ми готові провести аудит, визначити кількість серверів, додатків, систем, які зберігатимуться у дата-центрі – і, відповідно, обчислити необхідну потужність дата-центру.

Розповсюдження

Продуктова пропозиція послуги «ЦОД як сервіс» розроблена для російських клієнтів, але для будівництва у віддалених регіонах ми можемо будувати ЦОД та здійснювати підтримку за допомогою наших авторизованих партнерів. Компанія Softline веде бізнес у країнах СНД, включно з країнами Єдиного митного союзу, тому в майбутньому цілком можливий запуск цього рішення і в цих державах.