Требования к центру обработки данных

Центр обработки данных

Центр обработки данных как основной инструмент преодоления рисков внедрения ИТ

      Даже непродолжительные сбои в работе основных приложений служат причиной серьезных финансовых потерь, и, как следствие, негативно влияют на репутацию банка. Традиционно компании банковского и финансового секторов — наиболее активные заказчики решений по обеспечению непрерывности бизнеса. В 2005 году интерес банков к предоставлению розничных услуг задал еще более высокие требования к отказоустойчивости систем: работа с физическими лицами предполагает режим «24 часа 7 дней в неделю». Современные инфраструктурные решения удовлетворяют этим требованиям: время простоя систем в течение года гарантированно не превышает нескольких минут.

Каковы реальные риски?

Майское отключение электроэнергии в Москве вновь продемонстрировало уязвимость корпоративных информационных систем. Все больше организаций, чей бизнес построен на ИТ, задумывается о построении катастрофоустойчивой ИТ-инфраструктуры. Самый веский аргумент — расчет финансовых потерь при отказе критичных приложений. Для того чтобы определить реальные риски, необходимо просчитать экономические потери от одного часа простоя и его критическое время. Иначе говоря, какой промежуток времени является допустимым и не принесет особых проблем компании.

Согласно опросу, проведенному компанией Eagle Rock Alliance, потери могут быть настолько значительны (см. график), что более 40% компаний прекращают существование уже при 72-часовом простое ИТ-сервисов. Ни один из ведущих банков не может позволить себе и этих трех суток.

Основным способом преодоления рисков, связанных с недоступностью данных и приложений, служит построение центров обработки данных (ЦОДов). Первые ЦОДы в России появились в 2000– 2001 годах, а среди пионеров их внедрения был Сбербанк России — одна из крупнейших территориально-распределенных бизнес-структур в стране. Закономерно, что в условиях, когда практически в каждом населенном пункте страны действует отделение банка, задача надежной и централизованной обработки информации оказалась на одном из первых мест.

ЦОД как черный ящик

ЦОД — как целостная информационная система, состоящая из взаимоувязанных программных и аппаратных компонентов, организационных процедур и персонала, обеспечивает автоматизацию бизнес-задач с требуемым уровнем качества предоставляемых ИТ-сервисов. Соответственно, этот «требуемый уровень» и является его ключевой характеристикой. При разработке и создании ЦОД могут использоваться и совмещаться несколько различных подходов.

Самый высокоуровневый подход к построению ЦОД, характерный для зрелого бизнеса, заключается в следующем: в качестве входных данных для проектируемой системы используются требования бизнеса заказчика. В этом случае заказчика, по большому счету, не интересует, на каких мощностях исполняются задачи, какова емкость используемых систем хранения данных и что за каналы передачи данных задействованы.

Такие параметры, как результат, время его получения и гарантия того, что система будет работоспособной, являются единственным, что интересует заказчика в данном случае. Эти параметры обычно обозначают термином SLA (service level agreement) — соглашение об уровне качества услуг. Как правило, процесс утверждения SLA лежит на плечах ИТ-директора компании-заказчика — именно он предлагает руководству те сервисы, которые предприятие будет использовать в процессе решения тех или иных бизнес-задач. Иными словами, не вдаваясь в технические подробности, руководство предприятия знает, за какое время могут быть получены необходимые сведения или отчеты.

Ты меня понимаешь?

Как определить — какие приложения являются критичными и какой уровень доступности им необходим? Для оценки и классификации приложений ИТ-руководитель организует диалог с представителями подразделений компании, которые являются пользователями. Вполне вероятно, что на вопрос: «Какие приложения являются для вас критичными?» он получит ответ: «Все!», а на вопрос: «Что случится, если приложение будет недоступно, скажем, один день?» — ему скажут: «Будет плохо».

«Использовать ЦОДы для приложений, которые допускают простой в течение одних-двух суток, нецелесообразно, поэтому нам потребовалось разработать критерии, с помощью которых мы можем определять степень критичности работы наших приложений для бизнеса банка. Очень важным стал процесс формализации требований представителей бизнес-подразделений банка к надежности и доступности приложений», — говорит Руслан Русавский, начальник отдела системного программирования и администрирования МДМ-Банка.

В первую очередь задачей ЦОДов является поддержка непрерывной работы банковского программного обеспечения, баз данных, оперативной обработки транзакций. ЦОДы также используются для корпоративных порталов, систем документооборота, систем электронной почты. Требуемый уровень доступности этих систем, который определит перед системным интегратором ИТ-руководитель компании-заказчика, послужит основой для выбора оборудования и программного обеспечения.

Пути преодоления рисков

При всей своей значимости, ЦОД — необходимое, но не достаточное решение для построения устойчивой вычислительной системы. Учет возможных рисков подразумевает комплексный подход и включает в себя, наряду с построением ЦОД, ряд технологических и организационных мер. Технологические меры — это создание резервных ЦОД, информационная и физическая защита данных, системы мониторинга и оповещения, резервирование систем жизнеобеспечения.

При этом вычислительная мощность резервного ЦОДа должна в той же мере удовлетворять требованиям прикладного программного обеспечения, что и основного. Разнесение вычислительного центра на расстояние 10 и более километров повышает устойчивость решения к таким непредвиденным экстремальным ситуациям техногенного характера, как затопления, пожары, выход из строя системы охлаждения. Кроме того, подобный подход позволяет застраховаться от воздействия природных катастроф.

Учебная тревога

Однако одних технологий недостаточно для предупреждения рисков или уменьшения уровня потерь в случае отказа приложений. Наиболее эффективный путь преодоления рисков наряду с построением полноценного ЦОД — планирование обеспечения непрерывности бизнеса, своевременная профессиональная оценка рисков и их категоризация, аудит существующей ИТ-инфраструктуры и постоянное обучение сотрудников с проведением плановых тренировок. «Важно, чтобы сотрудники банка четко представляли последовательность своих действий в случае возникновения критических ситуаций. Поэтому в МДМ-Банке существует утвержденный топ-менеджерами план регулярных тренировок как для ИТ-специалистов, так и для руководителей бизнес-подразделений», — поясняет Руслан Русавский.

ЦОД построен. Что дальше?

При построении ЦОД важно помнить, что для его здорового и эффективного функционирования необходимо постоянно обеспечивать должный уровень организационной поддержки. Нужно придерживаться разработанных при внедрении ЦОД процедур внесения изменений, строгих регламентов его обслуживания, а также пристально следить за поддержанием должного профессионального уровня эксплуатирующего персонала.

В противном случае даже грамотно спроектированный ЦОД уже через несколько месяцев эксплуатации превратится в клубок неразрешимых проблем, и вместо повышения эффективности работы компании и снижения рисков приведет к обратному — существенному снижению качества услуг. Что, в свою очередь, негативно скажется как на финансовых показателях компании, так и на ее имидже.

Центр обработки данных (ЦОД)

Развитие сферы ИКТ государственных органов, крупных бюджетных национальных и транснациональных организаций приводит к постоянному увеличению числа информационных систем и сервисов, способствует экспоненциальному росту объёмов данных и увеличению числа автоматизированных рабочих мест. В этих условиях очевидной становится задача создания «прочного» аппаратно-программного фундамента для формирования и укрепления ИТ-ландшафта организации с целью обеспечения доступности и безопасности всех имеющихся информационных активов.

«АРТВЕЛЛ», обладая обширным опытом реализации проектов по построению и модернизации ИТ-инфраструктуры в различных государственных и крупных коммерческих организациях, выступает в роли высококвалифицированного интегратора дата-центров, обеспечивая полный спектр услуг: от аудита состояния ИКТ организации до поставки оборудования и пуско-наладочных мероприятий.

Специалисты «АРТВЕЛЛ» при проектировании и создании дата-центров используют ведущие базовые практики построения сложных вычислительных комплексов, а также апробированные инновационные подходы, основанные на современных методиках организации информационных потоков и вычислительных ресурсов, такие как виртуализация и конвергентность. Одной их ключевых задач при построении ЦОД является обеспечение комплексной безопасности и надёжности внедряемых решений.

«АРТВЕЛЛ» при создании дата-центров руководствуется требованиями международного стандарта TIA-942 к надёжности и предоставляет решения, которые соответствуют требованиям нормативно‑правовой базы РФ и государственных стандартов (ГОСТ, СНиП).

Специалисты компании обеспечат полный спектр услуг и работ для создания высокотехнологичного дата-центра с учётом требований и задач конкретной организации:

  • аудит — комплекс мероприятий по формирования оптимальной ИТ-инфраструктуры, удовлетворяющей требованиям и задачам конкретной организации;
  • системное и техническое проектирование;
  • поставка серверного оборудования, систем хранения данных и инженерных систем;
  • монтаж и настройка оборудования, настройка системного ПО.

АРТВЕЛЛ предоставляет также услуги по виртуализации и внедрению облачных вычислений — по созданию виртуальных центров обработки данных (вЦОД), например, виртуализация серверов может осуществляться по двум направлениям:

  • размещение нескольких логических серверов на базе одного физического сервера организации;
  • объединение нескольких физических серверов организации в состав единого логического сервера.

Передовой подход – конвергентная инфраструктура

Вопреки существующему мифу о том, что эффективность аппаратных платформ определяется главным образом мощностями вычислительных ресурсов, современные ИТ определяют эффективность платформы как «совокупность интегрированных ресурсов и технологий размещения логических систем и выполнения приложений».

Компания АРТВЕЛЛ, предоставляя услуги по построению ЦОД, уделят особое внимание интеграции ресурсов (серверов, системы хранения данных, сетевых устройств, оборудования электропитания и охлаждения) на основе конвергентной инфраструктуры — передового подхода к построению эффективного ЦОД, отвечающего современным требованиям ИТ.

Конвергентная инфраструктура — это такой способ построения ЦОД, который позволяет интегрировать все информационные, телекоммуникационные и инженерные составляющие в совместно используемые пулы ресурсов на базе единой платформы администрирования, обеспечивающей управление пулами и распределение (перераспределение) вычислительных мощностей.

Центры обработки данных

Центры обработки данных (ЦОД) – ключевой элемент в работе многих современных компаний.

Наибольшее распространение Центры обработки данных получили у фирм, которые работают в банковской и финансовой сфере, у аварийно-диспетчерских служб (государственных и частных), различных IT-компаний и организаций, которые связаны с большим наплывом информации и ее обработкой.

Преимущества центров обработки данных

В первую очередь – это единые центры хранения и обработки данных любого объема. В зависимости от фактических размеров Центров обработки данных и мощности оборудования центр может оперировать огромными массивами информации.

Второе преимущество – это огромные архивы, которые могут предоставить пользователю любой объем информации, которая обрабатывалась центром.

Третье – это полноценная автономная система, которая посредством специального ПО и оборудования может отслеживать различные показатели в помещении и реагировать согласно настройкам (поддержание определенного уровня влажности, температуры, степень освещенности и прочее). Нередко оборудование центра подключается к системам безопасности и мониторинга, выполняя функции сигнализации с ранним оповещением.

Аренда центров обработки данных

Собственный центр обработки данных может позволить себе далеко не каждая компания – сказываются колоссальные затраты на его проектирование и монтаж.

Довольно часто небольшие организации арендуют серверы и получают виртуальный центр.

Стоит такая услуга существенно дешевле, чем постройка собственного центра, но имеет несколько нюансов:

  • часто фактическое местонахождение оборудования может быть в другом городе или стране;
  • в случае сбоя в работе невозможно оперативно вмешаться и исправить ситуацию;
  • нет возможности расширить инфраструктуру центра или добавить более мощное оборудование.

Эти нюансы необходимо учитывать перед тем, как выбирать единый центр обработки данных. Фактически это отдельное помещение, в котором соблюдены определенные условия и расположена вычислительная аппаратура, коммуникационное и дополнительное оборудование.

Виды центров обработки данных

Основной центр обработки данных – это неотъемлемая часть крупных и средних компаний, он используется исключительно одной организацией.

В случае когда стабильность работы фирмы зависит от качества и скорости обработки данных (банковский сектор, телекоммуникации), нередко создается дополнительный резервный центр обработки данных на случай форс-мажорных обстоятельств.

Существует три основных разновидности запасных центров обработки данных:

  • «Горячий». На арендованных площадях находится резервное оборудование, которое готово к максимально быстрому вводу в эксплуатацию в случае выхода из строя основного ЦОД. Главное преимущество – это быстрый запуск и полноценное восстановление работоспособности компании. Недостаток – высокая стоимость.
  • «Холодный». Устройства находятся в законсервированном виде. В случае необходимости происходит включение и конфигурирование аппаратуры для конкретных потребностей. Преимущество такого варианта заключается в низкой стоимости аренды, а недостаток – в слишком медленном развертывании и длительном восстановлении работоспособности.
  • «Зеркальный». Наиболее востребованный и дорогостоящий вариант. Все необходимое оборудование находится в постоянной готовности и полностью синхронизировано с основным ЦОД. В случае неполадок переход на резервные мощности осуществляется незамедлительно, без потери уровня работоспособности и времени. Такой вариант могут себе позволить только крупные компании, которые вкладывают большие средства в системы безопасности.

По статистике российские центры обработки данных в большинстве случаев не соответствуют мировым стандартам по надежности и безотказности работы, поэтому наличие резервного центра обработки данных является не прихотью, а гарантией стабильности работы всей компании.

Проектирование, строительство, монтаж центров обработки данных

Чтобы создать современный дата-центр, который будет полностью отвечать всем международным нормативам и успешно справляться с поставленными задачами, необходимо выполнить целый ряд условий.

Весь процесс можно разделить на две крупные последовательные фазы:

  • проектирование центров обработки данных;
  • монтаж и ввод в эксплуатацию.

За этими двумя фазами скрывается огромное количество промежуточных стадий и большой объем кропотливого труда специалистов.

На первом этапе необходимо определиться с некоторыми ключевыми параметрами, среди которых:

  • фактические размеры будущего дата-центра;
  • задачи, которые будут решаться; от этого зависит количество оборудования и общая производительность комплекса;
  • инженерные конструкции; оборудование для центра обработки данных должно качественно запитываться электроэнергией и регулярно охлаждаться, прокладка инженерных коммуникаций и различных систем – одно из ключевых требований к дата-центрам;
  • общие требования к помещению согласно международным нормативам.

Правильный учет всех составляющих гарантирует длительный срок безотказной работы оборудования.

После того как был создан проект центра обработки данных, утвержден список аппаратуры и соблюдены все стандарты, наступает стадия монтажа и ввода в эксплуатацию.

Строительство центра обработки данных – это комплекс работ, который включает в себя не только фактическое возведение нового здания или переоборудование под нужды центра определенного помещения, но и настройку аппаратуры, установку специального ПО и конфигурацию системы. Этим занимаются профильные специалисты, как правило, из компании, которая занимается проектированием и строительством ЦОД.

Требования, выдвигаемые к центрам обработки данных

Центры обработки данных в России должны отвечать некоторым ключевым требованиям, которые основаны на системе международных стандартов.

К центрам обработки данных предъявляются следующие требования:

  • надежность (время безотказной работы);
  • определенный тип помещения;
  • условия внутри дата-центра;
  • наличие дополнительных инженерных систем;
  • регламент обслуживания аппаратуры.

Показатели центров обработки данных

Главный показатель работоспособности любого ЦОД – это время его безотказной работы. Международная классификация делит все центры на четыре основные категории, где первая (базовая) группа может простаивать в нерабочем состоянии не более 28 часов в год, а четвертая (самая высокая) – не более 15 минут за год.

Смотрите так же:  Как оформить территорию в доу

Почему требования к времени бесперебойной работы настолько жесткие? Ответ очень простой – на все дата-центры возлагаются большие объемы работ, они являются местом сосредоточения и оперативной обработки информации, что очень важно для компаний, работа которых тесно связана с различными данными.

От качества и быстроты обработки информации, которая поступает на серверы центра, могут зависеть не только финансовое благополучие компании, но и человеческие жизни.

Второй момент – это тип помещения, в котором будет находиться все оборудование. Для центров первого и второго уровней достаточно будет отвести соответствующую комнату в помещении компании. Для категорий 3 и 4 необходимо будет обзавестись отдельно стоящим зданием.

Внутри помещения должны поддерживаться определенный уровень влажности, запыленности и температурный режим. Все показатели прописаны в международных нормативах и немного разтличаются в зависимости от категории центра.

Инженерные системы для центров обработки данных

Один из главных показателей стабильной работы дата-центра любого уровня – это наличие сопутствующих инженерных систем.

Оборудование должно быть подключено к сети с определенными показателями напряжения, частоты и силы тока.

Перепады и различные скачки напряжения – основная причина выхода из строя дорогостоящей аппаратуры. Чтобы этого не произошло, дополнительно устанавливается различное оборудование: сетевые фильтры, генераторы и источники бесперебойного питания.

Центры обработки и хранения данных любой категории (особенно 3 и 4) в обязательном порядке должны иметь резервную систему питания, переход на которую выполняется в автоматическом режиме в случае возникновения чрезвычайных ситуаций.

Не менее важной является и общая температура в помещении. Во время работы оборудование выделяет много тепла, которое не может быть выведено из помещения естественным путем. Для решения проблемы используют дополнительную вентиляцию, системы охлаждения и климат-контроля.

Для этого используются специальные прецизионные кондиционеры, которые, в отличие от стандартных бытовых сплит-систем, обладают целым рядом преимуществ:

  • высокой точностью поддержания заданной температуры (до 0,1 градуса);
  • длительным сроком эксплуатации;
  • возможностью экономии электроэнергии.

Единственным недостатком таких систем является высокая цена, они не по карману большинству мелких компаний.

Обслуживание ЦОД

Регулярное обслуживание центров обработки данных является неотъемлемой частью рабочего процесса.

В зависимости от регламента оно может быть профилактическим и капитальным. Специальные сотрудники проводят ежедневную проверку оборудования и выявляют нарушения и сбои в работе определенных систем ЦОД.

В обслуживание входят следующие виды работ:

  • мониторинг всех компонентов и аппаратуры;
  • регулярное обновление ПО и синхронизация;
  • замена вышедших из строя модулей;
  • плановое расширение инфраструктуры.

От качества обслуживания напрямую зависит эффективность работы дата-центра.

Безопасность центров обработки данных

Как правило, информация, которая хранится в центре обработки данных, является конфиденциальной, что требует обратить особое внимание на безопасность.

Все типы угроз можно условно разделить на две категории:

В первом случае речь идет о проникновении в помещение ЦОД посторонних лиц, которые могут фактически скачать необходимую информацию или вывести из строя дорогостоящее оборудование.

В крупных компаниях применяются различные методы – от установки бронированных дверей и круглосуточного видеонаблюдения до ограничения количества человек, которые могут посещать ЦОД, и введения дополнительных уровней допуска (электронные пароли, биометрические сканеры).

Каждое посещение центра автоматически фиксируется системой, что позволяет оперативно выяснить причину сбоя и выявить лиц, которые к этому причастны.

Второй вариант – информационная безопасность. Важные данные могут быть похищены дистанционно через интернет путем незаконного проникновения и взлома защитных программ. Для минимизации таких рисков устанавливаются специальное антивирусное ПО и другие программы, которые блокируют несанкционированный доступ к серверам.

Центры обработки данных на выставке

Больше полезной информации об организации процесса создания дата-центров, новейшем оборудовании и программном обеспечении можно узнать на международной выставке «Связь».

Это мероприятие международного масштаба пройдет традиционно на территории ЦВК «Экспоцентр».

В рамках экспозиции ведущие компании из более двадцати стран мира представят свои последние разработки в этой сфере.

Для отечественных специалистов, руководителей IT-направлений компаний и собственников организаций различного уровня эта выставка станет знаковым событием в профильной отрасли.

Современный центр обработки данных

В настоящее время все отрасли переживают значительные изменения под влиянием различных революционных факторов. Это создает новые и гораздо более широкие возможности для работы заказчиков и более качественные услуги. Важно не упустить эти новые цифровые источники дохода, разрабатывать интеллектуальные продукты, повысить качество обслуживания заказчиков и оправдать их ожидания. Поэтому компании и ИТ-службы должны существенно трансформировать свои цифровые и ИТ-среды. Представляем современный центр обработки данных.

Современный центр обработки данных начинается с ИТ-инфраструктуры и фундаментального перехода от создания инфраструктуры к приобретению всего необходимого, чтобы обеспечить уникальные преимущества для бизнеса. Конвергентная инфраструктура помогает сократить время и затраты на развертывание и настройку аппаратных и программных компонентов, а также на управление этими компонентами, ускоряя окупаемость инвестиций в ИТ.

Почему для создания современного ЦОД следует использовать флэш-технологии?

Флэш-технологии позволяют существенно сократить затраты на поддержку стабильной и предсказуемой малой задержки. Использование флэш-технологий значительно уменьшает занимаемую площадь ЦОД, а также снижает требования к электропитанию и охлаждению для предоставления высококачественных услуг по хранению без каких-либо компромиссов. Стоимость флэш-дисков снижается, а их емкость растет. В результате флэш-диски будут повсеместно использоваться в современных центрах обработки данных.

Почему для современного ЦОД следует использовать инфраструктуру с поддержкой облака?

Инфраструктура с поддержкой облака — это основополагающий компонент архитектуры современного центра обработки данных. Чтобы обеспечить должный уровень оперативности, скорости и эффективности, современная архитектура не должна ограничиваться только центром обработки данных. У ИТ-службы должна быть возможность развертывать системы и управлять информацией и приложениями, а также расширять их из центра обработки данных в публичное или корпоративное облако в соответствии с актуальными бизнес-требованиями. ИТ-службе необходима гибкость, чтобы перемещать эти рабочие нагрузки между своими центрами обработки данных и облаками сторонних поставщиков.

Почему для создания современного ЦОД следует использовать горизонтально масштабируемую архитектуру?

Благодаря горизонтально масштабируемой архитектуре ИТ-служба может сначала развертывать недорогие системы начального уровня, а затем использовать модульный подход, чтобы масштабировать инфраструктуру по мере изменения требований. ИТ-служба может эффективно развертывать и масштабировать огромные емкости, а также управлять ими, имея ограниченное количество ресурсов. Это критически важно с точки зрения постоянного роста рабочих нагрузок и в свете необходимости обеспечивать многократное повторение и расширение предоставляемых услуг в кратчайшие сроки.

Почему для создания современного ЦОД следует использовать программно-определяемые решения?

Благодаря новым разработкам в области API и других программных функций управление системами инфраструктуры теперь осуществляется с помощью ПО. Эта новая программно-определяемая модель позволяет автоматизировать конфигурацию и развертывание ИТ-услуг, увеличивает оперативность бизнеса и обеспечивает гибкий программный подход к управлению сервисами управления данными. Эти возможности играют важную роль с точки зрения оптимизации стандартных ИТ-операций и позволяют выделить больше ресурсов для выполнения трансформации и внедрения инноваций.

Какова надежность современного центра обработки данных?

Стратегические партнерства имеют большое значение. У заказчиков должна быть возможность обеспечить безопасность систем, которые они используют, и вендоров, с которыми они ведут дела. EMC предоставляет лучшие в своем классе платформы для создания современных центров обработки данных, а также их поддержку и другие услуги. Благодаря ведущему в отрасли портфелю решений EMC для защиты данных и возможностям RSA по обеспечению безопасности мы также предоставляем лучшие в своем классе средства информационной безопасности и стратегического управления с возможностью локальной и удаленной защиты данных.

Требования к электрооборудованию центров обработки данных (ЦОД)

Основной показатель работы ЦОД — отказоустойчивость.

Стандарт TIA-942 предполагает четыре уровня надёжности дата-центров:

  • Tier 1 (N) — отказы оборудования или проведение ремонтных работ приводят к остановке работы всего дата-центра; в дата-центре отсутствуют фальшполы, резервные источники электроснабжения и источники бесперебойного питания; инженерная инфраструктура не зарезервирована;
  • Tier 2 (N+1) — имеется небольшой уровень резервирования; в дата-центре имеются фальшполы и резервные источники электроснабжения, однако проведение ремонтных работ также вызывает остановку работы дата-центра;
  • Tier 3 (N+1) — имеется возможность проведения ремонтных работ (включая замену компонентов системы, добавление и удаление вышедшего из строя оборудования) без остановки работы дата-центра; инженерные системы однократно зарезервированы, имеется несколько каналов распределения электропитания и охлаждения, однако постоянно активен только один из них;
  • Tier 4 (2(N+1)) — имеется возможность проведения любых работ без остановки работы дата-центра; инженерные системы двукратно зарезервированы, то есть продублированы как основная, так и дополнительная системы (например, бесперебойное питание представлено двумя ИБП, работающими по схеме N+1).

Рассмотрим требования к электрооборудованию центров обработки данных:

G.5.1 Общие требования к электрооборудованию.

G.5.1.1 Ввод от энергосистемы общего пользования в электроустановку здания.

Промышленные потребители, совместно использующие внешние источники электропитания, не являются предпочтительными из-за переходных и гармонических помех, которые они часто наводят на питающие кабели. Подземные питающие линии предпочтительнее надземных (воздушных), это сводит к минимуму подверженность воздействию молний, деревьев, дорожно-транспортных происшествий и вандализма. Основное распределительное устройство должно быть спроектировано с возможностями наращивания, обслуживания и резервирования. Должно быть обеспечено наличие двух вводов — соединенных (main-tie-main) или изолированных параллельных. Шина распредустройства должна быть завышенного размера, поскольку после начала операций эта система будет наименее способной к расширению. Где это возможно, должна быть обеспечена взаимозаменяемость выключателей. Проект должен допускать выполнение техобслуживания и ремонта распредустройства, шины и/или выключателей. Система должна допускать гибкость переключений для обеспечения полной ремонтопригодности. На каждом уровне электрораспределительной системы должны быть установлены устройства подавления переходных помех (TVSS – Transient Voltage Surge Suppression) надлежащего номинала для подавления энергии вероятных переходных процессов.

G.5.1.2 Резервные генераторы.

Резервная система выработки электроэнергии является самым жизненно важным одиночным фактором устойчивости системы к внешним воздействиям и должна быть способна предоставить электроснабжение умеренного качества и устойчивости непосредственно вычислительному и телекоммуникационному оборудованию в случае отказа общедоступной сети.

Генераторы должны быть рассчитаны на подачу синусоидального тока, нужного системе ИБП или нагрузкам в машинном зале. Следует проанализировать требования к пуску электродвигателя, чтобы убедиться, что генератор способен подавать требуемые для пуска электродвигателя пусковые токи с максимальным падением напряжения 15% у электродвигателя. Если требования к генератору не установлены должным образом, то воздействие друг на друга ИБП и генератора может создавать проблемы; точные требования должны быть согласованы между поставщиками генератора и ИБП. Для выполнения этих требований имеется много разных решений, в том числе фильтры гармоник, компенсаторы реактивной мощности, генераторы со специальной обмоткой, пуск электродвигателя с задержкой времени, ступенчатое переключение и изменение мощности генератора. Если проектом предусмотрена установка генератора, то следует предусмотреть резервную мощность для всего кондиционерного оборудования, во избежание тепловых перегрузок и отключений. Генераторы, которые не обеспечивают поддержку механических систем, мало чем способствуют общей непрерывности выполнения операций. Генераторы, включённые на параллельную работу, должны быть пригодны для ручной синхронизации в случае отказа устройств автоматической синхронизации. Следует рассмотреть вопрос ручного обхода (байпаса) каждого генератора, с целью прямого питания индивидуальных нагрузок в случае отказа или ремонта распредустройства, переключающего генераторы на параллельную работу. На выходе каждого электрогенератора должно быть установлено устройство подавления переходных помех (TVSS),

Генераторы должны работать на дизельном топливе, а не на природном газе, это нужно для более быстрого запуска. В этом случае исключается зависимость от общедоступной системы газоснабжения и от запаса пропана на объекте. Следует рассмотреть вопрос о количестве хранимого на объекте дизельного топлива, запас которого может варьировать от 4-часового до 60-дневного. Для всех систем хранения топлива должна быть предусмотрена система дистанционного текущего контроля за топливом и аварийной сигнализации. Наиболее распространённым видом нарушения свойств дизельного топлива является размножение микробов, поэтому следует рассмотреть вопрос оперевозимых или постоянно установленных системах очистки топлива. В местах с «холодным» климатом следует уделить внимание обогреву или прокачиванию топливной системы, чтобы избежать загустевания дизельного топлива. При проектировании запаса топлива следует принять во внимание время реагирования поставщиков топлива во время экстренных ситуаций.

Необходимо соблюдать законы и правила, защищающие окружающую среду от шумового и прочего загрязнения. Вокруг генераторов должны быть предусмотрены светильники, питаемые от ИБП, инвертора аварийного освещения или индивидуальных аккумуляторов, это обеспечит освещение в случае отказа параллельно работающего генератора или сетевого электроснабжения. Кроме того, вблизи генератора должны быть предусмотрены электророзетки с питанием от ИБП.

Для любой системы генераторов 1 настоятельно рекомендуется иметь собственный нагрузочный реостат или возможность для подключения передвижных реостатов. В дополнение к индивидуальному тестированию компонентов, резервная генераторная система, системы ИБП и автоматические переключатели (с одного генератора на другой) следует тестировать вместе, как одну систему. Как минимум, эти тесты должны имитировать отказ общей электросети и восстановление нормального электроснабжения. Следует провести испытания с отказом отдельных компонентов резервных (дублирующих) систем, предназначенных для продолжения функционирования во время отказа какого-либо компонента. Эти системы следует тестировать под нагрузкой, с использованием нагрузочных реостатов. Дополнительно, после того как дата-центр начнёт работу, эти системы нужно периодически тестировать, чтобы убедиться, что они будут функционировать надлежащим образом.

Резервную генераторную систему можно использовать для аварийного освещения и других жизнесберегающих нагрузок в дополнение к нагрузкам дата-центра, если это разрешено местными властями. Национальный электрический код (NEC) требует, что- бы для обслуживания жизнесберегающих нагрузок были предусмотрены отдельная панель переключения нагрузки (АВР) и отдельная распределительная система. Система аварийного освещения с аккумуляторным питанием может оказаться дешевле, чем выделенный АВР и отдельная распределительная система.

Для облегчения технического обслуживания и ремонта NEC требует отключения/байпаса панели переключения нагрузки жизнесберегающих систем. Аналогично, автоматические переключатели нагрузки (АВР) с байпасным отключением должны быть предусмотрены для оборудования дата-центра. Автоматические переключатели можно также использовать для переключения нагрузок с питания от общей сети на генератор. Однако следует предусмотреть байпасное отключение этих переключателей в случае отказа переключателя во время работы.

См. стандарты IEEE 1100 и 446 в части рекомендаций по резервным генераторам.

G.5.1.3 Источники бесперебойного питания (ИБП).

Системы ИБП бывают статического, роторного (rotary) или гибридного типа и могут работать в режиме online, offline или line-interactive, с временем резервирования, достаточным для запуска резервного генератора без перерыва в подаче питания.

Статические системы ИБП в последние несколько лет использовались почти исключительно в США, и только эти системы описаны в тексте данного Приложения подробно; однако описанные концепции резервирования в общем применимы также и к роторным, и к гибридным системам. Системы ИБП могут состоять из отдельных модулей ИБП или из группы нескольких параллельно включённых модулей. Каждый модуль следует снабдить средствами индивидуального отключения без влияния на работоспособность системы или на резервирование. Система должна иметь возможность переходить автоматически и вручную на внутренний байпас и должна иметь внешние средства обхода (байпаса) системы и исключения перерыва питания в случае отказа или ремонта системы. Для каждого модуля могут быть предусмотрены индивидуальные системы аккумуляторов; с целью обеспечения дополнительной ёмкости или резервирования, для каждого модуля можно предусмотреть несколько «линеек» аккумуляторов. Возможно также обслуживание нескольких модулей ИБП от одной системы аккумуляторов, хотя это обычно не рекомендуется в связи с весьма низкой надёжностью такой системы.

Смотрите так же:  Договор на технические услуги образец

При наличии генераторной системы главная функция системы ИБП состоит в том, что-бы «продержаться» во время отключения питания до тех пор, пока генераторы запустятся и примут нагрузку, или пока не возобновится питание от сети. Теоретически это означает требуемый запас ёмкости аккумуляторной батареи всего на несколько секунд. Однако на практике ёмкость батарей должна быть рассчитана минимум на период от 5 до 30 минут при полной нагрузке ИБП в связи 1 с непредсказуемостью выходных характеристик аккумуляторов, а также для того, чтобы иметь резервные «линейки» батарей или чтобы дать возможность в нормальном режиме выполнить полное отключение нагрузки в случае отказа генератора. Если генератор отсутствует, то должно быть предусмотрено достаточное число аккумуляторных батарей, как минимум, для такого временного периода, который требуется для надлежащего выключения оборудования машинного зала, а это обычно занимает от 30 минут до 8 часов. Для специальных инсталляций зачастую предписывается более значительная ёмкость батарей. Например, телефонные компании традиционно требуют запаса времени 4 часа в случае, если резервный генератор установлен, и 8 часов – если генераторы отсутствуют; телекоммуникационные компании и смежные объекты часто придерживаются таких же требований, как и телефонные компании.

Следует рассмотреть вопрос о системе мониторинга аккумуляторов, способной регистрировать и анализировать динамику напряжения отдельных элементов аккумуляторной батареи, импеданс или сопротивление. Многие модули ИБП обеспечивают базовый уровень текущего контроля за системой батарей в целом, и этого достаточно, если установлены резервированные модули с индивидуальными резервированными «линейками» аккумуляторных батарей. Однако системы текущего контроля аккумуляторных батарей, имеющиеся в ИБП, не в состоянии выявить отказ корпуса отдельной батареи, который может существенно повлиять на время автономной работы и надёжность системы. Автономная система текущего контроля батареи, способная следить за импедансом каждой отдельной батареи, а также предсказать и сигнализировать о приближающемся отказе батареи, гораздо подробнее извещает о фактическом её состоянии. Такие системы текущего контроля за батареей настоятельно рекомендуются для случаев, когда проектом предусмотрена одна нерезервированная система аккумуляторных батарей. Эти системы текущего контроля требуются также в случаях, когда желателен возможно более высокий уровень надёжности системы (уровень 4).

В некоторых случаях следует предусматривать отопление, вентиляцию и кондиционирование воздуха, текущий контроль за выделением водорода, устранение расплёскивания (электролита), фонтанчики для промывания глаз и защитные душевые установки. Существуют два основных вида аккумуляторных батарей, которые можно рассматривать: свинцово-кислотные аккумуляторы с клапанным регулированием (VRLA – valve33 regulated lead-acid), которые называют также герметичными или непроливаемыми, а также батарея с наливными элементами (flooded-cell battery. Батареи VRLA имеют меньшую опорную поверхность, чем наливные, так что их можно монтировать в шкафы или стойки, являются практически необслуживаемыми и обычно требуют меньшей вентиляции, чем наливные, поскольку они менее склонны к выделению водорода. Наливные батареи обычно требуют меньше затрат за весь жизненный цикл и имеют горазд0 больший ожидаемый срок службы, чем батареи VRLA, но требуют периодического обслуживания, занимают больше места, т.к. их нельзя поместить в шкафы, и обычно предъявляют дополнительные требования к содержанию кислоты и к вентиляции.

Типичные критерии проекта могут предписывать удельную мощность где-то в пределах

43 от 0,38 до 2,7 кВт на кв. метр (от 35 до 250 Вт на кв. фут). Выбор системы ИБП должен базироваться на номинальной мощности системы ИБП в кВт, которая соответствует критериям проекта, а они обычно превышаются из-за того, что мощность ИБП обычно номинируется в кВА. Это объясняется относительно низкими номинальными значениями коэффициента мощности модулей ИБП в сравнении с требованиями компьютерного оборудования: модули ИБП обычно имеют коэффициент мощности 80% или 90%, а со временное компьютерное оборудование обычно имеет коэффициент мощности 98% или выше. В дополнение к этому, должен быть предусмотрен запас не менее 20% для ИБП свыше требуемой удельной мощности для будущего развития и для того, чтобы быть уверенными в том, что номинал ИБП не будет превышен в периоды пиковой потребности. Для комнат с ИБП и аккумуляторных 1 следует предусмотреть установки прецизионного кондиционирования воздуха ( PAC – Precision Air Conditioning ). Срок службы батарей в большой степени зависит от температуры; отклонение температуры от нормы с повышением на градусов может сократить срок службы батареи на год и больше. Пониженные температуры могут вызвать снижение параметров батареи ниже её возможностей.

Резервированные системы ИБП могут иметь разные конфигурации. Назовём три основных: изолированное резервирование, параллельное резервирование и распределённое изолированное резервирование. Надёжность этих конфигураций тоже меняется, из них наиболее надёжной является распределённая изолированная конфигурация. Автономные системы ИБП не следует использовать в электрических линиях, уже поддерживаемых централизованным ИБП, если только автономные системы ИБП не связаны с централизованным ИБП и не конфигурированы для согласованной работы с ним. Автономные системы ИБП в электрических линиях, обслуживаемых централизованной системой ИБП, могут снизить, а не повысить безотказность, если они функционируют полностью независимо от этой централизованной системы ИБП.

Все системы ИБП, находящиеся в машинном зале, должны быть связаны с системой аварийного отключения нагрузки (EPO) машинного зала таким образом, чтобы эти системы ИБП не продолжали подавать питание, если система ЕРО активирована. Дополнительные сведения по проектированию систем ИБП представлены в стандарте 21 IEEE 1100.

G.5.1.4 Энергоснабжение серверного оборудования.

В любом дата-центре следует рассмотреть установку распределительных щитов питания (PDU) для распределения питания к критически важному электронному оборудованию, поскольку они объединяют функциональность нескольких устройств в одном корпусе, который часто меньше по размерам и более экономичен, чем установка нескольких отдельных панелей и трансформаторов. Если машинный зал разделён на несколько комнат (или пространств), каждая из которых поддерживается своей собственной системой аварийного отключения нагрузки (ЕРО), то каждая из них должна иметь свою собственную зону горизонтального распределения.

Щит PDU должен быть укомплектован изолирующим трансформатором, устройством TVSS, панелями выводов и системой мониторинга электроснабжения (power monitoring). Такие комплекты предлагают несколько преимуществ по сравнению с традиционными раздельными установками трансформаторов и панелей.

Типичный щит PDU должен содержать следующие компоненты:

— разъединитель трансформатора. Должны быть предусмотрены два входных автоматических выключателя, что позволит подключить временный питающий кабель на время ремонта или перемещения источника без отключения критически важных нагрузок;

— трансформатор. Он должен находиться как можно ближе к нагрузке, чтобы минимизировать синфазный шум между «землёй» и нейтралью и минимизировать разницу между «землёй» источника напряжения и « сигнальной землёй» (signal ground).

Ближайшее возможное местоположение достигается, когда трансформатор помещён внутрь корпуса PDU. Изолирующий трансформатор обычно имеет конфигурацию понижающего трансформатора 480:208В/120 вольт, чтобы уменьшить размер питающего кабеля от ИБП до PDU. Чтобы противостоять тепловому действию гармонических токов, следует использовать трансформаторы типа К (K-rated transformers). Для снижения гармонических токов и напряжений можно использовать трансформатор, погашающий зигзагообразные гармоники (zigzag harmonic canceling transformer) или трансформатор с активным фильтром гармоник. Минимизация гармоник в трансформаторе повышает 1 к.п.д. трансформатора и снижает тепловую нагрузку, создаваемую трансформатором;

— устройство TVSS. Аналогично, эффективность устройств TVSS значительно возрастает, когда длина проводов минимальна, предпочтительно менее 200 мм (8 дюймов). Это легче сделать, если поместить устройство TVSS внутрь того же самого корпуса, что и распределительные панели управления питанием;

— распределительные панели управления питанием. Эти панели можно смонтировать в том же шкафу, что и трансформатор, или, в случае, когда требуется больше панелей управления, можно использовать отдельный щит;

— измерение, текущий контроль, тревожная сигнализация и средства дистанционной связи. Эти компоненты обычно подразумевают значительные требования к пространству, когда поставляются с традиционной панелью (щитом);

— устройства экстренного отключения нагрузки (EPO);

— одноточечная _____заземляющая шина;

— щиток для подключения кабельных каналов. В большинстве дата-центров каждая аппаратная стойка получает питание по крайней мере от одной выделенной линии, и каждая линия имеет отдельный, специально выделенный кабельный канал. В большинстве случаев в корпусе щита нет места для подключения 42 отдельных кабельных каналов. Устройства PDU снабжены щитками подключения кабельных каналов, которые рассчитаны на подключение до 42 каналов на одну выводную панель, что значительно облегчает первоначальный монтаж, а также позднейшие изменения. Конструктивные особенности устройств PDU могут включать в себя также сдвоенные втоматические входные выключатели, статические переключатели нагрузки, входные фильтры и резервированные трансформаторы. Также можно указать в спецификации, чтобы устройства были укомплектованы соединительными (ответвительными) коробками для облегчения соединений под фальшполами.

Должны быть предусмотрены устройства/системы ЕРО, требуемые статьёй 645 Национального электрического кода (NEC). Посты (пульты) ЕРО должны быть установлены у каждого выхода из каждого помещения дата-центра и должны быть снабжены защитными крышками во избежание случайного срабатывания. Рядом с каждым пультом ЕРО должен находиться телефонный аппарат и список контактных телефонных номеров, куда следует звонить в экстренных случаях. Нужно рассмотреть возможность установки системы обхода (байпаса – bypass) ЕРО с целью минимизации риска случайных отключений питания в период ремонта или расширения системы ЕРО. Следует предусмотреть абортирующий переключатель (abort switch) для защиты от случайной активации.

Питание пульта управления системой ЕРО должно контролироваться панелью управления системы пожарной сигнализации по док. NFPA 75. Питание всех видов электронного оборудования должно автоматически отключаться при активации такой системы пожаротушения, которая полностью заполняет дата-центр газообразным агентом. При активации спринклеров автоматическое отключение питания рекомендуется, но не является обязательным требованием. Распределение питания под полом чаще всего выполняется с использованием гибких кабелей фабричной сборки с поливинилхлоридной изоляцией, хотя в некоторых юрисдикциях это может быть запрещено и вместо этого может требоваться жесткий кабелепровод. С целью учёта будущих потребностей следует обсудить вопрос об установке трёхфазной кабельной разводки с пропускной способностью по току до 50 или 60 ампер, даже если в настоящее время такая потребность отсутствует.

Каждая линия, ведущая в 1 машинный зал, комнату ввода, комнату провайдера доступа и комнату поставщика услуг, должна иметь маркировку у гнезда с указанием идентификатора устройства PDU или панели (щита) и номера автоматического выключателя. Дополнительные сведения по проектированию распределения питания вычислительного оборудования в дата-центрах представлены в стандарте OEEE 1100.

G.5.1.5 Системы заземления здания и молниезащиты.

Должен быть предусмотрен заземляющий контур, состоящий из неизолированного медного провода калибром не менее 4/0 AWG, уложенного в землю на глубину 1 м (3 фута) на расстоянии 1 м (3 фута) от стены здания, с заземляющими стержнями размером 3 м х 19 мм (10 футов х ¾ дюйма), изготовленными из омеднённой стали и размещёнными через каждые 6-12 м (20-40 футов) друг от друга по всей длине заземляющего контура. На всех четырёх углах заземляющего контура должны быть предусмотрены испытательные колодцы. С этой системой должны быть постоянно соединены (короткими перемычками) стальные конструкции здания у каждой второй колонны. Эта система заземления здания должна быть напрямую постоянно соединена с крупным оборудованием распределения питания, куда относятся все распредустройства, генераторы, системы ИБП, трансформаторы и т.д., а также с телекоммуникационными системами и системой молниезащиты. Шины заземления должны быть доступны для подключения и визуального осмотра. Никакая часть заземляющих систем не должна иметь сопротивление свыше 5 ом относительно самой земли (использовать четырёхточечный метод измерения падением напряжения).

Следует рассмотреть вариант применения системы молниезащиты, одобренной (Mas24

ter-Labeled) организацией UL. Весьма полезно для определения пригодности какой-либо системы молниезащиты применять «Руководство по анализу рисков» по док.

NFPA 780, которое наряду с другими факторами учитывает географическое положение и конструкцию здания. Если система молниезащиты установлена, она должна быть постоянно связана с системой заземления здания в соответствии с требованиями закона (свода правил) и с требованиями максимальной защиты оборудования.

Дополнительные сведения по проектированию систем заземления здания и молниезащиты представлены в стандарте OEEE 1100.

G.5.1.6 Заземляющая инфраструктура дата-центра.

Стандарт IEEE 1100 содержит рекомендации по электрическому проектированию постоянных соединений и заземления. Следует рассмотреть вариант установки общей соединительной электрической сети (CBN), например, «сигнальной опорной структуры» (signal reference structure) по стандарту IEEE 1100 для постоянного соединения телекоммуникационного и вычислительного оборудования. Заземляющая инфраструктура машинного зала создаёт эквипотенциальный базис для машинного зала и уменьшает высокочастотные паразитные сигналы. Заземляющая инфраструктура дата-центра представляет собой сетку из медного проводника с ячейками размером от 0,6 до 3 м (2 до 10 футов), которая охватывает всю площадь машинного зала. Проводник должен быть калибром не менее #6 AWG или эквивалентного размера. Для такой сетки можно использовать как неизолированные, так и изолированные медные провода. Предпочтительно использовать изолированный провод, на котором снимают изоляцию в тех местах, где должны быть сделаны соединения. Изоляция предотвращает промежуточные или непредусмотренные точки контакта. По промышленному стандарту провод должен иметь изоляцию зелёного цвета или с ясно различимой зелёной маркировкой по док. ANSI-J-STD-607-A.

К другим приемлемым решением относятся: заранее изготовленная сетка из медных полос, соединённых сваркой в сетку с ячейками 200 мм (8 дюймов), которую раскатывают на полу секциями; или мелкая проволочная сетка, 1 устанавливаемая аналогичным образом; или же электрически непрерывный фальшпол, предназначенный служить заземляющей инфраструктурой дата-центра и постоянно соединённый с заземляющей системой здания.

Заземляющая инфраструктура здания должна иметь следующие соединения:

— проводник калибра 1 AWG или крупнее, постоянно соединённый с телекоммуникационной шиной заземления ( TGB – Telecommunications Grounding Busbar ), в машинном зале. Для проектирования инфраструктуры заземления и постоянного соединения телекоммуникаций обратитесь к док. ANSI-J-STD-607-A;

— проводник постоянного соединения с заземляющей шиной для каждого обслуживающего помещение распредустройства или щита, размер проводника определяется по док. NEC 250.122 и по рекомендациям изготовителей;

— проводник калибра 6 AWG или крупнее, постоянно соединённый с HVAC- оборудованием;

— проводник калибра 4 AWG или крупнее, постоянно соединённый с каждой колонной в машинном зале;

— проводник калибра 6 AWG или крупнее, постоянно соединённый с каждым лестничным лотком верхнего расположения, кабельным лотком и жёлобом для прокладки кабеля, входящим в зал;

Смотрите так же:  Приказ министерства здравоохранения рк 533

— проводник калибра 6 AWG или крупнее, постоянно соединённый с каждым кабелепроводом, водопроводной трубой и воздуховодом, входящим в зал;

— проводник калибра 6 AWG или крупнее, постоянно соединённый с каждой шестой опорой фальшпола в каждом направлении;

— проводник калибра 6 AWG или крупнее, постоянно соединённый с каждым компьютерным или телекоммуникационным шкафом, стойкой или рамой. Не соединяйте стойки, шкафы и рамы последовательно.

Стандарт IEEE 1100 содержит рекомендации по электрическому проектированию постоянных соединительных перемычек и заземления. Следует рассмотреть вариант установки общей соединительной электрической сети (CBN), например, «сигнальной опорной структуры» (signal reference structure) по стандарту IEEE 1100 для постоянного соединения телекоммуникационного и вычислительного оборудования.

G.5.1.7 Заземление телекоммуникационной стойки или рамы.

G.5.1.7.1 Заземляющий проводник каркаса стойки.

Каждый аппаратный шкаф и каждая аппаратная стойка требует своего собственного заземляющего соединения с заземляющей инфраструктурой дата-центра. Для этой цели следует использовать медный проводник калибром не менее # 6 AWG. Рекомендуются проводники следующих типов:

— неизолированный медный провод

— изолированный зелёный провод, огнестойкость UL VW1

— приемлемым является гибкий кабель или кабель, соответствующий нормам и правилам ( Code or Flex Cable ).

G.5.1.7.2 Точка подключения заземления к стойке.

Каждый шкаф и каждая стойка должны иметь подходящую точку подключения, к которой можно постоянно подсоединить проводник заземления каркаса стойки. Вариантами для такой точки подключения являются:

— Заземляющая шина стойки: Прикрепите 1 к стойке специальную медную заземляющую пластину или медную полосу. Между этим прутком или полосой и стойкой должно существовать постоянное соединение. Винты крепления должны быть резьбоформирующими (thread-forming), а не самонарезающими (self-tapping) или винтами для листового металла. Резьбоформирующие винты являются трехзаходными и формируют резьбу путём вытеснения металла без образования стружки или металлических крошек, которые могли бы повредить расположенное рядом оборудование.

Прямое подключение к стойке: Если специальные медные заземляющие пластины или полосы и соответствующие резьбоформирующие винты не используются, то для надлежащего постоянного соединения в точке подключения нужно удалить со стойки краску и отчистить поверхность до сияющего блеска с помощью официально одобренного противоокислителя.

G.5.1.7.3 Постоянное соединение со стойкой.

Выполняя постоянное соединение заземляющего проводника каркаса с точкой подключения на стойке или на шкафу, желательно использовать наконечники с двумя отверстиями (two-hole lugs). Использование таких наконечников позволяет обеспечить уверенность в том, что заземляющее соединение не ослабеет из-за чрезмерной вибрации или прикрепления кабеля. Подключение к стойке должно иметь следующие характеристики:

— чистый контакт металл-металл

G.5.1.7.4 Постоянное соединение с заземляющей инфраструктурой дата-центра.

Прикрепите противоположный конец заземляющего проводника каркаса стойки к заземляющей инфраструктуре дата-центра. При этом подключении следует использовать обжимной медный отвод (наконечник?) (compression type copper tap), внесённый в список UL / CSA.

G.5.1.7.5 Непрерывность стойки.

Каждый элемент конструкции шкафа или стойки должен быть заземлён. Это достигается тем, что шкаф или стойку собирают таким образом, чтобы обеспечивалась электрическая непрерывность всех элементов конструкции, как указано ниже:

— Для сварных стоек: сварная конструкция служит в качестве метода постоянного соединения конструктивных элементов стойки.

Стойки с болтовым креплением элементов: сборке стоек с болтовыми соединениями следует уделить особое внимание. Непрерывности заземления невозможно достигнуть с помощью обычных болтов, используемых для сборки и стабилизации аппаратных стоек и шкафов. Болты, гайки и винты, используемые для сборки стоек, не предназначены конкретно для целей заземления. Кроме того, в большинстве случаев стойки и шкафы окрашены. Поскольку краска не проводит электрический ток, она может стать изолятором и обесценить любую попытку выполнить желаемое заземление. В большинстве случаев питание подводится через верхнюю или нижнюю часть стойки. Без наличия надёжного постоянного соединения всех четырёх боковых сторон стойки существует угроза безопасности от контакта с питающими проводами, находящимися под напряжением. Приемлемым методом обеспечения постоянного соединения является удаление краски в точке контакта со сборочными крепёжными изделиями. Этот метод трудоёмок, но эффективен. Другой способ за ключается в использовании «агрессивных» стопорных шайб типа «В» с внутренними и наружными зубцами (см. рис. 18). При затягивании болтов динамометрическим ключом можно достигнуть приемлемого постоянного соединения. Для этого необходимо иметь две шайбы: одну помещают под головку болта для контакта и прорезания краски, другую – под гайку.

G.5.2 Уровни системы электрооборудования.

G.5.2.1 Уровень 1 (электрооборудование).

Система уровня 1 обеспечивает минимальный уровень распределения питания для удовлетворения потребностей электрических нагрузок, с небольшим резервированием или вовсе без него. Электрические системы не имеют резервирования, в них отказ или ремонт/обслуживание какой-либо панели или питающего кабеля вызывает частичное или полное прерывание операций. В месте ввода питания от общедоступной электросети не требуется никакого резервирования.

Генераторы могут быть установлены поодиночке или в параллель с целью повышения мощности, но требование резервирования не предъявляется. Обычно используются один или несколько автоматических переключателей, которые реагируют на потерю нормального электроснабжения, инициируют пуск генератора и переключают нагрузки на систему генераторов. Для этой цели используются (но не являются обязательными) автоматические переключатели (ATS – automatic transfer switches) или автоматические разъединители цепи ( automatic transfer circuit breakers ). Отсутствует требование применения постоянно установленных нагрузочных реостатов для тестирования генератора и ИБП. Требуется предусмотреть возможность для подключения переносимых реостатов.

Система бесперебойного электропитания может быть установлена как одиночный блок или в параллель для повышения мощности. Могут быть использованы статические, вращающиеся или гибридные ИБП, как двойного преобразования, так и интерактивные. Требуется совместимость системы ИБП с системой генераторов. Система ИБП должна иметь возможность 1 байпаса (обхода), которая позволит сохранить непрерывность работы в период техобслуживания/ремонта системы ИБП.

В дата-центрах уровня 1 для распределения питания к критически важным электронным нагрузкам приемлемыми являются отдельные трансформаторы и щиты. Трансформаторы должны быть рассчитаны на работу с нелинейной нагрузкой, для питания которой они предназначены. Вместо трансформаторов К-типа можно также использо вать трансформаторы, погашающие гармоники. Для распределения питания к критически важным электронным нагрузкам можно использовать распределительные щиты питания (PDU) или _____отдельные трансформаторы и панели управления. Допускается использовать любой соответствующий правилам и нормам способ проводки. Для системы распределения не требуется резервирования. Система заземления должна отвечать минимальным нормативным требованиям. Инфраструктура заземления дата-центра не является обязательной, но она может быть желательной как экономичный способ удовлетворить требования изготовителя оборудования к заземлению. Решение об установке молниезащиты следует принимать исходя из анализа риска удара молнии по док. NFPA 780 и требований страховой компании. Если дата-центр классифицируется как «аппаратное помещение для ИТ-оборудования» ( Information Technology Equipment Room ) по док. NEC 645, то должна быть предусмотрена система аварийного отключения питания (ЕРО).

Текущий контроль электрической и механической системы является факультативным.

G.5.2.2 Уровень 2 (электрооборудование).

Системы уровня 2 должны соответствовать всем требованиям уровня 1. Кроме того, системы уровня 2 должны удовлетворять дополнительным требованиям, сформулированным в настоящем Приложении.

Система уровня 2 предусматривает наличие модулей ИБП с резервированием (N+1).

Требуется наличие генераторной системы, мощность которой должна быть выбрана так, чтобы система справлялась со всеми нагрузками дата-центра, хотя резервный комплект генераторов не является обязательным. Не выдвигается требование резервирования ввода питания от общей электросети или системы распределения питания. Требуется предусмотреть возможность подключения передвижных реостатов нагрузок для тестирования генератора и ИБП. Для распределения питания к критически важным электронным нагрузкам следует использовать распределительные щиты питания (PDU). Допускается запитывать от PDU дополнительные панели или «боковые секции» («sidecars») к PDU в тех случаях, когда требуются дополнительные ответвлённые электрические линии. Для обслуживания каждой стойки с компьютерным оборудованием должны быть предусмотрены два резервированных PDU, каждый предпочтительно с питанием от отдельной системы ИБП; компьютерное оборудование с одним и с тремя шнурами питания должно быть снабжено смонтированным на стойке быстродействующим или статическим переключателем нагрузки с питанием от каждого PDU. Вместо этого для компьютерного оборудования с одним и с тремя шнурами питания можно предусмотреть устройства PDU со статическим переключателем, имеющим дублированное питанием от разных систем ИБП, хотя такая схема предлагает несколько пониженное резервирование и меньшую гибкость. Следует обдумать применение цветового кодирования табличек с наименованиям и питающих кабелей, чтобы можно было различить распределение А и В, например, вся сторона А – белого цвета, а сторона В – синего. Одна линия должна обслуживать не более одной стойки, во избежание отказа линии вследствие вредного воздействия нескольких стоек. Для обеспечения резервирования каждая стойка и каждый шкаф должны иметь две специально выделенных электрических линии (20 ампер, 120 вольт), питаемых от двух разных PDU или электрических щитков. Для 1 большинства установок электрические розетки должны быть типа NEMA

2 L5-20R. Для плотно заполненных стоек может потребоваться увеличенная пропускная способность по току, а некоторые новые серверы могут, возможно, потребовать одну или несколько однофазных или трёхфазных 208-вольтовых розеток с номиналом 50 А и более. Каждая розетка должна быть маркирована номером PDU и линии, которая её обслуживает. Рекомендуется, но не требуется в обязательном порядке, иметь резервированный питающий кабель к распределительному щиту для механической системы.

Система заземления здания должна быть спроектирована так, чтобы при её испытаниях импеданс относительно земли был менее 5 ом. Должна быть предусмотрена общая соединительная сеть. Должна быть предусмотрена система аварийного отключения нагрузки (ЕРО).

G.5.2.3 Уровень 3 (электрооборудование).

Системы уровня 3 должны соответствовать всем требованиям уровня 2. Кроме того, системы уровня 3 должны удовлетворять дополнительным требованиям, сформулированным в настоящем Приложении.

Все системы дата-центра уровня 3 должны иметь резервирование не менее (N+1) на уровне модуля, канала и системы, включая системы генераторов, ИБП, систему распределения и все распределительные питающие кабели. При проектировании электрической системы следует учитывать конфигурацию механических систем, чтобы гарантировать, что объединённой электромеханической системе обеспечено резервирование (N+1). Такой уровень резервирования можно получить, либо подключением двух источников питания к каждому кондиционеру, либо разделением оборудования для кондиционирования воздуха между несколькими источниками питания. Питающие кабели и распределительные щиты резервированы, благодаря чему отказ или ремонт какого-либо кабеля или панели не вызывает прекращения операций. Должно быть обеспечено достаточное резервирование для того, чтобы была возможность изолировать любую единицу механического или электрического оборудования, которая потребовала бы существенного ремонта, без отрицательных последствий для служб, обеспечиваемых охлаждением. Благодаря использованию распределённой резервированной конфигурации практически исключены одиночные точки отказа, начиная от места ввода питания от энергосистемы общего пользования вплоть до механического оборудования и вплоть до PDU или компьютерного оборудования. Для обслуживания дата-центра должны быть подведены по крайней мере две питающих линии от энергосистемы общего пользования, среднего или высокого напряжения (свыше 600 В). Конфигурация питающей линии от общей сети должна быть первично-избирательной (селективной), с использованием автоматических разъединителей-переключателей или автоматических изолирующих/байпасных переключателей (с одной линии на другую). Вместо этого можно использовать конфигурацию с автоматическим переключением между двумя вводами ( automatic main — tie — main configuration ). Могут быть использованы поставленные на бетонную подушку подстанция или сухой трансформатор. Трансформаторы должны быть конфигурированы с резервированием 42 (N+1) или 2N, их типоразмеры выбираются исходя из номинальных параметров при работе под открытым небом. Для обеспечения питанием системы ИБП и механического оборудования используется резервная система генераторов. Ёмкость топливного хранилища на объекте должна выбираться из условия обеспечения 24-часовой работы генератора в проектном (расчётном) режиме нагружения. Должны быть предусмотрены изолирующие/байпасные автоматические переключатели или автоматические переключатели-разъединители, которые реагируют на потерю нормальной мощности, инициируют пуск генератора и передают нагрузки системе генераторов. Дуплексные насосные системы должны быть снабжены устройствами автоматического и ручного управления, причём каждый насос должен получать электропитание от своего отдельного источника. Должны быть предусмотрены изолированные резервированные топливные ёмкости 1 и системы топливопроводов. Это позволит добиться того, чтобы загрязнение топливной системы или её механический отказ не оказал влияния на систему генераторов в целом. Для каждого двигателя, приводящего в движение генератор, должны быть предусмотрены сдвоенные резервированные стартеры и аккумуляторные батареи. В тех случаях, когда используются запараллеленные системы, они должны быть снабжены резервированными системами управления.

Чтобы повысить доступность питания для критически важной нагрузки, система распределения конфигурируется по распределённой изолированной резервированной (двухпутной) топологии. Эта топология требует использования автоматических статических переключателей с одной линии на другую (ASTS) либо со стороны первичной, либо со стороны вторичной обмотки трансформатора PDU. Эти переключатели применяются только для нагрузок с одним шнуром питания. Если конструкция нагрузки предусматривает два (или более) шнуров питания, что позволяет непрерывно работать с подачей питания только по одному шнуру, то переключатели ASTS не используются, при условии, что шнуры питаются от разных ИБП. Переключатели будут иметь обходную (байпасную) электрическую линию и один выходной выключатель.

Должны быть предусмотрены заземляющая инфраструктура дата-центра и система

молниезащиты. На всех уровнях электрораспределительной системы, которая обслуживает критически важные электронные нагрузки, должны быть установлены устройства подавления переходных бросков напряжения (TVSS).

Должна быть предусмотрена центральная система текущего контроля и управления

питанием и наблюдения за окружающей средой (PEMCS – power and environmental

monitoring and control system), которая осуществляет текущий контроль за всеми видами

крупного электрооборудования, куда относятся главные распредустройства, генераторные системы, автоматические переключатели (с одного трансформатора на другой), пункты управления электродвигателями, системы TVSS и механические системы. Для управления механической системой, оптимизации её к.п.д., циклического использования оборудования и индикации аварийного состояния должна быть предусмотрена отдельная программируемая система логического управления (logic control system). Для обеспечения непрерывности текущего контроля и управления в случае отказа сер вера предусматривается резервный сервер.

Системы уровня 4 должны соответствовать всем требованиям уровня 3. Кроме того, системы уровня 3 должны удовлетворять дополнительным требованиям, сформулированным в настоящем Приложении.

Системы дата-центра уровня 4 должны иметь конфигурацию с резервированием не менее 2(N+1) во всех модулях, системах и каналах. Для всех питающих кабелей и оборудования должна быть предусмотрена возможность ручного обхода (байпаса – manual bypass) для ремонта/техобслуживания или на случай отказа. При любом отказе подача питания к критически важной нагрузке автоматически переключается с отказавшей системы на альтернативную без перерыва питания критически важных нагрузок.

Для обеспечения адекватной работы аккумуляторной батареи должна быть предусмотрена система текущего контроля за аккумуляторной батареей, способная индивидуально контролировать импеданс или сопротивление каждого элемента, температуру корпуса каждого аккумулятора и сигнализировать о приближающемся отказе батареи.

Вводы от сети электроснабжения общего пользования должны быть выделены исключительно для данного конкретного дата-центра и изолированы от всех не критически важных устройств.

Здание должно иметь по крайней мере 1 два питающих кабеля от сети общего пользования, которые должны быть проложены от двух разных подстанций с целью резервирования.