Что строит сбербанк на минском шоссе
Центр обработки данных Сбербанка (Москва)
16 декабря 2017 года Сбербанк запустил первую очередь своего нового мега-ЦОДа, расположенного в «Сколково». Запущен, в частности, один из пяти блоков, из которых будет состоять центр. Четыре основных блока уже построены, ввести их в строй полностью планируется до конца года. Пятый блок по состоянию на декабрь находится в стадии строительства.
По данным президента Сбербанка Германа Грефа, торжественно открывшего ЦОД, на строительство центра к моменту запуска первой очереди потрачено порядка 14 млрд рублей. Эти расходы не включают вычислительную часть и программное обеспечение, уточнили в Сбербанке.
Также ЦОД в «Сколково» планируется использовать для размещения новых ИТ-систем банка в рамках развития инфраструктуры. «Старые», уже работающие системы, из дата-центра «Южный порт» переносить в новый не планируется.
На нижнем уровне ЦОДа располагаются энергетические установки, станции газового пожаротушения и организация логистической зоны. В ЦОДе применены дизельные динамические источники бесперебойного питания (ДИБП), применение которых на объектах инфраструктуры мощностью от 1 МВТ является экономически более выгодным, чем реализация классических решений с применением отдельных систем ИБП и дизельных генераторных установок (ДГУ), говорят в Сбербанке.
ДИБП с кинетическими накопителями энергии позволил отказаться от свинцовых аккумуляторных батарей, которые часто применяются в дата-центрах. Это как заявляют в Сбербанке, обеспечило экономию до 5,6 тыс. Кондиционируемых площадей.
Машинные залы располагаются на втором уровне дата-центра.
На третьем уровне размещаются вентиляционные камеры с центральными вентиляционными установками. В Сбербанке заявляют, что используют «самое энергоэффективное решение» с охлаждением ИТ-оборудования очищенным подготовленным окружающим воздухом 287 дней в году. Для отвода тепла из машинного зала используется технология прямого естественного охлаждения, которая на 73% эффективнее, чем традиционные технологии, утверждают в Сбербанке.
В системе охлаждения используется программное обеспечение с элементами искусственного интеллекта. Оно анализирует прогноз погоды, данные метеостанций, может обеспечивать накопление холода, если ожидается резкий скачок температуры, и др.
Технопарк ПАО Сбербанк – новый архитектурный символ «Сколково»
Технопарк Сбербанка в Сколково – это новый архитектурный объект, который призван стать символом центра в Москве и один из самых уникальных проектов. Современный вариант мультифункциональной площадки создавался для того, чтобы продвигать банк и его продукты в финансово-технологической среде. Архитектурная концепция принадлежит знаменитому английскому бюро Захи Хадид, которое победило на конкурсе международного уровня.
Концепция проекта ПАО Сбербанк
Основой концепции служит простейшее наложение элементов, схожих с кольцами или бубликами, один на другой. Последние в некоторых местах экстремально сменяют друг друга или пересекаются. В концепцию включена ни одна сфера – от производства и культуры до науки, образования и даже искусства.
Архитектура технопарка
Для разработок технопарка в Сколково «Сбербанк» позвал пять фирм, разрабатывающих архитектурные проекты. Среди них были как российские, так и зарубежные организации. Перед проектировщиками стояло основное условие – поддержать имидж инновационного банка и создать «драйвер» передовых технологий.
Здание встроено в структуру имеющегося плана Сколково и занимает в ней доминантное положение. За счет этого успешно поддерживается основная планировочная ось бульвара.
Весь объем распределяется по территории как гигантское полукольцо. Из последнего возвышаются блоки каменных башен округлой формы. Они также связаны друг с другом. Медиа-башни, которые расположены отдельно, – идеальная демонстрация последних разработок технопарка.
Сквозь крупное стеклянное пространство проходит туннель довольно широкого атриума-бульвара. Из-за этого создается впечатление, будто вы находитесь в терминале аэропорта. Помещение в центре технопарка Сбербанка использовано как связующий модуль. Оно служит как блок для коммуникаций, выставок и представлений одновременно. Такая зона пересечения занимает весь первый этаж. Каждое подразделение банка располагается на нескольких объемах-кольцах. Последние объединяют от одного до трех этажей.
Около здания появится свободный участок с фонтанами и парковой зоной. Интересным дополнением окружающей среды станут высокие деревья-колонны и зимние сады, в которых растут живые растения.
Так как Сколково расположено за исторической частью города, у архитекторов не было цели сохранять культурное наследие старой Москвы. Другими словами, проектировщики работали в неограниченной творческой свободе.
Внутренние интерьеры
Внутри сочетаются уникальные дизайнерские решения. В здании можно легко и быстро перейти из одного блока в другой. Проектировщики позаботились о трансформируемости и мобильности. Кроме открытой планировки главных рабочих зон, были предусмотрены уютные приватные пространства. Верхний этаж служит помещением для переговорных и рекреаций.
Здание технопарка вместит в себя несколько функциональных зон. Речь идет о:
Офисная часть здания представляет интересное чередование зон отдыха и основных пространств для работы, которое образует подобие цепи. Последняя необычно опоясывает все здание по периметру. Изнутри раскрывается вид на бульвар.
Архитекторы также хорошо поработали над освещенностью внутренних помещений. В проекте предусмотрены специальные световые колодцы. Имеется также крытый атриум, где остекление будет двойным с эффектом затемнения.
Фасад
Светопрозрачный фасад отличается бионической формой и спроектирован в виде открытого пространства.
Энергоэффективность
Решения архитекторов ориентированы только на передовые технологии. Объект имеет экологическую сертификацию по «зеленому» стандарту. Это значит, что будут использованы энергосберегающие технологии.
Технико-экономические показатели
Технические и экономические показатели:
«РТСофт» внедрил систему диспетчеризации и управления инженерными системами ЦОДа Сбербанка в «Сколково»
Содержание
ЦОД расположен на территории 4,09 га в Сколково.
2020: Внедрение системы диспетчеризации и управления инженерными системами ЦОДа
В конце декабря 2020 г. «РТСофт» завершил проект по внедрению автоматизированной системы диспетчеризации и управления инженерными системами (АСДУ ИС) Центра обработки данных (ЦОД) «Сколково» ПАО «Сбербанк». Проект выполнялся в рамках консорциума компаний под управлением генподрядчика – компании «Инсистемс» (ГК «Ланит»), сообщили в «РТСофт» 20 апреля 2021 года.
Как отмечается, ЦОД, расположенный в Инновационном центре «Сколково» – один из крупнейших и мощнейших дата-центров в Европе. Его площадь составляет 39 000 м2, активная мощность – до 32 МВт, количество серверных стоек – до 2000 и общий уровень отказоустойчивости (по Uptime Institute) – Tier III.
Как объект внедрения АСДУ инженерных систем ЦОД «Сколково» представляет собой комплекс зданий: административно-бытовой корпус с примыкающими пятью инженерно-технологическими модулями ЦОД, которые работают в круглосуточном и круглогодичном режимах.
Цель проекта: повышение надежности, безопасности и качества функционирования оборудования инженерных систем, а также сокращение затрат на его обслуживание.
Внедрение АСДУ ИС ЦОД «Сколково» позволило решить задачи по следующим направлениям:
АСДУ ИС обеспечила интеграцию локальных систем автоматики и контроль функционирования полного набора технологических подсистем: общеобменной вентиляции, кондиционирования воздуха, водоснабжения, отопления, холодоснабжения, электроснабжения, ДИБП, освещения, контроля качества электроэнергии, мониторинга температуры и влажности в машинных залах и многих других.
Особая гордость разработчиков системы, специалистов «РТСофт», – это решение сложнейших технических задач по организации «глубокого» хранения данных. При этом общий объем контролируемых параметров на апрель 2021 года доходит до 200 тысяч, рассказали в компании. Кроме этого, нужно было предложить такое решение, при котором общий информационный объем системы можно было бы расширять с учетом перспектив развития ЦОД «Сколково». И эта задача также была решена. Стоит отметить, что внедрение АСДУ ИС шло в сложных условиях, параллельно со строительными работами.
ЦОД «Сколково» ПАО «Сбербанк» будет развиваться и расширяться. Приобретенный инженерный опыт и сложившаяся проектная команда позволят «РТСофт» браться за новые работы в этом проекте и предлагать решение аналогичных задач другим заказчикам, считают в компании.
Передача сертификатов безопасности Uptime Institute Tier III
Сбербанку переданы сертификаты Uptime Institute Tier III, которые говорят о соответствии международным стандартам безопасности ранее введенных в эксплуатацию модулей центра обработки данных «Сколково». Документы вручил старшему вице-президенту, руководителю блока «Технологии» банка Давиду Рафаловскому управляющий директор Uptime Institute по России и СНГ Алексей Солодовников, сообщили TAdviser 11 октября 2018 года в Сбербанке.
На октябрь 2018 года ЦОД Сбербанка «Сколково» мощностью 30 МВт и вместимостью до 5 экзабайт информации состоит из пяти модулей. Предполагается, что после введения в эксплуатацию всех модулей дата-центр станет крупнейшим в России и одним из крупнейших в Европе.
Уровень надежности ЦОД по международной системе оценки (Uptime Institute) — Tier III, что подразумевает показатель доступности не менее 99,98% и функционирование ИТ-систем в режиме 24 х 7.
Испытания подтвердили, что технологические модули № 1 и 2 ЦОД соответствуют стандарту Uptime Institute Tier Standard: Topology. Сертификация модулей № 3, 4 и 5 запланирована на четвертый квартал 2018 года.
Смета строительства ЦОДа Сбербанка в «Сколково» перевалила за 17 миллиардов
Напомним, базовый инженерный контракт на возведение рассматриваемого объекта на 12,2 млрд руб. был заключен 16 апреля 2016 г. с дочерней структурой «Ланита», компанией «Инсистемс».
В начале мая 2018 г. CNew sобнаружил, что у базового контракта на сайте госзакупок появилось еще одно дополнительное соглашение между Сбербанком и «Инсистемс» — на 129,3 млн руб., и, что характерно, ему был присвоен №4, в то время как информация от допсоглашениях №2 и №3 на официальном портале zakupki.gov.ru отсутствовала.
Редакция обратилась в пресс-службу Сбербанка с закономерным вопросом о возможности узнать подробности о непредставленных на сайте допсоглашениях №2 и №3 и с просьбой сообщить, существуют ли в рамках проекта соглашения с порядковыми номерами от 5 и выше.
В ответ в пресс-службе банка сообщили, что за период срока строительства 2016-2018 гг. к базовому договору было заключено шесть дополнительных соглашений. «Соглашекния №№ 2, 3, 5 носят технический характер и не влекут за собой изменений существенных условий договора, — заверяют в организации. — Соглашения № 1 (2,86 млрд руб.), № 4 (129,3 млн руб.) и № 6 (2,23 млрд руб.) связаны со строительством дополнительного 5-го технологического модуля, ранее не входившего в предмет договора, с усиленным техническим надзором за проектом, с изменениями проектных и технологических решений, необходимость которых выявлена в процессе строительства, с изменением проектных решений в оптической подсистеме интеллектуальной структурированной кабельной сети для обеспечения перехода на новые поколения вычислительных систем, и другими технологическими и модернизационными изменениями».
Отметим, что на следующий день после обращения CNews — 4 мая 2018 г. — информация о допсоглашении №6 на 2,23 млрд руб. была добавлена на сайт госзакупок.
Завершение создания интеллектуальной кабельной сети
7 мая 2018 года компания «Инсистемс» (группа ЛАНИТ) сообщила о завершении монтажа и пусконаладочных работ кабельной сети Центра обработки данных (ЦОД) Сбербанка «Сколково» – инфраструктуры четырех из пяти модулей ЦОД.
За прошедшие несколько месяцев с момента введения в эксплуатацию в декабре 2017 года первого модуля, ЦОД был глобально усовершенствован. Смонтирована и введена в эксплуатацию интеллектуальная структурированная кабельная сеть. Это позволило вывести ЦОД на высокий уровень надежности и обеспечить переход на современные поколения вычислительных систем, которые будут работать на скоростях до 400 Гбит в секунду.
Задача ЦОД — хранение, обработка и передача больших объемов информации. Для работы такого центра необходимы современные системы поддержания постоянной температуры и влажности, высокоскоростной доступ в интернет, а также оборудование для бесперебойного снабжения электроэнергией. С вводом в эксплуатацию ЦОД повышается надежность ИТ-систем банка.
После введения в эксплуатацию всех модулей ЦОД «Сколково» он будет способен вместить до одного экзабайта информации и обрабатывать ее с помощью 24 тыс. серверов. Мощность центра составит до 29,9 МВт, а уровень надежности по международной системе оценки (Uptime Institute) — TIER–III, что предполагает показатель доступности систем не менее 99,98 %.
Энергетические системы ЦОД «Сколково» используют динамические источники бесперебойного питания. Системы холодоснабжения действуют по принципу прямого охлаждения забортным воздухом и работают без расходования электроэнергии более 330 дней в году.
ЦОД прошел экспертизу Руководства по энергоэффективному и экологическому проектированию (LEED-экспертизу) в США. Ему был присужден 51 балл.
Запуск мега-ЦОДа
16 декабря 2017 года Сбербанк запустил первую очередь своего нового мега-ЦОДа, расположенного в «Сколково». Запущен, в частности, один из пяти блоков, из которых будет состоять центр. Четыре основных блока уже построены, ввести их в строй полностью планируется до конца года. Пятый блок по состоянию на декабрь находится в стадии строительства.
Затраты, сроки и подрядчики
По данным президента Сбербанка Германа Грефа, торжественно открывшего ЦОД, на строительство центра к моменту запуска первой очереди потрачено порядка 14 млрд рублей. Эти расходы не включают вычислительную часть и программное обеспечение, уточнили в Сбербанке.
Генеральным подрядчиком по строительству дата-центра выступала компания «Инсистемс», входящая в группу «Ланит». Проектный директор Сбербанка Сергей Шуршалин рассказал TAdviser, что в проекте в общей сложности участвовали порядка 150 подрядчиков. При этом Сбербанк специально выбирал небольшие компании, чтобы сэкономить на услугах при строительстве дата-центра, рассказал он TAdviser.
Меморандум о создании дата-центра со «Сколково» Сбербанк подписал еще в 2011 году. При этом сроки начала строительства ЦОДа неоднократно переносились. Представитель Сбербанка объяснил TAdviser задержку, главным образом, тем, что у «Сколково» возникли проблемы с подведением электроэнергии нужной мощности. Начинать стройку, не будучи уверенными в том, что будет обеспечена нужная мощность, было слишком рискованно, сказал собеседник TAdviser.
Функции
Также ЦОД в «Сколково» планируется использовать для размещения новых ИТ-систем банка в рамках развития инфраструктуры. «Старые», уже работающие системы, из дата-центра «Южный порт» переносить в новый не планируется.
Как устроен мега-ЦОД 2
На нижнем уровне ЦОДа располагаются энергетические установки, станции газового пожаротушения и организация логистической зоны. В ЦОДе применены дизельные динамические источники бесперебойного питания (ДИБП), применение которых на объектах инфраструктуры мощностью от 1 МВТ является экономически более выгодным, чем реализация классических решений с применением отдельных систем ИБП и дизельных генераторных установок (ДГУ), говорят в Сбербанке.
ДИБП с кинетическими накопителями энергии позволил отказаться от свинцовых аккумуляторных батарей, которые часто применяются в дата-центрах. Это как заявляют в Сбербанке, обеспечило экономию до 5,6 тыс. Кондиционируемых площадей.
Машинные залы располагаются на втором уровне дата-центра.
На третьем уровне размещаются вентиляционные камеры с центральными вентиляционными установками. В Сбербанке заявляют, что используют «самое энергоэффективное решение» с охлаждением ИТ-оборудования очищенным подготовленным окружающим воздухом 287 дней в году. Для отвода тепла из машинного зала используется технология прямого естественного охлаждения, которая на 73% эффективнее, чем традиционные технологии, утверждают в Сбербанке.
В системе охлаждения используется программное обеспечение с элементами искусственного интеллекта. Оно анализирует прогноз погоды, данные метеостанций, может обеспечивать накопление холода, если ожидается резкий скачок температуры, и др.
В ЦОДе также развернут ситуационный центр. Наряду с ситуационном центром в дата-центре «Южный порт», он используется для мониторинга состояния всех систем и основных операций банка. В Сбербанке говорят, что нагрузка между двумя этими центрами будет балансироваться.
Как и в ЦОДе «Южный порт», для доступа к помещениям нового дата-центра помимо карточек используются биометрические системы безопасности. Но если в первом внедрено распознавание сотрудника с правами доступа по рисунку вен на руках, то в мега-ЦОДе в «Сколково» применяется система распознавания сотрудников по лицу.
Сергей Шуршалин рассказал TAdviser, что пятый блок нового ЦОДа Сбербанк планирует использовать для развития бизнеса по кибербезопасности как нового направления, оказывая услуги в этой области и внутренним, и внешним заказчикам. Как и в ЦОДе «Южный порт», в новом мега-ЦОДе Сбербанк рассматривает возможность размещения SOC (security operations center), говорит Шуршалин.
Импортозамещение
Завершение строительства мега-ЦОДа в «Сколково»
Строительство мега-ЦОДа Сбербанка в «Сколково» завершено, рассказал старший управляющий директор блока «Технологии» Сбербанка Павел Ходалев, выступая 29 ноября 2017 года на конференции TAdviser SummIT. По его словам, этот ЦОД планируется сделать основным местом расположения инфраструктуры Сбербанка.
По состоянию на ноябрь завершаются работы по инженерным системам первой очереди объекта, начаты работы по монтажу ИТ-оборудования, запуск планируется в 1 квартале 2018 года, уточнили TAdviser в Сбербанке.
В ЦОДе «Сколково» монтируется новейшее ИТ-оборудование. При этом в ЦОДе «Южный порт» проводятся плановые работы по техническому обновлению ИТ-оборудования с отработанным ресурсом, сообщили TAdviser в Сбербанке.
(состояние стройки мега-ЦОДа Сбербанка ранее, в октябре 2017 года)
С запуском нового ЦОДа Сбербанк планирует отказаться от нескольких арендуемых площадок. Два ЦОДа в «горячем» резервировании обеспечат функционирование промышленных автоматизированных систем банка, заявили TAdviser в Сбербанке.
Ранее в Сбербанке рассказывали TAdviser, что банк планирует строить третий крупный стратегический ЦОД на расстоянии более 1 тыс. км от Москвы, который выполнял бы функцию резервной площадки. По информации TAdviser, по состоянию на ноябрь 2017 года строительство этого ЦОДа еще не началось.
Концепция Сбербанка предусматривает такую архитектуру ЦОДов, в которой третий дата-центр должен появиться в 2019-2020 годах.
Как устроен новый ЦОД Сбербанка в Сколково
Сбербанк на прошлой неделе запустил свой новый Центр обработки данных «Сколково». В перспективе он будет полностью дублировать ЦОД «Южный порт» и использоваться под нужды новых направлений бизнеса. Сейчас резервирование выполняется в разных малых ЦОД, на арендуемых площадках, с которых Сбербанк постепенно уйдет. FutureBanking побывал в «железном сердце» Сбербанка и узнал, как устроен один из самых технологически сложных объектов в стране.
Глава Сбербанка Герман Греф лично запустил в эксплуатацию первую очередь ЦОДа, а также пояснил участникам торжественной церемонии, что на текущий момент завершено строительство четырех очередей, которые призваны дублировать ЦОД «Южный порт». Банк потратил на эти цели 14 млрд рублей без учета расходов на IT-системы. Кроме того, на завершающей стадии строительства находится пятая очередь, запланированная под нужды экосистемы Сбербанка. Банк пока не определился со строительством шестой очереди, которая нужна «на перспективу».
Сбербанк называет свой ЦОД «Сколково» самым большим и самым инновационным центром обработки данных в России, а также одним из крупнейших ЦОД подобного класса в Европе.
«Нас интересовали несколько параметров: стоимость эксплуатации и строительства, скорость и надежность. Поэтому мы постарались использовать все самые современные технологии, которые сейчас доступны в мире», – пояснил Греф.
Говоря про надежность, глава Сбербанка напомнил, что с 2014 года вся инфраструктура банка централизована, и существуют «огромные риски», если произойдет длительный сбой в работе систем. Поэтому проект ЦОДа соответствует уровню надежности Tier 3, а системы энергосбережения и энергозащиты – уровню Tier 4 (самый высокий уровень).
Строительство объекта общей площадью около 33 тыс. кв. м. не случайно велось в Сколково. Помимо относительно недорогой электроэнергии банк платит лишь 1 млн руб в год за аренду участка площадью 7 га. Срок строительства по проекту составлял 36 месяцев, но в ходе конкурсных процедур и переговоров с подрядчиками банк сократил его до 25 месяцев. Однако и это руководству банка показалось слишком долгим, и оно решило ускорить процесс. В итоге четыре очереди были сданы за 18 месяцев.
Модель модуля в разрезе
ЦОД состоит из пяти трехуровневых модулей. На первом уровне находятся все энергетические установки. Банк отказался от использования неэкологичных свинцовых аккумуляторов в пользу динамических источников бесперебойного питания с кинетическими накопителями энергии. Если ЦОД будет полностью обесточен, то он сможет работать 24 часа без подвоза дизельного топлива.
На втором уровне находится IT-оборудование банка. Банк планирует разместить в 20 машинных залах около двух тысяч стоек с нагрузкой 8 кВт каждая. В итоге 24 тысячи серверов будут способны вместить до 1 эксабайта информации. Этого должно хватить Сбербанку на 10 лет, если текущие темпы роста объема данных сохранятся.
Всё IT-оборудование имеет два блока питания. К каждому блоку питания подведена своя линия электроснабжения. В случае аварии или какого-то ремонта на линии электроснабжения IT-оборудование будет продолжать работу по другой линии.
Герман Греф обратил внимание на то, что, если в «Южном порту» стоят машины производства IBM, почти всё оборудование импортное, то при создании ЦОД «Сколково» компания «Инсистемс», которую банк привлек в качестве системного интегратора, максимально использовала российские решения и оборудование. Решения, которые были найдены российскими инженерами, по словам главы Сбербанка, на сегодняшний день «находятся на рубеже самых передовых технологий». При этом банк постоянно занимается исследованиями, тестирует новые продукты, которые получает из Китая, Японии и других стран мира.
Вход в машинный зал осуществляется по специальной системе. Если в ЦОД «Южный порт» подобная система распознает рисунок вен ладони, то в новом центре обработки данных применяется новейшая система распознавания лица.
Третий уровень отведен под системы вентиляции и охлаждения воздуха. Система работает по принципу «фрикулинг»: забирает воздух с улицы, обрабатывает его, очищает, направляет в машинный зал, и затем выводит нагретый воздух на улицу. Температура в машинном зале поддерживается на уровне около 20 градусов.
Программное обеспечение системы – отечественная разработка. Оно многоступенчатое, с элементами искусственного интеллекта, который анализирует погодные условия, опираясь на данные своих метеостанций. В частности, система запасает холод, если ожидается резкое потепление. Эта «умная» система должна помочь банку ежегодно экономить примерно 100 млн рублей на электроэнергии. Еще 5 миллионов рублей в год Сбербанк сэкономит за счет перенаправления части тепла, которая выделяется от машинного зала, на отопление этажей.
Ситуационный центр
Ситуационный центр в ЦОД «Сколково» визуально напоминает аналогичный центр в «Южном порту». На одной части экрана ведется мониторинг инженерных систем. Система позволяет управлять практически любым оборудованием в машинном зале. В случае возникновения аварии сообщение об этом немедленно появится на экране диспетчера. Также специалисты могут управлять системой динамических источников бесперебойного питания.
Из ситуационного центра можно следить не только за состоянием ЦОДа, но и за операционной деятельностью банка. В режиме реального времени на экране отражается более 20 000 метрик. Например, можно посмотреть, что за последнюю минуту по картам Сбербанка было совершено более 100 000 операций, через Сбербанк Онлайн провели свыше 20 000 операций, а сам банк отправил 90 000 SMS. Также можно получить детализацию по каждому конкретному территориальному банку Сбербанка.
Еще одна часть экрана посвящена кибербезопасности. На ней отображена консоль управления каналами связи банка и защиты от DDoS-атак.
Сбербанк пока не планирует сдавать мощности ЦОДа другим банкам. По крайней мере, четкого решения на этот счет нет. По словам представителя банка, вероятнее всего крупнейший российский банк будет оказывать другие услуги – в сферах кибербезопасности или облачных технологий.
Эта статья была разослана 1195 людям, которые подписались на тему «IT в банке»
Чтобы подписаться на «IT в банке», просто введите Ваш
электронный адрес.