Техническая реализация информационной системы

На рис 3.5. представлена архитектура информационной системы компании, то есть концепция, определяющая модель, структуру, выполняемые функции и взаимосвязь компонентов информационной системы до того как компания создаст информационное пространство для процесса абонентского учета и биллинга.

Для построения АСУ на основе продукта Oracle Utilities CC&B предлагается использовать многоуровневую техническую архитектуру с учетом описанной выше архитектуры Oracle Utilities CC&B. Помимо требования многоуровневой архитектуры, на систему накладывается требование надежности и высокой доступности. Ключевым элементом достижения требуемого уровня надежности системы является дублирование ключевых компонентов центра обработки данных, а также наличие резервного источника бесперебойного питания. Концептуальная схема построения технической архитектуры представлена на рисунке 3.6.

После внедрения СС&B архитектура информационной системы компании изменится и будет выглядеть следующим образом. Рисунок 3.7.

Сетевая инфраструктура:

Планируется обеспечение дублирования каналов связи, как между компонентами центра обработки данных (ЦОД), так и каналов связи с удаленными отделениями.

Каналы связи между программно-аппаратным комплексом ЦОД с локальной сетью общего использования энергосбытовой организации, должны обеспечивать проходимость 1 Гбит/с.

Каналы для организации WANсети (Wide-Area Network — территориально распределенная сеть организации), предоставленные провайдером для связи программно-аппаратного комплекса ЦОД с территориально разобщенными площадками должны обеспечивать:

• -проходимость 100 мбит/с для программно-аппаратного комплекса ЦОД
• -Минимальные требования к пропускной способности локальной сети в участках подключения конечных пользователей, которые составляют: 128 кбит/с в расчете на одну рабочую станцию, но не менее 2 Мбит/с на подразделение, при условии, что на рассматриваемом участке сети нет другой активности, кроме как относящейся к работе системы Oracle CC&B. В случае если рассматриваемый участок сети используется другими службами и приложениями, необходимо рассчитывать требуемую пропускную способность с учетом требований служб и приложений.

Сетевое оборудование, предназначенное для обеспечения каналов связи между компонентами ЦОД (серверами СУБД, приложений, административным сервером, системой хранения, серверами балансирующими нагрузку, активным сетевым оборудованием) должно обеспечивать скорость передачу данных 1 Гбит/с.

Сервер Баз Данных CC&B:

На сервере содержатся данные, связанные с приложениями CC&B. Платформа, поддерживающая данный сервер, содержит две группы объектов:

a) Файлы, поддерживающие работы сервера базы данных;

b) Файлы, в которых содержатся реальные данные;

Реляционная база данных, используемая в продукте, располагается на сервере базы данных. OracleUtilities CC&B поддерживает базы данных ORACLE, DB2 или SQL Server. В проекте будет использоваться СУБД Oracle. Роль базы данных в архитектуре CC&B — только хранение и поиск данных. Никакая бизнес-логика, за исключением простейших ограничений, не внедрена на уровне базы данных по соображениям производительности и управляемости.

Рисунок 3.5 — Архитектура информационной системы.

При установке компонентов базы данных OracleUtilities CC&B в выбранную СУБД (Oracle) процесс установки разворачивает все необходимые для работы таблицы, представления и индексы.

Уровень приложений Серверы приложения отвечают за логику бизнес-процессов, распределяют сеансы пользователей между серверами приложений.

Сервисы, составляющие основу уровня приложений OracleCustomer&Billing:

а) Web Application Server.

Рисунок 3.6 — Техническая архитектура СС&B.

Предназначен для реализации логики пользовательского интерфейса на уровне приложения посредством динамической генерации HTML-страниц. С помощью WebApplicationServer реализована часть пользовательского интерфейса OracleCustomerCare&Billing. Приложения CC&B базируется на совместимом с J2EE сервере приложений, таком как, OracleWebLogicServer, WebSphere или OracleApplicationServer. Эта конфигурация может работать на различных поддерживаемых платформах Linux, Unix, WindowS. Связь Web-сервисов с клиентом осуществляется по протоколам HTTP и HTTPS. WebApplicationServer обрабатывают запросы, полученные от клиентских рабочих мест.

б) Business Application Server.

Предназначен для реализации бизнес-правил. Бизнес-правила реализуются в виде объектов, с которыми связано большинство функциональных операций в системе. На данном уровне выполняются все преобразования данных, реализуются механизмы организации ссылочной целостности данных и правила проверки корректности данных, обрабатываются и форматируются результаты SQL запросов к базе данных. Включает следующие компоненты:

• · BusinessObjects — Бизнес-логика для каждого объекта системы представлена в виде Java или Cobol объектов. Они содержат все запросы SQL, программный код, структуры для управления данными операций.
• · Hibernate — используется для доступа к данным реляционной базы данных как к объектам. Если требуется доступ к базе данных используется компонент Hibernate для управления набором соединений к базам данных. Этот механизм резервирует соединения и гарантирует эффективное соединение с базой данных. Hibernate создает набор соединений с базой данных, используя настройки конфигурации, включающие тип соединения и количество соединений которые необходимо создавать в периоды пиковой и нормальной нагрузки в системе. Набор соединений создается при старте, допускает повторное использование подключений в наборе и переподключение в случае возникновения ошибки.

Характеристики аппаратно-программного обеспечения.

Серверное оборудование до внедрения CC&B — 3 сервера IBM X3850-X5 в следующей конфигурации:

• · 32 GB RAM
• · 4 CPU 6-Core Intel Xeon E7540 2GHz
• · RAID-5 массив чистого объема 144GB.

Кроме того, совместно с ERP-системой на основе Oracle E-Business Suite используется сервер отчетности Oracle BI для построения отчетов.

В дальнейшем предполагается использование оборудования Enterprise-класса Oracle Exalogic/Exadata.

Архитектура вычислительного комплекса CC&B и MDM (см. рис. 3.8.)систем предполагают использование на уровне сервера базы данных сервера Oracle Database Machine (ExaData v2), а на уровне сервера приложений сервера Oracle ExaLogic v1. Oracle Exalogic и Oracle Exadata подключаются между собой с использованием InfiniBand коммутаторов.

Конфигурация Oracle Exadata была рассчитана специалистами компании Oracle специально для ОАО «Челябэнергосбыт».

Рисунок 3.8. — Архитектура вычислительного комплекса CC&B и MDM.

Решения для построения серверной платформы систем Oracle CCB и MDM уровня Web&Application предлагается использовать решение Oracle Exalogic Elastic Cloud в конфигурации Quarter Rack.

На Oracle Exalogic размещаются следующие компоненты системы:

• § Web-сервер Oracle WebLogic;
• § приложение CCB;
• § приложение MDM;
• § приложение аналитики и отчетности Oracle BI, и другие приложения (в случае необходимости)
• § продукты промежуточного (интеграционного) слоя из состава Oracle SOA Suite;
• § технологическое ПО Exalogic x2−2.

Oracle Exalogic представляет собой платформу для размещения приложений любых видов, включая крупные и высокопроизводительные системы. Oracle Exalogic оптимизирована для Java-приложений, Oracle Fusion Middleware и Oracle’s Fusion Applications, но также применима для большого круга Linux и Solaris приложений, применяемых в настоящее время.

Оборудование Oracle Exalogic поставляется в стандартном 19″ 42U серверном шкафу Sun Rack II 1242. В состав конфигурации Oracle Exalogic входят серверы (compute nodes), высокопроизводительная подсистема хранения, а также коммутаторы для подключения оборудования, в т. ч. для внешних подключений. В составе конфигурации также предусмотрены 10 Gigabit Ethernet ports для интеграции в инфраструктуру ЦОД Заказчика.

Предлагаемое решение Oracle Exalogic имеет следующие аппаратные характеристики: 8 x Sun Fire X4170 M2 servers, 2 x Xeon CPU 2.93 GHz 6-core (всего 96 ядер); 576GB 1333 MHz DIMM RAM; 256GB FlashFire SSD; 40TB On-board Disk Storage; QDR InfiniBand adapters. Предустановлена ОС Oracle Enterprise Linux.

В рамках настоящего предложения Oracle Exalogic применяется для размещения как продуктивных сред серверов приложений и web-серверов, так и вспомогательных сред — тестирования, разработки, обучения пользователей.

Для построения серверной платформы систем Oracle CCB и MDM уровня базы данных предлагается использовать решение Oracle Exadata Database Machine в конфигурации X2−2 Half Rack. Данная конфигурация включает 4 сервера базы данных (database servers) и 7 серверов хранения (storage servers).

На Oracle Exadata размещаются следующие компоненты системы:

• · СУБД приложения CCB;
• · СУБД приложения MDM;
• · СУБД системы аналитики и отчетности Oracle Business Intelligence (c опциями OLAP) с хранилищем данных Oracle Utilities BI Extractors and Schema;
• · СУБД других приложений (в случае необходимости);
• · CУБД продуктов промежуточного (интеграционного) слоя из состава Oracle;
• · SOA Suite (опционально — зависит от интеграционного решения);
• · технологическое ПО ExaData v2 для обеспечения кластеризации Oracle RAC, сжатия данных Adv Compression, ПО опции Partitioning).

Oracle Exadata представляет из себя набор серверного оборудования стандартной архитектуры x86₆₄ для серверов хранения и серверов баз данных, коммутаторов транспортной подсистемы на основе Infiniband и инфраструктурных компонент (Ethernet коммутатор внутренней сети управления и KVM-переключатель). Оборудование установлено в один стандартный 19″ серверный шкаф Sun Rack II 1242.

Транспортная подсистема Exadata включает в себя два коммутатора Oracle Data Center Infiniband Switch (leaf-switch или коммутаторы подключения серверов) для организации взаимодействия внутри комплекса между серверами баз данных и серверами хранения. На основе коммутаторов формируется единая резервированная сеть Infiniband. Каждый сервер включен двумя портами Infiniband QDR 40Gb/s: основным и резервным (в режиме failover), что гарантирует автоматическое переключение на резервный канал связи при выходе из строя одного Infiniband-кабеля или одного из коммутаторов транспортной системы.

Серверы баз данных в составе Oracle Exadata имеют следующую конфигурацию: Oracle Sun Fire X4170 M2, 2 x Six-Core Intel® Xeon® X5670 Processors (2.93 GHz), 96 GB Memory, 4×300 GB 10,000 RPM SAS Disks, 2 x QDR (40Gb/s) Ports, 2×10 Gb Ethernet Ports, 4×1 Gb Ethernet Ports.

Серверы хранения в составе Oracle Exadata имеют следующую конфигурацию: Oracle Sun Fire X4270 M2, 2x Intel 6-Core Xeon 2.26GHz L5640, 24 GB Memory, 12×600 GB 15,000 RPM High Performance SAS disks или 12×2 TB 7,200 RPM High Capacity SAS disks, 2x Infiniband 4X QDR (40Gb/s) Ports. В каждом сервере хранения установлены по четыре контроллера Flash Accelerator FA20, обслуживающие лишь flash-диски. Доступ к информации на flash-дисках происходит практически с нулевыми задержками, скорость таких дисков может достигать десятков тысяч IOPS. Общий объем flash-дисков составляет 2.6Тбайт.

На уровне СУБД Oracle Exadata реализует Oracle Real Application Cluster (RAC) архитектуру. Предлагаемая конфигурация Oracle RAC даёт линейное масштабирование практически для всех задач, а его коэффициент зависит от качества реализации задачи в плане минимизации конкуренции за ресурсы.

В качестве системы резервного копирования предлагается использовать решение на базе программного обеспечения компании Symantec — NetBackup. NetBackup является ведущим ПО резервного копирования в мире (40% рынка). Система резервного копирования обеспечивает создание резервных копий как с серверов БД и приложений систем CCB и MDM, так и с остальных серверов ОАО «Челябэнергосбыт». Общая архитектура решения представлена на рисунок 3.9.

Рис. 3.9 — Общая схема системы резервного копирования.

Решение по резервному копированию аппаратно-программного комплекса Oracle DataBase Machine средствами NetBackup было официально протестировано Symantec совместно с Oracle. Описание тестирования представлено в документе: «White Paper: Protecting an Exadata Database Machine with NetBackup for Oracle».

NetBackup позволит производить автоматизированные резервные копии данных по расписанию с Oracle DataBase Machine, а также с других серверов ИТ-инфраструктуры ОАО «Челябэнергосбыт».

В состав решения входит следующее аппаратное обеспечение:

• § Сервер резервного копирования IBM x3850 X5.
• § Ленточная библиотека IBM TS 3310 (320 накопителей LTO5, 6 ленточных приводов LTO5).
• § FC коммутаторы Cisco MDS 9148 (48 активных портов).
• § Серверный шкаф IBM 42U Enterprise Rack.

В качестве сервера резервного копирования используется сервер IBM x3850 X5 в конфигурации: 2×6 Core 2.00GHz Xeon, 16 GB RAM, 2×600 SAS HDD, 2×2 ports FC HBA, 2 ports Infiniband HBA. Операционная система — RedHat Enterprise Linux.

В процессе развертывания приложений Oracle Utilities будет переход на оборудование Enterprise-класса. Целевая конфигурация оборудования приведена в таблице 3.4.:

Таблица 3.4 — Целевая конфигурация оборудования.

На рис. 3.10 ниже приводится целевая архитектура аппаратного комплекса для развертывания приложений ИСАУБ в промышленной эксплуатации.

Пользовательские рабочие станции:

a) ОС Windows (XP, Seven).

b) Веб-браузер InternetExplorer (версия 9.0 или выше).

c) AdobeReader (версия 10.1.7) — программа для просмотра файлов в формате *.pdf (отчеты, системная документация).

d) PL/SQLDeveloper — интегрированная среда разработки на языках SQL и PL/SQL, ориентированная на применение в среде OracleDatabase (для пользователей, занимающихся администрированием системы).

e) eTokenPKIClient 5.1 — программа, обеспечивающая работу USB-ключа eToken с функцией смарткарты (средство аутентификации пользователей).

f) Антивирус Касперского (версия 6.0) — антивирусное обеспечение.

g) Пакет приложений MSOffice.

h) Специализированные программы для определенных категорий пользователей.

Рисунок 3.10. — Целевая архитектура аппаратного комплекса.

Для обеспечения сохранности данных, как на этапе построения системы, так и при эксплуатации необходимо производить регулярное резервное копирование.

Политика резервного копирования на этапе построения системы существенно отличается от политики резервирования данных в ходе эксплуатации, так как при эксплуатации системы основная цель резервного копирования — обеспечить помимо сохранности данных и возможность восстановления данных в минимальное время. При этом нет необходимости хранить старые (обычно, больше 2 недель) резервные копии.

На этапе построения системы основное назначение резервного копирования — обеспечить сохранность текущей версии прототипа системы с возможностью отката на значительное время назад, при этом нет жестких требований к времени восстановления, т.к. восстановления обычно могут быть спланированы заранее. Также важно не запутаться во множестве архивов, поэтому инкрементальное копирование тестовых сред нецелесообразно. Если время копирования и восстановления позволяют, для резервного копирования БД тестовых сред удобно использовать DataPump.

Политика резервного копирования обычно строится с учетом существующих политик копирования других систем (для исключения взаимного негативного влияния процессов). Как допустимый вариант политики резервного копирования может быть принят следующий график, однако в него могут вноситься изменения для более удобной адаптации к конкретным условиям.

Порядок резервного копирования, контроль, хранение копий, порядок полного или частичного восстановления данных определяются документом «Регламент резервирования и восстановления».

Меры по обеспечению надежности В рамках выполнения программы внедрения информационной системы абонентского учёта и биллинга предприятия на базе Oracle СС&B планируется выполнение работ по модернизации существующего Центра Обработки Данных, в том числе:

• · Создание отказоустойчивой кластерной системы;
• · Создание системы резервного копирования;

В рамках выполнения этих работ должны быть обеспечены два критерия надежности системы:

• 1) сохранность работоспособности;
• 2) сохранность информации;

Техническая архитектура выбрана, исходя из необходимости обеспечить восстановление работоспособности ИСАУБ в течение __ часов (за исключением случаев полной потери работоспособности ЦОД в результате пожара и т. п.). Целевое серверное оборудование (Exlogic/Exadata) не имеет единой точки отказа, поэтому отказ единичной компоненты оборудования не приводит к потере доступности системы. Однако для выполнения требований к обеспечению доступности необходимо отсутствие единых точек отказа также в инфраструктурных звеньях, таких как сетевое оборудование, каналы связи, электропитание, кондиционирование и т. п.