Технический аспект архитектуры

Технический (аппаратный) аспект — является анализом структуры системы, состава ее технических (аппаратных) средств и их взаимодействия между собой. Общая схема взаимодействия устройств в рамках системы представлена на рисунке 1 (без сохранения пропорций устройств относительно друг друга). Кроме того, на схеме показано место пользователя в системе и с какими устройствами он взаимодействует.

Рисунок 1 Визуальная схема взаимодействия устройств и пользователя (технический аспект архитектуры системы) Для взаимодействия с компьютером все устройства используют стандартные интерфейсы передачи данных (USB) и видеоизображения (DVI/HDMI), реализуя между устройствами несколько потоков данных, которые цифрами обозначены на рисунке:

• 1) В зависимости от используемого бесконтактного контроллера, возможно получение следующих видов данных:
• 1. Данные с цветной и инфракрасной камеры, сенсора глубины, а также аудиопоток с массива из четырех микрофонов Kinect [6]:

KinectSensor _sensor;

MultiSourceFrameReader _reader;

_reader = _sensor.OpenMultiSourceFrameReader (FrameSourceTypes.Color | FrameSourceTypes. Depth | FrameSourceTypes. Infrared);

_reader.MultiSourceFrameArrived += Reader_MultiSourceFrameArrived; //данное событие срабатывает, когда доступен определенный тип данных.

1. Данные камеры The Leap в виде кадров, с которыми далее пользователь начинает работать [7]:

_controller = Leap. Controller ();

_frame = _controller.frame (); //последний кадр

//далее кадры могут быть по-разному обработаны, например

hands = _frame.hands;

fingers = _frame.fingers;

• 2) Данные от джойстиков и различных контроллеров взаимодействия
• 1. Данные о нажатии кнопок и использование стиков управления, а также передача сигнала для джойстика о включении вибрации.
• 2. Данные с контроллера Razer Hydra: правый или левый контроллер, нажатие кнопок и стиков, позиция и угол каждого контроллера.
• 3. Данные с перчаток Peregrine — при помощи специального программного обеспечения, все действия, выполненные с помощью перчаток, ассоциируются нажатию определенных клавиш на клавиатуре/мыши или их сочетанию.
• 3) Данные от устройств визуализации
• 1. Данные о положении головы, получаемые от Oculus Rift.
• 4) Взаимодействие пользователя с бесконтактными контроллерами:
• 1. Kinect — отслеживание движений всех частей тела;
• 2. The Leap — отслеживание движения рук и пальцев.
• 5) Взаимодействие пользователя с джойстиками и различными контроллерами взаимодействия.
• 6) Взаимодействие пользователя с устройствами отображения информации.

Программный аспект архитектуры Программный аспект — является анализом системы с точки зрения составных программных модулей и подсистем, а также их взаимодействия между собой на программном уровне. Общая схема взаимодействия программных модулей между собой и с устройствами в рамках системы представлена на рисунке 2.

Рисунок 2 Визуальная схема взаимодействия программных модулей (программный аспект архитектуры системы).

Таким образом, с точки зрения программной реализации можно выделить следующие модули, разделенные на четыре группы:

• 1) Модули получения, обработки и стандартизации данных:
• 1. Модуль получения, обработки и стандартизации данных Kinect — решает задачу получения и обработки данных устройства с использованием необходимых API. Данный модуль включает в себя несколько стадий: непосредственно получение данных, в том формате, который позволяют сделать API; предварительная обработка данных, исключение ошибочных значений; стандартизация данных, приведение их к формату, заданного в системе.
• 2. Модуль получения, обработки и стандартизации данных The Leap — аналогично модулю Kinect.
• 3. Модуль получения, обработки и стандартизации данных джойстика — аналогично модулю Kinect, но также возможно обратное преобразование, данных из системы в данные, которые способно использовать устройство.
• 4. Модуль получения, обработки и стандартизации данных Razer Hydra — аналогично модулю Kinect.
• 5. Модуль получения, обработки и стандартизации данных Peregrine — аналогично модулю Kinect.
• 6. Модуль получения, обработки и стандартизации данных Oculus Rift — аналогично модулю Kinect.
• 2) Модули симуляции данных:
• 1. Модуль симуляции данных Kinect — решает задачу генерирования данных, аналогичных поведению пользователя. Модуль предоставляет данные сразу в стандартизованном формате, используемой системой.
• 2. Модуль симуляции данных The Leap — аналогично модулю Kinect.
• 3. Модуль симуляции данных джойстика — аналогично модулю Kinect.
• 4. Модуль симуляции данных Razer Hydra — аналогично модулю Kinect.
• 5. Модуль симуляции данных Peregrine — аналогично модулю Kinect.
• 6. Модуль симуляции данных Oculus Rift — аналогично модулю Kinect.
• 3) Модуль сопоставления и совместной обработки данных — решает задачу сопоставления данных, полученных от модулей получения, обработки и стандартизации входных данных, а также от модулей симуляции данных. На выходе данного модуля мы получаем массив объектов информации (в данном контексте «объект» в терминах объектно-ориентированного программирования), который содержит в себе информацию со всех устройств в один момент времени.
• 4) Модуль визуализации данных — решает задачу визуализации данных на дисплей монитора, а также на дисплей шлема виртуальной реальности.