Нейросетевая модель функционального анализа узлов вычислительного кластера

Тип работы:
Реферат
Предмет:
Кибернетика
Узнать стоимость новой

Детальная информация о работе

Выдержка из работы

УДК 004. 382. 2
НЕЙРОСЕТЕВАЯ МОДЕЛЬ ФУНКЦИОНАЛЬНОГО АНАЛИЗА УЗЛОВ ВЫЧИСЛИТЕЛЬНОГО КЛАСТЕРА
Б. В. Мистюков, В.Л. Бурковский
В статье рассматривается реализация аппарата нейросетевого моделирования в условиях функционального анализа узлов вычислительного кластера, позволяющего получить оценку его производительности, а также основных узлов обработки данных на основе анализа производительности отдельных компонентов узлов. Приводится пример работы нейросетевой модели на примере анализа производительности узла обработки данных вычислительного кластера, состоящего из шести гетерогенных и гомогенных вычислителей
Ключевые слова: вычислительный кластер, узел обработки данных, ИНС, функциональный анализ, производительность
Поскольку вычислительных кластер является системой высокой сложности проектирования, то для функционального анализа узлов вычислительного кластера на производительность следует применять специальные математические средства, не типичные для большинства проектируемых вычислительных систем. Для решения данной задачи целесообразно использование искусственных нейронных сетей (ИНС) как наиболее адекватной среде построения моделей уровня узла вычислительного кластера и кластера в целом, поскольку с помощью ИНС возможно построение моделей альтернативных вариантов компоновки узла обработки данных вычислительного кластера и получения необходимого результата.
На рис. 1 представлена обобщенная схема вычислительного кластера, состоящего из М узлов обработки данных, каждый из которых в свою очередь состоит из N вычислителей.
Рис. 1. Обобщенная схема вычислительного кластера
Мистюков Богдан Викторович — ВГТУ, аспирант, e-mail: bogdan. mistyukov@gmail. com Бурковский Виктор Леонидович — ВГТУ, д-р техн. наук, профессор, e-mail: emses@list. ru
Управляющее устройство осуществляет общее управление мониторинг вычислительного кластера. Необходимо отметить, что в некоторых современных видах вычислительных кластеров, построенных на базе стандарта А^апсеОТСА, в каждом узле обработки данных может реализовываться отдельный подузел общей сети обработки данных, что приводит к тому, что каждый узел обработки данных, может в свою очередь состоять из нескольких подузлов.
С точки зрения теории ИНС вычислительный кластер представляет собою нейронную сеть, входными данными которой являются параметр производительности элементов вычислителей, а при однородной структуре вычислителя уровня платы общая производительность таких однородных компонентов, входящих в структуру определенного узла обработки, и производительность компонентов узлов подсистем обработки данных и хранения данных. Необходимо отметить, что суммарная производительность нескольких элементов одного узла и производительность одного такого элемента будут являться разными входными сигналами с точки зрения ИНС. Выходным же параметром является оценочная производительность вычислительного кластера в целом. Таким образом, при построении многослойной ИНС, в которой каждый последующий слой представляет собой более крупный вариант предыдущего, начиная от 2го слоя, и в свою очередь характеризует работу отдельных вычислителей, и до слоя, описывающего общее взаимодействие всех узлов вычислительного кластера в рамках общей структуры, добавляются фиктивные слои для фильтрации возможных отклонений оценки производительности. При этом количество фиктивных слоев зависит от многоальтернативности применяемых
компонентов, например при построении ИНС для адекватной оценки вычислительных кластеров при однородных средах сетей уровня обработки и обслуживания, в которых применяются кроме процессоров общего назначения, также сигнальные процессоры и графические процессоры, требуется добавление как двух фиктивных слоев. В общем
случае количество фиктивных слоев V равно
V = п/2 + т/2, где п — количество различных используемых элементов в узлах обработки информации вычислительного кластера, а т -количество различных используемых интерфейсов в сети обработки данных и обслуживания. Общий вид такой ИНС представлен на рис. 2:
Рис. 2. Общий вид ИНС
В математическом представлении
функционирование нейрона к данной ИНС, представляется парой уравнений:
= У ж х
к к/ I. -14
/='-, (1)
Ук = Р (ик + Ьк)
где хьх2,…, хт — входные сигналы, представленные производительностью соответствующего
компонента (вычислитель, узел обработки данных или его подузел, узел коммутации и т. д.), -к1, wk2,…, wkm — синаптические веса нейрона к, соответствующие связям между данным компонентов и остальными, ик — линейная комбинация входных сигналов, р — функция
активации, в рамках работы кластера это означает выполнения задачи, стоящей перед этим
компонентов, а ук — выходной сигнал нейрона, который соответствует оценочной
производительности данного компонента
(вычислитель, узел обработки данных или его подузел, узел коммутации и т. д.). В качестве функции активации целесообразно выбрать
сигмоидальную функцию для наиболее адекватного получения оценочной производительности конкретного компонента. Поскольку ИНС для отображения правильных результатов должна быть соответствующим образом настроена, то для ее обучения целесообразно использовать тестовые конфигурации, что подразумевает обучение с учителем и использование системы коррекции ошибок.
Для обучения ИНС предлагается применять алгоритм обратного распространения ошибки, который обрабатывает примеры из обучающего множества {((п),!(п)), где х (п) — варианты значения производительности отдельных элементов, а ^п) — производительность кластера, созданного с использованием данных элементов которых состоит из пяти пунктов:
1. Инициализация: допускается, что
изначально информация о
производительности элементов
отсутствует, то синаптические веса, являющиеся межсоединительными
интерфейсами передачи данных между компонентами и узлами вычислительного кластера, и пороговые значения, генерируются с помощью генератора равномерно распределенных чисел со средним значением 0. Дисперсия выбрана таким образом, чтобы стандартное отклонение индуцированного локального поля нейронов приходилось на линейную часть сигмоидальной функции активации и не достигало области насыщения.
2. Предъявление примеров обучения: в сеть подаются значения из обучающего множества, представленного значениями производительности компонентов узлов вычислительного кластера и итоговым значением производительности всего вычислительного кластера, для каждого из которых последовательно выполняются прямой и обратный проходы.
3. Прямой проход: если пример обучения
представлен в виде (х (п)Дп)), где х (п) -вектор входных значений, а ^п) -желаемый отклик выходного слоя нейронов, то проходим сеть в прямом направлении послойно (от уровня отдельных компонентов узлов
вычислительного кластера до уровня кластера в целом и создания фиктивных слоев для получения оценки с достаточной точностью) и вычисляем индуцированные локальные поля. Индуцированное локальное поле нейрона) слоя 1 вычисляется следующим образом:
V /п) = У & lt-(п) У?-«, (2)
? = 0
где у ('--1)(п) — выходной сигнал нейрона 1 предыдущего слоя 1−1 на итерации п, м& gt- ((п) — синаптический вес связи нейрона ] слоя 1 с нейроном 1 слоя 1−1. Для 1=0
у0'--1)(п)=+1, а™®(п) = Ь' (п) — порог,
применяемый к нейрону ] слоя 1. При использовании сигмоидальной функции
активации выходной сигнал нейрона ] слоя 1 выражается как у/Чп) = р,(У/(п)). Для нейрона) из первого скрытого слоя
у0 (п) = х1 (п), а для нейрона) из выходного
слоя у/в (п) = о1 (п), здесь Ь — глубина сети,
а о — значение отклика. Затем вычисляется сигнал ошибки
в/(п) = а1 (п) — 0/(п) (3х
где (п) — ]-й элемент вектора желаемого отклика ^п).
Обратный проход: теперь вычисляем
локальные градиенты узлов сети
V «р (^(п))
8('-) = (4)
д'- Р ^& gt-))Х^+'->-(п)^+'->-(пГ (4)
где верхнее уравнение применяется для нейрона ] выходного слоя Ь, нижнее уравнение — для нейрона ] скрытого слоя 1, а штрих в функции р'- () обозначает
дифференцирование
по
аргументу,
и
5.
изменяем смнаптические веса слоя 1 сети в соответствии с
(п +1) =™ / '(п) + Ф*/? (п -1)] + (п)У /-1) (п)
(5)
где п — параметр скорости обучения, а, а -постоянная момента.
Сети последовательно предъявляются все примеры из обучающего множества до тех пор пока не достигается критерий останова, то есть когда абсолютная
интенсивность изменения
среднеквадратичной ошибки в течении обработки обучающих примеров из обучающего множества является
достаточно малой величиной. Это будет означать, что полученное в результате моделирования значение
производительности вычислительного кластера соотносится с требуемым
значением.
Рассмотрим пример работы такой ИНС для функционального анализа одного из узлов обработки данных вычислительного кластера. с неоднородными вычислителями. В общем случае каждый вычислитель такого узла вычислительного кластера состоит из нескольких элементов основной обработки информации (процессоры общего назначения, графические процессоры, ПЛИС или сигнальные процессоры) и нескольких интерфейсов передачи данных для взаимодействия с другими компонентами вычислительного узла по сети обработки данных и системой хранения данных по сети обслуживания. В данном примере есть два вычислителя (в1, в2), состоящих из двух многоядерных процессоров общего назначения Intel Xeon, вычислитель (в3), построенный с использованием трех ПЛИС Vitrex-6 и многоядерного процессора общего назначения Intel Xeon, и три вычислителя (в4, в5, в6), в которых для обработки используются многоядерный процессор общего назначения Intel Xeon и графический процессор Nvidia. Для взаимодействия между вычислителя данного узла обработки информации вычислительного кластера используются два интерфейса 10Gigabit Ethernet, связь с системой хранения данных обеспечивается по интерфейсу 1 Gigabit Ethernet. Визуально модель данной подсистемы обработки вычислительного кластера представляется в виде многослойной ИНС (рис. 3),
где входными сигналами являются известная заранее производительность элемента или совокупности однородных элементов каждого из вычислителей, а выходным является оценочная производительность узла обработки данных в целом (на схеме нейрон обозначен «Рег5& gt-):
Рис. 3. Модель узла обработки данных в виде ИНС
Теоретический расчет производительности такого узла вычислительного кластера, так называемая пиковая производительность, описывается в виде:
Рег/ = (2* п + т +'-)* 5сти + т * +'- * 5аги (1. 6)
где п, т и 1 — число узлов только на основе процессоров общего назначения, на основе процессоров общего назначения и ПЛИС и процессоров общего назначения и графических процессоров соответственно, а 8СРи,$РРоА и 8ОРи -производительность процессора общего назначения, ПЛИС и графического процессора соответственно.
Таким образом, теоретический расчет производительности по (1. 6) узла обработки данных в данном случае показывает, что производительность узла достигает 2ТРЬОРб. Однако данный расчет не учитывает влияние интерфейсов взаимодействия между
вычислителями и вычислителями и системой хранения данных, поэтому он не может рассматриваться в качестве верного результата. Если же использовать ИНС, то оценочная производительность будет достигать 1,8ТРЬОРб, при этом учитываются не только уже известные производительности элементов вычислителей, но и влияние на производительность узла интерфейсов межсоединений.
Можно сделать следующий вывод: использование ИНС в качестве инструмента функционального анализа узлов вычислительного кластера позволяет получить адекватную оценку такого важного параметра как производительность выбранного в качестве объекта моделирования узла вычислительного кластера, что на этапе принятия предпроектных решений дает возможность оценить действительную производительность каждого узла вычислительного кластера или самого кластера в целом и принять необходимые проектные решения
Литература
в зависимости от степени выполнения требуемых в техническом задании показателей
производительности. Кроме того, использование дополнительных (фиктивных) слоев в ИНС позволяет создать ИНС устойчивую к работе с широким диапазоном архитектур вычислительных кластеров и многоальтернативной элементной базой.
1. Калинкина Т. И. Телекоммуникационные и вычислительные сети. Архитектура, стандарты и технологии. СПб: Изд-во BHV-СПб, 2010. 288с.
2. Хайкин С. Нейронные сети Москва: Изд. дом Вильямс, 2006. 1103с.
3. Ian Bird, Bob Jones, Kerk F. Kee The Organization and Management of Grid Infrastructure// IEEE Computer, Volume 42, Number 1, January 2009
4. V. Borges, Artur d’Avila Garcez, Luis C. Lamb Representing, Learning and Extracting Temporal Knowledge from Neural Networks// Artificial Neural Networks — ICANN 2010 20th International Conference Thessaloniki, Greece, September 15−18, 2010, Part II
Воронежский государственный технический университет
NEURAL MODEL FOR COMPUTING CLUSTER NODES FUNCTIONAL ANALYSIS
В.V. Mistyukov, V.L. Burkovsky
The article is devoted to use of neural network modeling for computer cluster nodes functional analysis as a method for computing cluster performance estimation based on components of cluster nodes performances. There is an example of neural model for data-processing node of computing cluster consists of six geterogeneous and homogeneous computing parts
Key words: computing cluster, data processing nodes, ANN, functional analysis

Показать Свернуть
Заполнить форму текущей работой