страница - 0
Особенности трафика инфраструктурного мониторинга в системах ГРИД-компьютинга*
Коноплев В.В.(\¥к-риЬ(@ге8ьги), Бауман М.Н., Назиров Р.Р. Институт космических исследований Российской академии наук
В работе приводятся результаты исследования сетевого трафика инфраструктурного мониторинга, производимого распределенными компонентами ГРИД-систем. Даются оценки о величине данного трафика на основе собранной статистики. Исследуются причины неравномерности сетевой нагрузки для данного типа трафика с применением оригинальной методики, использующей вейвлет-преобразование. С помощью данной методики показывается взаимосвязь между наблюдаемыми выбросами на интегральных графиках сетевого трафика и наличием синхронизации между отдельными составляющими потоками.
Введение
В последнее время наблюдается рост популярности проектов распределенных научных вычислительных экспериментов с использованием технологий ГРИД [1]. С ростом вычислительных инфраструктур увеличивается и доля ГРИД-трафика, присутствующего в сетях общего пользования.
Основная составляющая нагрузки на транспортные сети со стороны приложений ГРИД безусловно принадлежит подсистемам управления данными, обслуживающими распределенные виртуальные файловые хранилища. Большие объемы, а также «агрессивная» политика использования пропускной способности сети, связанные с передачей экспериментальных данных, заставляют провайдеров задействовать низкоприоритетные очереди обслуживания, либо искусственно ограничивать пропускную способность для этого типа трафика.
Другая составляющая трафика, связанная с работой приложений ГРИД - это трафик инфраструктурного мониторинга ГРИД-систем. Его можно отнести к классу «трафика управления», который является относительно небольшим и в то же время принципиально важным для устойчивого функционирования всей системы распределенных вычислений.
Работа выполнена при поддержке Президиума РАН, программа П-15.
Эти свойства создают предпосылки использования высокоприоритетных очередей для данного класса трафика, что, в свою очередь, заставляет пересмотреть границы понятия «небольшой» применительно к трафику инфраструктурного мониторинга.
Действительно, преимущества высокоприоритетных очередей, связанные с высокими параметрами качества услуги (низкие значения потерь и задержек), проявляются до тех пор, пока трафик высокоприоритетной очереди составляет небольшую долю от общей пропускной способности канала. Например, нормативный уровень загрузки для сервиса IP Premium в сети GEANT [2, 3] составляет 5-10% от общей пропускной способности. В этом смысле скорость передачи 1Mbps, которая является «незначительной» на канале 100Mbps, будет «ощутимой» для услуги IP Premium на этом же канале.
Одна из ключевых отличительных особенностей трафика инфраструктурного мониторинга заключается в том, что он формируется одновременно большим количеством узлов, одна часть которых продуцирует данные, а другая - их периодически собирает. Сбор данных мониторинга инициируется потребителями и, в целом, можно считать, что узлы-потребители, работают независимо и должны производить равномерное во времени распределение нагрузки на сеть. Однако, исследуемое в данной работе поведение сетевого трафика, создаваемого подсистемами ГРИД-мониторинга, указывает на наличие эффекта синхронизации во взаимодействиях, что проявляется в нежелательных «выбросах» на интегральных графиках сетевой загрузки. В настоящей работе производится исследование данного эффекта и с помощью вейвлет-анализа показывается, что наблюдаемые «выбросы» действительно связаны наличием в трафике отдельных взаимодействующих пар синхронных составляющих.
Трафик инфраструктурного мониторинга как объект исследования
организация мониторинга в системах грид на примере LCG2
Подсистема инфраструктурного мониторинга в современных ГРИД-системах организована в рамках архитектуры GMA (GRID monitoring architecture) [4]. В данной архитектуре выделяются поставщики, потребители и посредники данных мониторинга. Посредники позволяют структурировать процесс сбора и распределения данных, уменьшая, тем самым, количество по-парных взаимодействий. Так, в подсистеме мониторинга системы LCG2 [5] информация о статусе отдельных вычислительных компонент системы предоставляется сервисом GRIS (см. Рис. 1), далее она аккумулируется сервисом GIIS на уровне ресурсных центров и сервисом BDII на региональном уровне. Потребителями данной информации являются ресурсные брокеры,
реализующие стратегии распределения вычислительных задач и стратегии репликации данных в распределенных файловых хранилищах.
Рис. 1. Компоненты инфраструктурного мониторинга в LCG2.
Компоненты GRIS и BDII публикуют данные в LDAP каталогах, используя порты TCP/2135 и TCP/2170 соответственно. Таким образом, совокупный трафик по данным портам между ресурсными центрами мы идентифицируем, как трафик инфраструктурного мониторинга и обозначаем в данной работе как GRIS.
исходные данные
В настоящей работе использованы данные, собранные с ресурсных центров ГРИД, расположенных в РНЦ «КИ» и НИИЯФ МГУ. Фактически, рассматривались взаимодействия этих ресурсных центров с удаленными оппонентами. Сбор данных происходил с точностью до взаимодействующих IP адресов и портов в период август-сентябрь 2006 года. Далее, для каждой наблюдаемой пары взаимодействующих ресурсных центров были выбраны компоненты трафика, соответствующие портам 2135 и 2170 (трафик GRIS) и построены временные ряды сетевой загрузки с 15-ти минутными отсчетами.
общие характеристики трафика gris
На основе наблюдаемых данных можно выделить следующие черты трафика GRIS: 1. трафик GRIS наблюдается между большинством взаимодействующих ресурсных центров;
содержание:
[стр.Введение] [стр.1] [стр.2] [стр.3]