по-сути это продолжение темы "Полный текст выступления"
... или что по чем ...
... или так уж хорошо то, в чем нас так упорно убеждают ... (в том числе журнал "Релейщик")
Каждый видит только то, что хочет видеть
по данным 
... в 2009 году Японская компания KDDI завершила 9-летний проект по созданию глобальной сети Triple-Play, 3G, Ethernet.
Первоначальное техническое решение было пересмотрено в 2004-2005 годах из-за невозможности обеспечить требуемые надежность и времена переключения на резервные каналы (превышало 250 мс). В итоге более 2000 мультиплексоров были распределены по 200 кольцам (примерно 10 мультиплексоров в кольце) с технологиями 10GE RPR и 1+1 SDH. Результирующее время переключения на резерв: 50 мс. Используемая величина буфера: 5 мс. В целом в сети задействованы следующие технологии:
MPLS (LSP, Fast Re-Route, QoS, PathManager)
10GE, GE
TDM, SONET, SDH
Предлагаемые в настоящее время Ethernet
механизмы резервирования/переключения на резервные пути:
STP (Spanning Tree Protocol) – на Ethernet-сети любой конфигурации, но с ограниченным числом коммутаторов, создает дерево соединений, так что между любыми оконечными устройствами существует только одна активная линия связи. При изменениях структуры сети, инициируется изменение дерева соединений (активируются резервные линии) и между оконечными устройствами восстанавливается нарушенная связь. Время переключения с одной цепи передачи данных на другую, может составлять 10 с.
RSTP (Rapid Spanning Tree Protocol) - усовершенствованная версия протокола STP, устойчиво функционирует при различных топологиях сети обмена данными, но при бОльшем числе коммутаторов. Время переключения с одной цепи передачи данных на другую составляет порядка 1 с. Однако RSTP не гарантирует восстановления сети – это зависит от места, где возникло нарушение, и физической структуры сети. Поэтому сейчас стремятся ограничить его использование кольцевыми системами с предварительно заданными параметрами восстановления. В этом случае можно достичь времени восстановления порядка 100 мс.
Media Redundancy Protocol (MRP) работает исключительно в сетях с кольцевой топологией, и гарантирует определенное время переключения с одной цепи передачи данных на другую: 500 мс, 200 мс или 10 мс, даже если число Ethernet-коммутаторов в сети превышает 50. Принцип работы MRP состоит в том, что один из узлов сети является Media Redundancy Manager (MRM) – устройством наблюдения и контроля за работой сети. Для этого MRM осуществляет передачу пакетов данных через один порт и их получение через другой, и, наоборот, в обратном направлении. Все другие узлы в системе выполняют функцию Media Redundancy Clients (MRC), обрабатывающих получаемые от MRM пакеты данных реконфигурации, и информирующих его об изменения на своих портах. Кроме собственных каждый узел в сети способен идентифицировать нарушение исправности и восстановление соединения у смежного узла.
Принципы действия обоих протоколов PRP (Parallel Redundancy Protocol) и HSR (High Availability Seamless Ring) (МЭК 62439) аналогичны:
В сетях с двумя независимыми линиями связи между любыми двумя двух-портовыми устройствами осуществляется одновременная передача одних и тех же данных. Приемником используется только первый пакет, второй пакет - игнорируется. Если первый/второй пакет не приходит, идентифицируется нарушение соответствующей линии связи.
PRP может использоваться в двух независимых сетях любой топологии, HSR - только в кольцевой сети. Теоретически у обоих протоколов время реконфигурации стремится к нулю (зависит от задержек времени по направлениям передачи). Пока нарушение или неисправность не произойдут одновременно в обоих линиях/сетях/кольцах.
Достоинство PRP - он выполняется в устройствах уровня доступа или абонентских окончаниях, не затрагивая остальное сетевое оборудование. Для подключения одно-портовых устройств к резервной сети используется промежуточное двух-портовое PRP устройство - RB (redundancy box), защищающее все присоединенные к нему одно-портовые устройства.
Протокол HSR является «кольцевой» версией протокола PRP, причем двух-портовые устройства (DAN) подключаются непосредственно друг к другу без использования Ethernet-коммутаторов. Пропускная способность сети при этом делится пополам (два пакета одновременно передаются в двух направлениях). На промежуточных узлах пакеты автоматически ретранслируются и могут быть удалены из сети только отправителем.
Декларируемый вывод: в кольцевой структуре сети повреждение одного из кабелей / направлений передачи не может привести к отказу в обмене информацией между устройствами.
Действительно: если нарушение произойдет на пути основного канала (красная линия) передачи данных от одного устройства (или группы устройств) РЗА к другому (сейфы), то всегда существует обходной маршрут (синяя линия)
Однако есть физические ограничения на размеры кольца для Ethernet свои, для SDH - свои...
Ethernet 100 МБит/с - FE
Скорость физического соединения FE – 148809 пакетов/сек (до 1024 узлов в сети).
При размере пакета Np (байт) время передачи пакета 8*Np/10^8.
Типичное для FE время задержки в коммутаторе 5 мкс.
Полное МИНИМАЛЬНОЕ время обхода кольца по резервному пути (синяя кривая)
(8*Np/10^8 + 5*10^-6+L*nov/C)*Nk,
где
Nk – число узлов в кольце,
L - средняя длина ОВ между узлами,
nov – показатель преломления сердцевины ОВ на данной длине волны (1,45-1,55),
С – скорость света в вакууме
Например, при Np=64 (GOOSE 60-64), Nk=100, L=100м и nov=1,5 получим время 1,062 мс, а при L=1000м уже 1,512 мс.
То есть при временной сетке 1 мс в FE сети максимальная размерность кольца при длине соединительных линий 100 метров не может превышать 98 устройств.
Но это, к сожалению, не все: проводной Ethernet страдает от коллизий – искажений информации при одновременной передаче несколькими узлами. То есть, чтобы информация по резервному пути дошла до потребителя все остальные передатчики в системе должны молчать, или информация должна выстраиваться в стек (очередь). Для оптического Ethernet коллизия выражается в возникновении стэка - очереди - сообщений, которые необходимо передать тому или иному сетевому узлу.
Чтобы избежать подобного все абоненты должны входить в один коллизионный домен, диаметр которого определяется как удвоенное время передачи кадра минимальной длины: D=2*[(8*(Np+8)-1)/10^8 + 5*10^-6+L*nov/C] (здесь длина пакета увеличена на 8 байт - минимальную длину защитного интервала между пакетами в Ethernet).
Фактически это означает, что при числе узлов больше двух -трех коллизий не избежать.
Поэтому для сетей без роутеров существуют правила:
Все конфликты, происходящие в одном коллизионном домене, должны обнаруживаться любым узлом сети при попытке этого узла послать свои данные в сеть
- Правило офисного Ethernet 5-4-3-2-1
5 - не более пяти сегментов, соединенных
4 - не более, чем четырьмя повторителями или свичами
3 - в сети не должно быть более трех сегментов, содержащих компьютеры
2 - оставшиеся два сегмента используются для соединения повторителей или свичей
1 - коллизионный домен (Collision Domain)
При возникновении коллизии повторная передача кадра выполняется через время D*[0.2^(min{10,K}) … 1]*Nk , где К – номер коллизии. Как правило из-за коллизий скорость FE не превышает 37% (тоже получено и на GE).
PS.
В новых коммутаторах/мультиплексорах АББ семейства ФОКС типа АФС6хх, предназначенных для создания внутри- и межстанционных сетей FE/GbE/61850/104 и т.д., используются технологии резервирования RSTP, MRP, E-MRP. При использовании технологии E-MRP и размерах сети до 10 коммутаторов обеспечивается время обнаружения/переключения на резерв менее 10 мс, при 100 коммутаторах в сети - менее 40 мс. На скорости 100 МБит/с джиттер не превышает 2,7 мкс; одновременно работают до 255 VLAN (из 4042); 4 группа жесткости по ЭМС; максимальная рабочая температура до 60 (85) град.Ц., задержка GOOSE сообщений в межстанционной сети менее 3 мс (не уверен, обращайтесь на фирму), ...
SDH STM-1/4
Скорость физического соединения 155/622 МБит/сек.
При размере кадра 271 байт время передачи кадра 8*271/(155*10^6)=13,99 мкс или 8*271/(622*10^6)=3,5 мкс
Типичное время задержки в мультиплексоре Тмукс = 100 - 500/10-40 мкс.
Полное МИНИМАЛЬНОЕ время обхода кольца по резервному пути
(14/3,5мкс + 100/10мкс+L*nov/C)*Nk,
где
Nk – число узлов в кольце,
L - средняя длина ОВ между узлами,
nov – показатель преломления сердцевины ОВ на данной длине волны (1,45-1,55),
С – скорость света в вакууме
Например,
для SDH-1, Nk=10, L=10км и nov=1,5 получим время 1,64 мс, а при L=100км уже 6,14 мс,
а для SDH-4, Nk=10, L=10км и nov=1,5 получим время 0,635 мс, а при L=100км уже 5,135 мс,
то есть время передачи в кольце определяется длинами каналов, соединяющих его узлы.
На графиках показаны зависимости времени прохождения кольца от длины соединяющих узлы каналов (метры) и числа узлов в кольце.
В зависимости от реализации мультиплексоров SDH прямой и обратные пути могут быть как «одинаковыми», так и произвольными (различными). Соответственно, создаваемые каналы имеют или нет асимметрию времен по направлениям передачи.
При работе с системами релейной защиты, например ДЗЛ, важны как время прихода сигналов на терминал Тном, так и его джиттер Тджит, и асимметрия Тасим.
Поскольку джиттер (причем под джиттером здесь лучше понимать разность времен прихода информации по основному и резервным путям/каналам (см.выше при Nk-1)) и асимметрия это различные и независимые свойства канала, то число узлов в сети можно определить как:
Nk=0.5*min{Тджит/Тмукс; (Тном-Тдзл)/Тмукс},
где Тдзл = 2 … 4 мс, а Тасим=Тджит
Например, при допустимом Тджит=5 мс и Тдзл = 3 мс число узлов сети в зависимости от быстродействия мультиплексора лежит в диапазоне 2 … 10 (в общем случае 1 … 15). С учетом задержек сигнала в ОВ Nk вряд ли может быть более 6-8
Однако повреждение самого кольца (ВОК) является довольно тривиальной, хоть и частой, причиной возникновения аварии сети.
В случае повреждения коммутатора / мультиплексора или соединительного кабеля между коммутатором / мультиплексором и абонентом
(важно, если они находятся в разных стойках, комнатах, зданиях)
механизмы восстановления кольцевой структуры сети бессильны
На рисунках: сигналу просто некуда больше идти...
Здесь можно, либо каждого абонента оснастить резервным подключением к другому коммутатору той же сети, либо создать «наложенное» на первое второе резервное кольцо (чрезвычайно дорогостоящее решение, но и самое продаваемое).
В первом случае есть проблема как физически проложить ВОК к резервному коммутатору (у него должна быть другая трасса, чем у основного ВОК. Критично при больших размерах объекта). На рисунке ниже показаны все повреждения основного пути, от которых защищает данная схема.
Одновременно встает вопрос: если размеры кольца ограничены по тем или иным причинам, и все объекты на ПС распределены между несколькими кольцами, как в этом случае выполнить резервирование?
Необходимо использовать "операторский" прием перехода с глобальных на городские сети через распределительную сеть: создание двух независимых соединительных путей (синяя и зеленая линии). Сюда часто вводят еще дополнительные перекрестные связи (выделено желтым штрихом), так как связность систем считается высшим благом.
Розовая линия показывает, что особенно важные сервисы (устройства) по прежнему можно подключить сразу к двум кольцам...
На основании сказанного можно представить себе некую идеализированную для некоторых обстоятельств структуру сети
(здесь в качестве устройств показаны только объекты, имеющие отношения к РЗА. Безусловно, всего объектов значительно больше, и присоединяются они ко всем показанным на рисунке узлам)
Время передачи основного и резервного каналов в такой сети зависит от количества устройств в ней, информационной загрузки каналов, количества коммутаторов и некоторых других аспектов (см. ниже).
Надежность сети в данном случае обеспечивается следующими обстоятельствами:
выход из строя любого из оконечных устройств не отражается на функционировании оставшихся в работе терминалов,
- каждое устройство имеет два независимых Ethernet-порта, при выходе из строя одного из которых (или подключенного к нему кабеля) второй порт продолжает функционировать,
- сетевые устройства (коммутаторы), объединены в два независимых кольца с двумя поперечными связями (три кольца),
- разные порты одного терминала подключаются к разным коммутаторам из разных колец
Строго говоря, сколько и каких каналов приходится на каждый сетевой узел не имеет значения (в кольцевой структуре они все нагружаются одинаково). Важно, что бы в сети не было точек "единичного отказа"
Так в рассматриваемой сети отказ возможен в результате:
одновременного отказа двух коммутаторов (или их систем питания, например),
- одновременного отказа обоих портов одного устройства (или неверной физической трассировки ВОК, или транспортных потоков).
Можно попытаться убедить себя, что одновременный двойной отказ - событие чрезвычайно редкое. Однако:
Коэффициент готовности резервируемой системы и вероятность отказа резервного канала во время восстановления основного.
По оси Х, слева: время работы устройств/систем по отношению ко времени наработки на отказ MTBF, справа: время работы устройств/систем
Слева: верхние кривые - готовности систем с 0-4-кратным резервированием при одинаковой надежности основной и резервной систем (MTBF 12 лет), нижние кривые (возрастающие слева-направо) - вероятность двойного отказа при временах восстановления основного канала 3 и 90 дней
Справа: верхние кривые - готовности систем с различными наработками на отказ основного и резервного канала, нижние - вероятности двойного отказа при наработках на отказ 5,12 и 60 лет
Очевидно, что вероятность выхода из строя резервного канала слабо зависит от времени восстановления основного канала, и определяется его собственной наработкой на отказ, а так же временем его функционирования. В любом случае необходимо предпринимать меры по "разнесению" сроков начала отсчета времени эксплуатации основного и резервного каналов. А так же избегать использования для резервирования устройств из одной производственной партии, так как более, чем вероятно, что в таких устройствах/системах так же будут использоваться и комплектующие из одной партии, а значит: на всех производственно-эксплуатационных стадиях могут возникнуть ОДНОТИПНЫЕ дефекты (как бывало, например, на объектах российской энергетики с микросхемами памяти или шинными формирователями)
Другими параметрами, влияющими на конфигурацию сети, являются:
времена обнаружения неисправности
и время переключения на резервный канал (обычно мало).
Время обнаружения неисправности зависит от многих факторов, в том числе используемых механизмов резервирования.
Так в SDH, поскольку передача сигналов выполняется непрерывно, неисправность может быть обнаружена в пределах одного кадра, или, по крайней мере, в двух следующих друг за другом кадрах (но этого, конечно, не происходит). Типичное значение времени обнаружения неисправности для технологии резервирования SFC равно Тдет = 0,5 … 4,0 мс. Для протокола LTP – 50 мс.
В Ethernet, который является пакетным протоколом, для обнаружения неисправности необходимо выполнять периодическую посылку «проверочных» пакетов. Так делается в GOOSE – в режиме «покоя» пакеты передаются с интервалом 50 мс.
При использовании протокола PRP казалось бы время обнаружения неисправности должно стремиться к нулю. Но реально оно зависит от размеров кольца, или, другими словами, разности длин основного и резервного путей, по которым приходят первый и второй пакеты. То есть реально время обнаружения может составлять и 0 мс, и 5-10-50-100-... мс, ведь устройство не знает, когда должен прийти первый из двух пакетов!
Что касается MPR, то хотя он и допускает время обнаружения неисправности 10 мс, обычно используется 50 мс (чтобы не снижать эффективность сети).
В других кольцевых Ethernet технологиях RPR и RFER времена обнаружения составляют 50 и 30 мс соответственно.
Во всех случаях, если повреждены сразу два направления, то время обнаружения неисправности увеличивается в два раза. Что происходит при одновременных нарушениях на разных участках сети можно только гадать...
Особо необходимо отметить следующее: в промышленных приложениях и внутри объектовых ВОЛС практически не используется мониторинг состояния ОВ, как принято в сетях операторского класса в рамках стратегии оптимального восстановления), поэтому повреждения ОВ остаются слабо диагностируемыми.
Еще хуже обстоит дело на составных каналах, например, ВОК – кабель – ВОК. Здесь выявить источник проблемы зачастую вообще невозможно. Особенно, если коммутационное оборудование или участки ВОК / кабель принадлежат разным собственникам. Оконечное оборудование в этом случае максимум сообщит о неисправности канала связи в целом. На то, чтобы выделить аварийный участок могут уйти дни и недели.
Другой особенностью (данностью) подобных систем является то, что сетевое оборудование не имеет систем мониторинга, диагностики и сигнализации критичных для передачи технологического трафика и РЗА параметров. Особенно в пакетных сетях…
Поэтому не надо тешить себя иллюзиями насчет идеальности, надежности и многоступенчатости резервирования:
до обнаружения приемником дефекта передачи (в среднем 50 мс) весь или частично комплекс РЗА будет неработоспособен. При двух дефектах в сети – 100 мс ! И это время не диагностируемое, то есть об этом просто НИКТО НЕ ЗНАЕТ...
Если учесть, что в энергетике многие аварии с коммутационным и связным оборудования происходят в темпе развития аварий первичного оборудования или ВЛ, то последствия подобного нетрудно предугадать...
Таким образом:
Структура сети и конкретные решения по системе резервирования прежде всего определяются физическим расположением объектов на ПС и возможностями трассировки ВОК. Как бы красиво не выглядел проект на бумаге (или презентации - сейчас при принятии решения все чаще дело заканчивается этим), он окажется совершенно бесполезным при невозможности правильного расположения на объекте сетевых устройств, систем питания и кондиционирования, а так же правильной прокладки кабельных трасс
- Размеры сетевого сегмента (кольца) зависят от заданных временных характеристик системы связи (свойств и функций РЗА), длин ВОК и используемого сетевого оборудования
- Сетевые сегменты должны быть функционально изолированы, например, по присоединениям или типам защит (шин, трансформатора, линии и т.д.), так, чтобы при внутреннем дефекте не влиять на работоспособность других систем РЗА
- Если между сегментами (защитами) должен осуществляться обмен информацией, то либо между сегментами необходимо создавать двойные связи, либо данные из другого сегмента должны влиять только на точность или быстродействие выполняемых функций, но не на ее существо
- Терминалы внутри сегмента должны взаимно синхронизироваться
Вполне вероятно, что в ближайшем будущем для снижения общей стоимости проекта, его упрощения и, главное, уменьшения времен передачи производители станут продвигать PON P2P или P2MP решения (как уже предложила, и совершенно правильно, фирма GE).
Главной проблемой таких сетей станет обеспечение резервирования.
(заимствованный рисунок)
Единственное решение в рамках представленной на рисунке концепции PON P2MP является:
замена полевых устройств на двух портовые (DNA)
- создание второй PON P2MP поверх первой (по другим трассам), но подключенной к дополнительной панели кросс-коммутации,
- которая в свою очередь подключается ко второму/другому ИЭУ
- объединение ИЭУ в кольцо (замыкание существующего на рисунке полукольца)
- дублирование системы питания
... ну а дальше логично посмотреть вот это: ВОЛС против ВЧ - примирение
PS.
Tы очень скромно сказал о проблемах резервирования.
2. При выходе из строя одного полевого устойства, по любой причине, присоединение остаётся без защит и управления.
3. Таким образом не два порта, не два питания, не раздельные трассы оптики не помогут.
4. Резервирование обязано быть на уровне самих полевых устройств.
5. ... неужели кто то подразумевает что будет нарушен сам принцип резервирования защит по ТТ и ТН и все защиты будут повешены на один керн с передачей даных по одному каналу на все защиты: Основные, резервные, АУВ/смотри УРОВ и ДЗШ.
6. Кроме того будет нарушен принцип рез3ервирования по двум катушкам ЭО.
7. Каким образом будет решаться задача АУСКЭ, никогда не будет перекрещения сигналов для таких двух систем.
9. При всей на сегодняшний день зявленой устойчивости даных полевых устройств по температурному/влажности режиму, они тестированы как обычные реле защиты, т.о надо менять конструкцию полевых шкафов.
Одно достоинство таких систем на сегодняшний день, это организация станционых блокировок и передача индикаций в АУВ ...
...есть же границы разумного.
Я не против оптики и не против подобных решений, ... я за полевые устройства, но не на общую шину, какой бы она не была, а за, одно реле к одному полевому устройству, т.е. точка -точка и никаких игрушек. Только некоторые сигналы можно к шине ...Когда мы с тобой говорим об 61850 проектах, ты должен понимать, что даже если рухнет всё 61850, система будет продолжать работать, игрушек нет, хоть все IP поменяй, кроме того я делаю их пока малых размеров.так и я с самого начала говорю: 61850 - АСУ ТП не больше (но затакие деньги???) - и размеры уровня небольшого холла/офисаPS.
Ссылки по теме (от самых разных компаний, разной давности, всего 7.7 МБ):
“Zero-Packet-Loss” - Marzio P. Pozzuoli, RuggedCom Inc. - Electric Energy Online.pdf
GUODIAN NANJING AUTOMATION CO.,LTD..pdf
Moxa Application - Communication System for Xingtai Power Substation.pdf
Network redundancy in substation applications_Siemens_Hoga .pdf
PAC World magazine _ Standard Network Redundancy Using IEC 62439.pdf
Paper Dawidczak_Englert_RZA2010.pdf
rapid_spanning_tree_in_the_substation.pdf
Redundancy in Substation LANs.pdf
RUGGEDCOM WHITE PAPER - Ethernet in Substation Automation Applications - Issues and Requirements.pdf
SubstationAutomationLeaflet.pdf
www.moxa.com_Zones_Industrial_Ethernet_pa_images_applications_app_PT-7828.jpg.pdf
Сообщения
0 коммент.:
Отправить комментарий