ИТЭР: Система измерения и управления
В прошлой своей статье я провел маленький опросик, что читатели хотят узнать об устройстве ITER больше всего, ипобедила система измерения и управления (СИУ). Как не странно, хотя автоматизация - одна из моих инженерных специализаций, в случае ИТЭРа я эту систему особо не изучал. Когда же начал подробно смотреть документы - несколько раз довольно сильно был удивлен. И вот чем:
- Как оказалось, СИУ ITER еще не существует в целостном виде! В отличии от других систем, она не проходила предварительного дизайна, CDR - PDR - FDR (экспертизы разных детализаций проекта системы), она не вручена какому-то из агенств для производства и поставки.
- Вместо этого, был создан набор свободно распространяемого софта и железа и правил, по которым из это набора надо собирать свой кусок системы управления для каждого из изготавливаемых блоков ИТЭРа.
- Из этого вытекает, что управление созданием этой системы сильно отличается от других - ей занимается в основном международное агенство и оно же в ежедневном режиме занимается интеграцией создаваемых кусков.
- Важным фактором, который влияет на облик СИУ является то, что каждый запуск ИТЭР будет собирать научную информацию темпом примерно 20 гигабайт в секунду, которые надо в промежутке между запусками (это всего 10-15 минут) проанализировать, промоделировать и визуализировать.
- Как ни странно, при этом СИУ - наиболее документированная система ИТЭР из всего, что я видел. Море информации.
Вообще, эта подсистема ИТЭР как раз тот редкий случай, когда основная масса ее составляющих - вполне себе готовые решения, никаких технологический прорывов, а главная сложность - это увязать сотни тысяч точек измерения и управления, создаваемые в сотне фирм по всему миру в единую систему.
Итак, основой СИУ ИТЭР является CODAC - это система сервисов обмена информацией, софтовая часть которой устанавливается в каждый компьютер СИУ, и подсистема CODAC - набор приложений EPICS, который занимается конкретно передачей данных, управлениеми и отображением на мониторах происходящего. CODAC исполняется в ОС RHEL (Red Hat Enterprise Linux), и это стандарт для всех элементов СИУ ИТЭР.
Рис. 1. Архитектура СИУ.
CODAC и EPICS - это т.н. data driven системы, т.е. они не передают неструктурированные данные, не занимаются оцифровкой - про эту часть чуть ниже. Структурированность данных означает, что процесс интеграции любой автоматизируемой системы, будь то система водооборота здания, высоковольтный источник напряжения или система управления плазмой начинается с структурной декомпозиции на измеряемые параметры, управляющие воздействия и функционального определения конечных автоматов и алгоритмов, связывающих входные состояния и состояния управляющих элементов (клапанов, приводов, токов и т.п.). Описанные модели на языке SDD заносятся в базу данных CODAC (на базе PostgreSQL) и автоматически генерируются конфигурационные файлы для локальных копий EPICS и CODAC, что позволяет при интеграции в общую систему автоматически подцепить этот кусок.
Основой хардварной части СИУ является шкаф или cubicle - фактически стойка с установленным в нем специальным контроллером PSH (Plant system host), который обеспечивает присутсвие CODAC в этом шкафу и минимальные сервисы (мониторинг температуры и потребления шкафа, мониторинг работоспособности остального оборудования шкафа) а так же отслеживает текущее состояние данной подсистемы (стенд-бай, запуск, селфчек и т.п.).
Рис.2. Синие шкафы - стандарные cubicles ИТЭРа, примерно так будет выглядеть вся автоматизация. Здесь показан запуск системы точного времени TCN ИТЭР.
В каждый шкаф, кроме этих сервисов может быть установлено так же необходимое количество быстрых и медленных контроллеров. Под первыми, в общем-то понимаются обычные сервера, с запущенной на них той же RHEL + CODAC либо ОС реального времени MRG-R (тоже дериватив Линукса). Задача быстрых контроллеров - работа с большими объемами данных, в основном научных, а для MRG-R версий - еще и скоростное управление, например плазмой, а так же работа с аудио-видео потоками. Медленные контроллеры - на базе Siemens SIMATIC S-7 (было удивительно встретить старых знакомых) - это промышленная автоматизация систем, управление насосами, клапанами, силовыми реле, прием информации с датчиков давления, сухих контактов и т.п. Каждый такой датчик или исполнительный элемент, описывается в базе данных, как я писал выше, и через локальный сервис CODAC попадает в общую одноранговую сеть PON. Кроме цифровой части, в шкафы ставятся так называется Signal Condition Unit - элементы сбора данных (аналоговые усилители + АЦП, например) или наоборот - выдачи аналоговых данных.
Сетевая архитектура СИУ ИТЭР образована 7-ю физически разделенными сетями: это сеть общего управления PON на базе Ethernet 100/1000, скоростная оптическая сеть управления-измерения SDN на базе протокола SDN, оптическая сеть синхронного времени TCN (синхронизация 50 наносекунд по всему комплексу), скоростная оптическая сеть научных данных DAN - 10 гигабитный Ethernet, выделенная сеть для аудио-видеоданных AVN (тоже на базе Ethernet 10G), сеть CIN - это обмен данными интерлоков, об этом подробнее ниже и отдельная сеть CSN - защит и безопасности.
Рис.3. Сети СИУ ИТЭР.
Надо понимать, что любой cubicle - это не самая низовая часть автоматизации, это стандартизированная часть СИУ ИТЭР. Еще ниже лежит стандартные решения поставщиков подсистем (от готовых индустриальных, например для вентиляции зданий, до полностью разрабатываемых с нуля - как в случае элементов автоматизации источника ионов NBI). Эта, низовая часть, может включать в себя не только аналоговые и цифровые датчики всего, чего угодно (в основном температуры и давления, конечно же), но и свои контроллеры. Например, в прошлой статье я описывал разрабатываемые в НИИЭФА быстродейсвующие пневматические выключатели. Естественно они автоматизированны - средствами контроллеров INSAT.
Рис.4. Схема автоматизации блока SNU.
На блок схеме видно, что “сверху” стоит медленный контроллер S7-300, выполняющий роль шлюза управления в CODAC, а само управление и измерение параметров блока SNU (а на схеме именно он) происходит на базе контроллеров и свичей INSAT. При этом вынесенная система сбора данных отвечает сетевой архитектуре CODAC - она будет подключена через быстрый контроллер к сети DAN, а не PON, куда будет воткнут медленный контроллер этого блока.
Всего предполагается более 4,5 тысяч шкафов оборудования автоматизации, которые будут отслеживать до 100 000 точек автоматизации, и рождать потоки по 50 мегабайт в секунду данных в сетях PON и SDN. Латентность петли автоматизации для медленных подсистем и сети PON составит 100 миллисекунд, а для быстрых контроллеров и сети SDN - 500 микросекунд (фантастическая скорость, честно говоря). Обновление операторских экранов - 5 раз в секунду.
Рис.5. Распределение количества зарегистрированных в базе данных шкафов автоматизации по зданиям ИТЭР. 11 здание - сам токамак, 74 - здание диагностик.
Еще одним важным аспектом архитектуры системы является наличие выделенных сетей интерлоков и безопасности. Интерлоки - это сигналы, разрешающие или запрещающие работу того или иного компонента, в зависимости от состояния взаимодействующих систем, наличия людей, наличия каких-то ограничений и т.п. Например, при закрытом тунеле ввода нейтрального луча нельзя запускать NBI, при наличии сигнала отказа балластной нагрузки нельзя запускать любой источник в режиме тестирования - и т.п. Такие сочетания входных условий, при которых можно или нельзя работать тоже должны быть описаны в базе данных. Сеть CIN и ассоциированные контроллеры определяют анализ таких сигналов и выдачу разрешений на работу элементов.
При этом сами интерлоки устроены не совсем бинарно - есть несколько уровней (конкретно 3), которые могут определять разные сценарии работы (работу на пониженной мощности, ускоренный вывод из работы, аварийный сброс). Еще более высоким уровнем является сигнал опасности, который может приходить как из системы интерлоков, так и от отдельных датчиков (например пожарных или системы контроля доступа). Сеть обмена информацией по безопасности CSN роутит такие сигналы, и в крайних случаях служит резерной исполнительной сетью для выполнения аварийных процедур сброса (если основная сеть, скажем, поверждена). Насколько я понял, такая архитектура безопасности взята из разработок EUROATOM для стандартов автоматизации ядерных электростанций.
Поговорив о низовой автоматизации (кому не хватило, могут прочесть этот документ, где описан workflow автоматизации части системы охлаждения вакуумной камеры) переместимся на самый верх. EPICS будет отвечать за отображение параметров на экранах примерно 60 операторов, которые будут задействованы в работе ИТЭР. У EPICS (который используется в десятках физических эксперементов по всему миру) есть сетевой протокол Channel Access, использующийся для доставки параметров к серверу и мониторам операторов и управляющих воздействий обратно. Пример интерфейса EPICS, кстати.
Рис. 6. Комната управления ИТЭР, концепт.
Есть и концепт комнаты управления токамаком (которая будет располагаться в отдельном здании). В принципе - ничего интересно - куча столов с мониторами и несколько больших экранов на стене. Этот концепт был нужнее всего архитекторам, которые проектировали Control Building Гораздо интереснее центральная серверная инфраструктура, однако по ней в сети есть только некоторые разрозненные параметры - 500 петабайт под хранилище архивов, 1 петафлоп кластер для моделирования процессов. Сейчас на площадке ИТЭР развернут небольшой кластер в 84 блейд-сервера, как для задач разработки CODAC, так и для задач работы с базой данных SDD (в которой постепенно пользователями во всех компаниях - изготовителях элементов будущего ИТЭР структурируется СИУ ИТЭР), которая уже достигла более чем миллиона объектов. Кроме того на этом серверном кластере крутится мини-СИУ будущего ИТЭР, в которой включена автоматизация электроснабжения площадки а таки же зданий сборки полоидальных катушек.
На этом я пожалуй закончу первую часть рассказа про СИУ ИТЭР, а во второй мы посмотрим на некоторые конкретные решения научной автоматизации для ИТЭР, эти разработки, что я нашел действительно могут двинуть вперед индустриальную автоматизацию (в которой на сегодня не бывает циклов управления быстрее чем 1 мкс).