P S B Переносимая система пакетной обработки данных
перевод Балуева А.Н. (мат-мех факультет СПбГУ)
Оглавление
В начало страницы
В этом разделе мы постараемся объяснить шаги при построении и установке
PBS. Установка производится с помощью GNU autoconf process. Эта
установочная процедура требует больше ручной конфигурации, чем типично для
многих пакетов, потому что имеется ряд параметров, учитывающих принятую на
сайте политику, которые не могут быть установлены автоматически.
Если PBS будет работать на Redhat Linux на intel x86, то может быть
установлен пакет RPM. См. раздел 2.4.9 с инструкциями по установке.
Чтобы получить рабочую установку PBS, необходимо выполнить следующие шаги:
1. Прочесть это руководство и спланировать общую конфигурацию хостов и PBS.
См. разделы 1.2 и от 3.0 до 3.2.
2. Решить, куда должны идти источники PBS и объекты. См. раздел 2.2.
3. Разархивировать distribution file в исходное дерево. См. раздел 2.2.
4. Выбрать параметры "configure" и выполнить конфигурацию с начала
целевого дерева (object tree). См. разделы от 2.2 до 2.4.
5. Компилировать модули PBS, напечатав "make" в вершине целевого дерева.
См. разделы 2.2 и 2.3.
6. Установить модули PBS, напечатав "make install" в вершине целевого
дерева. Для этого требуется корневая привилегия. См. раздел 2.2.
7. Создать файл описания узлов, если PBS должен управлять
комплексом узлов или параллельной системой, подобной IBM SP.
См. главу 3. Конфигурация пакетной системы. Узлы можно
добавлять после запуска Сервера командой qmgr, даже если файл
узлов к этому моменту не создан.
8. Извлеките и конфигурируйте Сервер. См, разделы 3.1 и 3.5.
9. Cконфигурируйте и извлеките Moms. См. раздел 3.6.
10. Проверьте вручную планировку нескольких заданий. См. qrun(8B)
man page.
11. Конфигурируйте и запустите программу Планировщик. Активизируйте
Сервер включением scheduling. См. Главу 4.
В начало страницы
PBS в состоянии поддерживать широкий спектр конфигураций. Он может быть
установлен и использован для управления заданиями на одной (большой) системе.
Он может использоваться для сбалансированной загрузки заданий на несколько
систем. Он может использоваться для отведения узлов кластеров или
параллельных систем для параллельных и последовательных заданий. Или может
работать со смесью всего изложенного.
Прежде чем двигаться дальше, нужно условиться в терминологии. В PBS
некоторые термины используются не так, как вы можете ожидать.
Узел (Node)
Это компьютерная система с одной операционной системой, c объединенным
образом виртуальной памяти, одним или более центральным процессором и одним
или более адресами IP. Часто термин: исполнительный хост используется вместо
термина узел. Бокс, подобный SGI Origin 2000, содержащий много процессоров
под управлением одной копии OS, представляет один узел для PBS, несмотря
на терминологию SGI. Бокс, подобный IBM SP с многими процессорами, каждый с
собственной копией OS, представляет набор из многих узлов.
Новое в PBS, выпуск 2.2, есть кластерный узел, составленный
из одного или более виртуальных процессоров. Термин
виртуальный использован потому, что объявленное количество
виртуальных процессоров может быть равно, больше или меньше
чем количество реальных процессоров в физическом узле.
И распределяются именно эти виртуальные процессоры, а не весь
физический узел целиком. Виртуальные процессоры (или VP) кластер-узла
могут распределяться монопольно или временно-совместно.
Узлы, используемые в режиме разделения времени, не рассматриваются как
состоящие из виртуальных узлов, и такие узлы только используются
заданиями, а не распределяются для них.
Комплекс
Набор хостов под управлением одной пакетной системы. Комплекс может быть
сформирован из узлов, которые распределены только одному заданию на данное
время, или из узлов, на каждом из которых исполняется много заданий
сразу, или из комбинации узлов обоих типов.
Кластер
Комплекс, составленный из кластер-узлов.
Кластер-узел.
Узел, виртуальные процессоры, которого распределяются специально
одному заданию одновременно (см. монопольный узел) или немногим
заданиям (см. временно совместно используемые узлы). Такой тип узлов
может также называться пространственно разделяемым. Если кластерный узел
имеет более одного виртуального процессора, то VP могут назначаться
различным заданиям или использоваться для удовлетворения требований
одного задания. Однако все VP одного узла должны распределяться в одной
и той же манере, т.е. все должны распределяться либо монопольно, либо
временно-совместно. Хосты, которые используются многими заданиями в
режиме разделения времени, называются "разделяемыми во времени"
Монопольные узлы
Монопольный узел - такой, который используется одним и только одним
заданием. Множество узлов назначается заданию монопольно
на все время его исполнения. Обычно это делается для улучшения
производительности программ, передающих сообщения.
Временно разделяемые узлы
Это такие узлы, VP которых временно совместно используются многими
заданиями. Если несколько заданий запрашивают множественные временно
разделяемые узлы, некоторые VP могут распределяться вместе для нескольких
заданий, а некоторые --- только одному из заданий. Когда некоторый VP
распределен на временно-совместной основе, он остается таким до окончания
всех использующих его заданий. После этого он снова может распределяться
либо монопольно, либо временно-совместно.
Разделяемые во времени
В нашем контексте разделять во времени означает постоянно разрешать многим
заданиям исполняться параллельно на исполнительном хосте или узле.
Разделяемый во времени узел есть узел, на котором задания разделяются
во времени. Часто термин хост вместо термина узел используется в связи с
разделением во времени, как в разделяемом во времени хосте. Если термин
узел употреблен без префикса: разделяемый во времени, то узел есть
кластерный узел, распределяемый либо монопольно, либо временно-совместно.
Если хост или узел отмечен как разделяемый во времени, он никогда не
будет распределен (Сервером) монопольно или временно-совместно.
Сбалансированная загрузка
Политика, при которой задания распределяются по множеству используемых
в режиме разделения времени хостов для равномерной работы всех хостов.
Эта политика является функцией только планировщика заданий.
Атрибут узла
Также как задания, очередь и сервер, узлы имеют атрибуты,
обеспечивающие управляющую информацию. Атрибуты узлов определяют:
состояние, тип (ntype), количество виртуальных процессоров (np),
список заданий, которым узлы распределяются, и свойства узлов
Свойство узла
Чтобы иметь средства для группирования узлов при распределении,
ноль или более узловых атрибутов могут быть приданы каждому узлу.
Эти атрибуты есть ничто другое как цепочка буквенно-цифровых символов
(первый символ всегда буква ), не имеющих значения для PBS. Администратор
системы может выбирать по желанию любые имена. Они должны передаваться
пользователям.
Пакетная система.
Пакетная система PBS состоит из одного Сервера заданий (pbs_server),
одного или более планировщиков заданий (pbs_sched), и одного или более
исполнительных серверов (pbs_mom). В начальных версиях PBS Пакетная
система устанавливалась только для поддержки кластеров, или монопольных
узлов или для поддержки только одного или нескольких разделяемых во времени
хостов. Поддержка для временно-разделяемых узлов отсутствовала.
В настоящем выпуске пакетная система PBS может быть установлена для
проведения работ в одной большой системе разделения времени, в кратных
системах разделения времени, в кластере узлов для использования
монопольно или временно-совместно, или в любых комбинациях перечисленных
типов
Пакетный комплекс.
См. пакетную систему.
Если PBS должна быть установлена на одной системе разделения времени, все
три демона могут располагаться на этой системе; или можно поместить Сервер
(pbs_server) и/или Планировщик (pbs_sched) на "переднем крае" системы. Mom
(pbs_mom) должен работать на каждой системе, где задания должны исполняться.
Если PBS должна быть установлена на наборе систем разделения времени, Mom
должен быть на каждой системе, а Сервер и Планировщик могут быть установлены на
одной из систем или на переднем крае. Если вы используете действующую по
умолчанию программу Планировщик, необходимо установить узловой файл для
Сервера, в котором называются все системы разделения времени. Нужно добавить
:ts к каждому имени хоста, чтобы идентифицировать их как разделяемых во
времени. То же самое применяется для кластеров, за исключением того, что к
именам в узловом файле не добавляются окончания :ts.
В начало страницы
Нормальная процедура построения PBS состоит в отделении источника от цели.
Это допускает помещение одной копии источника на совместную файловую систему,
с которой могут быть построены различные целевые системы. Таким образом,
источник должен быть защищен от случайных разрушений или модификаций путем
превращения его в только читаемый. Однако, если угодно, объекты могут быть
приготовлены внутри исходного дерева.
В следующем описании исходное дерево есть результат распаковки tar-файла
в каталог (и подкаталоги).
Диаграмма исходного дерева показана на Рис. 2-1.
Рис. 2-1: Структура исходного дерева
Целевое дерево есть множество параллельных каталогов, в которых объектные
модули фактически скомпилированы. Это дерево может ( и вообще говоря,
должно) быть отделено от исходного дерева.
Обзор "конфигурации", компиляции, установки и шагов конфигурации пакетной
системы перечислен ниже. Детальные объяснения символов будут даны позже.
Рекомендуется прочесть полностью эти инструкции до того, как приступите к
самой установке.
Установка PBS:
1. Поместить tar-файл в место, где удобно хранить источник.
2. Разархивировать tar-файл, tar xpf file.
Он будет разархивирован в текущий каталог с именем текущего выпуска и
исправления. В этом каталоге будет несколько файлов и подкаталогов.
Этот каталог и подкаталоги составляют исходное дерево. В этой стадии
удобно защитить его от записи, если хотите.
В вершине каталога находятся два файла с именами "Release_Notes" и
"INSTALL". Файл Release_Notes содержит информацию о содержании выпуска,
о последних изменениях и инструкциях по установке. Файл "INSTALL"
содержит стандартные замечания об использовании конфигурации GNU.
3. Если вы изберете согласно рекомендациям отдельные деревья построения
(целевое) и исходное, то создайте каталог верхнего уровня для того,
что в это время станет целевым деревом. Оно должно располагаться в
файловой системе, смонтированной в той же самой архитектуре, что и
целевая система, для которой вы генерируете двоичные элементы PBS.
Это может быть та же система, которую определяет источник, а может и
нет. Измените каталоги для вершины целевого дерева.
4. Выберите планировщика заданий. Уникальным свойством PBS является его
внешний модуль-планировщик. Это позволяет сайту по желанию изменять
политику. Чтобы добиться еще большей свободы в реализации политики, PBS
предоставляет планировщиков трех видов. Планировщик может развиваться
на языке Си, на языке сценариев Tcl, или на собственном расширении языка
Си, называемом Batch Scheduling Language, или BaSL.
По умолчанию в комплекте поставки используется планировщик на базе
языка, называемый fifo. Этот планировщик может конфигурироваться
для нескольких простых политик планирования, не только по принципу:
первым вошел -- первым вышел, как предлагает его имя. Когда этот
планировщик устанавливается, некоторые конфигурационные файлы
устанавливаются в {PBS_HOME}/scheduler_priv/. Вы должны модифицировать
эти файлы для вашего сайта. Эти файлы обсуждаются в разделе 4.5
Основанный на QC образец Планировщика и в разделе 4.5.1 FIFO-планировщик.
Чтобы изменить выбранный Планировщик, см. параметры конфигурации
--set-sched и --set-sched-code в разделе 2.3.1.3. Features and
Package Options настоящей главы. Дополнительную информацию
о типах планировщиков и о том как конфигурировать fifo можно найти в
главе о политике планирования, далее в этом руководстве.
5. Прочтите раздел 2.3, затем с вершины целевого дерева, созданного на
шаге 3, напечатайте следующую команду
{source_tree}/configure [options]
где {source_tree} означает полный относительный или абсолютный путь
к сценарию конфигурации в исходном дереве. Если вы строите в исходном
дереве, напечатайте ./configure [options] на верхнем уровне
исходного дерева, где находится сценарий конфигурации.
Это приведет к созданию полного целевого дерева, начиная с текущего
рабочего каталога, и множества заголовочных и make-файлов, используемых
при постройке PBS. Перезапуск конфигурационного сценария будет нужен
только тогда, когда вы захотите изменить параметры, указанные в командной
строке конфигурации. См. раздел 2.3 для информации о параметрах
конфигурации.
Никакие параметры не являются абсолютно необходимыми, но если поставленный вам
Си-компилятор не есть ANSI, рекомендуется использовать параметр --set-cc
чтобы не использовать gcc. Если вы хотите построить GUI для PBS и библиотеки
Tcl нет в нормальном месте, /usr/local/lib, то нужно указать
--with-tcl=directory, указывая путь к библиотекам Tcl.
Выполнение config без всяких (прочих) параметров приведет к рабочей системе
PBS со следующими свойствами по умолчанию:
- Команды пользователя установлены в /usr/local/bin.
- Демоны и административные команды установлены в /usr/local/sbin.
- Рабочий каталог (PBS_HOME) для демонов есть usr/spool/pbs.
- Планировщиком будет основанный на Си Планировщик "fifo".
Так как количество параметров, которые вы можете выбирать, может оказаться
большим и параметры многословны, вы можете пожелать создать сценарий
оболочки, состоящий из команды конфигурации и выбранных параметров.
Документация по умолчанию не генерируется. Это можно сделать, указав
параметр --enable-docs при конфигурации или изменением в подкаталоге
doc в целевом дереве и печатью make.
Для того, чтобы построить и напечатать PostScript-копии документации из
включенного источника, необходимо иметь GNU groff formating package,
включая "ms"
formatting macro package. Вы можете захотеть печать в другом фонте.
В исходном дереве есть файл "doc/doc_fonts", который можно редактировать.
Прочтите комментарий в этом файле. Заметим, что фонт в позиции 4
пропадает, если монтируется символ font.
6. После выполнения сценария конфигурации следующий шаг --- компилировать
PBS, напечатав make с вершины целевого дерева.
7. Для установки PBS необходима корневая привилегия. Имея ее, напечатайте
make install
с вершины объектного дерева. Это породит рабочий каталог структур,
необходимых для исполнения PBS и установки программ в необходимых
исполнительных каталогах.
Когда рабочие каталоги изготовлены, они уже проверены на установку
прав собственности и разрешений. Это делается для гарантии того, что
файлы не испорчены и сохранность PBS обеспечена. Часть проверки должна
убедить в том, что родительские каталоги и все файлы:
- обладают корневыми правами (bin, sys, или любыми uid < 10),
иначе выдается EPERM;
- что групповые права есть a gid < 10, иначе выдается EPERM;
- что каталоги не являются свободно перезаписываемыми, или были
затребованы как свободно перезаписываемые и установлен sticky bit,
иначе выдается EACCESS; и
- что файл или каталог действительно файл или каталог, иначе выдается
ENOTDIR returned if not.
Различные демоны PBS тоже производят подобные проверки при своем старте.
8. Если имеется более чем один хост в вашем кластере PBS, нужно создать
узловой файл для Сервера. Создайте файл {PBS_HOME}/server_priv/nodes.
Он должен содержать по строке на каждый узел, на котором должен
исполняться Mom. Строка должна состоять из короткого имени хоста, без
части с именем области. Например, если имеются три узла:
larry.stooge.com, curley.stooge.com и moe.stooge.com; тогда файл узла
должен содержать
larry
curley
moe
Если узлы --- разделяющие время и будут загружаться равномерно, добавьте
:ts к каждому узлу, как в
larry:ts
curley:ts
moe:ts
9. Три демона, pbs_server, pbs_sched и pbs_mom должны исполняться
корнем, иначе они не будут функционировать. Обычно в продуктивных
системах они стартуют во время загрузки системы из корневых файлов
/etc/rc*. Это ---
первое время, когда демонов можно запустить вручную. Когда демон
запускается, не имеет значения, какой каталог является текущим рабочим.
Демон сам поместит себя в собственный каталог {PBS_HOME}/*_priv, где *
означает serv, resmom или sched.
Заметим, что не все три демона обязаны присутствовать во всех системах.
В случае больших систем должны присутствовать все три. В случае кластера
рабочих станций можно иметь только Сервер (pbs_server) и Планировщик
(pbs_sched) на системе и копию Mom (pbs_mom) на каждом узле, где могут
исполняться задания. Сейчас мы предполагаем, что вы планируете иметь
всех трех демонов работающими на системе.
Чтобы иметь вполне функциональную систему, для каждого демона требуется
некоторая конфигурационная информация. Кроме узлового файла,
конфигурационная информация выдается командой qmgr после того как
начнет работу Сервер. Информация об узле вносится посредством
редактирования узлового файла перед запуском Сервера или через qmgr
интерфейс после запуска. Конфигурационная информация для Mom или
планировщика вносится редактированием файла конфигурации, находящегося
в {PBS_HOME}/mom_priv или {PBS_HOME}/sched_priv. Это подробно
объясняется в главе 3 руководства "Конфигурация пакетной системы".
A. Перед запуском реализаторов услуг исполнения, т.е. Mom(s) на каждом
исполнительном узле, нужно создать его config-файл. Для этого достаточны
следующие строки:
$logevent 0x1ff
$clienthost server-host
где server-host есть имя хоста, на котором исполняется Сервер. Этого не
требуется, если Сервер и этот Mom находятся на одном и том же хосте.
Создайте файл {PBS_HOME}/mom_priv/config и скопируйте в него приведенные
выше строки. См. pbs_mom(8) man page и раздел 3.6 Конфигурирование
исполнительного сервера, чтобы получить более подробную информацию о
файле config.
Запустите сервер-исполнитель, pbs_mom,
{sbindir}/pbs_mom
Для этого не требуется никаких параметров или аргументов. См. pbs_mom(8)
man page.
B. Только в первый раз запускайте pbs_server с параметром "-t create"
{sbindir}/pbs_server -t create
См. ERS о деталях команды. Этот параметр побуждает Сервер
инициализировать различные файлы. Этот параметр не требуется после
первого запуска, если только вы не хотите очистить базу данных
Сервера и начать с начала. См. pbs_server(8) man page относительно
подробностей. Копию раздела 8 man pages можно найти в External
Reference Spec, ERS, Глава 6.
C. Запустите избранный Планировщик, pbs_sched.
i. Для Планировщика на базе Cи, такого как default fifo Scheduler,
в общем случае требуются параметры. Для запуска Планировщика
напечатайте
{sbindir}/pbs_sched
См. man page pbs_sched_cc(8) о деталях.
ii. Для Планировщика BaSL политика планирования изложена на
специальном языке batch scheduling language, подобном Си.
Код планирования, содержащий конструкции BaSL, должен быть сначала
конвертирован в Си с помощью средства basl2c. Это делается установкой
конфигурационного параметра
--set-sched-code=file, где file означает относительный ( по
отношению к src/scheduler.basl/samples) или абсолютный путь к
исходному файлу basl. Его имя должно оканчиваться на .basl. Хорошим
примером программы может служить "fifo_byqueue.basl", которая может
планировать задания на одно-серверном, одно-исполнительном окружении
хоста. Прочтите заголовок на этом примере планировщика для получения
информации об его алгоритме.
Конфигурационный файл Планировщика есть важная часть в BaSL, так как
Именно там находится список услуг ресурсов хоста. Выполняется
планировщик на базе basl печатью команды:
{sbindir}/pbs_sched -c config_file
Планировщик ищет конфигурационный файл по умолчанию в
{PBS_HOME}/sched_priv. Подробности можно найти в
man page pbs_sched_basl(8).
iii. Планировщик Tcl требует модуль Tcl code policy. Образцы
сценариев Tcl можно найти в src/scheduler.tcl/sample_scripts.
В случае Планировщика на базе Tcl, тело сценария Tcl должно быть
помещено в {PBS_HOME}/sched_priv/some_file и планировщик должен
исполняться через
{sbindir}/pbs_sched -b PBS_HOME/sched_priv/some_file. Подробности см.
в man page pbs_sched_tcl(8).
10. Войдите в систему в корневом режиме и объявите себя как менеджера для
pbs_server, напечатав:
# qmgr
Qmgr: set server managers=your_name@your_host
Информацию о qmgr можно найти в qmgr(8) man page и on-line help
можно получить, напечатав help в пределах qmgr.
С этого момента вам не нужна корневая привилегия. Заметим, что вашим
хостом может быть любой хост, на котором установлена PBS-овская команда
qmgr. Вы можете теперь конфигурировать и управлять отдаленной пакетной
системой с удобной для вас собственной рабочей станции.
Теперь необходимо определить, по крайней мере, одну очередь. Обычно это
будет очередь на исполнение, если только этот сервер не используется чисто
как шлюз. Вы можете по желанию установить для очереди минимальный,
максимальный или по умолчанию лимит на некоторые ресурсы. Например, чтобы
установить минимум в 1 секунду, максимум в 12 часов процессора, а по
умолчанию 30 минут процессора на очередь с именем "dque",
выдайте следующие команды внутри qmgr:
Qmgr: create queue dque queue_type=e
Qmgr: s q dque resources_min.cput=1,resources_max.cput=12:00:00
Qmgr: s q dque resources_default.cput=30:00
Qmgr: s q dque enabled=true, started=true
Вы можете также захотеть увеличить системную безопасность, ограничивая
точки, откуда можно контактировать с Сервером. Чтобы ограничить услуги
вашей областью, дайте следующие qmgr-директивы:
Qmgr: set server acl_hosts=*.your_domain
Qmgr: set server acl_host_enable=true
Наконец, активируйте взаимодействие Сервера и планирования с помощью
pbs_sched, выдав команду:
Qmgr: s s scheduling=true
Когда атрибут scheduling установлен на true, Сервер будет вызывать
Планировщик заданий. В случае false Планировщик вызываться не будет.
Значение атрибута scheduling может также указываться в командной строке
pbs_server с параметром -a.
В начало страницы
Хотя обзор и дает достаточно информации о построении базисной системы PBS,
имеется много разных доступных вам параметров и возможностей подгонки, которые
нужно описать.
Приведем детальную информацию о сценарии конфигурации.
В начало страницы
Следующие общие параметры конфигурации не влияют на функциональность PBS.
--cache-file=file
Поместить в кэш результаты системного конфигурационного теста в
файле file.
Умолчание: config.cache
--help
Печатать информацию о доступных параметрах.
--no-create
Не создавать выходные файлы.
--quiet, --silent
Не печатать "контрольные" сообщения.
--version
Печатать версию autoconf, которая создает конфигурацию.
--enable-depend-cache
Это включает возможность конфигурации кэшировать зависящую от make
информацию во время конфигурации. Это может оказаться вредным, если
пользователь производит определенные изменения конфигурации при повторном
конфигурировании, но может сэкономить время в руках опытных разработчиков.
in the hands
По умолчанию: выключено.
В начало страницы
Эти параметры указывают, где располагать объекты PBS.
--prefix=PREFIX
Устанавливать файлы в подкаталогах каталога PREFIX.
Умолчаниеt: /usr/local
--exec-prefix=EPREFIX
Устанавливать зависимые от архитектуры файлы в подкаталогах EPREFIX.
Умолчание: см. PREFIX
--bindir=DIR
Устанавливать пользовательские команды в подкаталоге DIR.
Умолчание: EPREFIX/bin (/usr/local/bin)
--sbindir=DIR
Устанавливать администраторские команды в подкаталоге DIR. Они включают
определенные администраторские команды и демоны.
Умолчание: EPREFIX/sbin (/usr/local/sbin)
--libdir=DIR
Объектные коды библиотек располагать в DIR. Он включают библиотеку
PBS API, libpbs.a.
Умолчание: PREFIX/lib (/usr/local/lib)
--includedir=DIR
Головные файлы языка Си устанавливать в DIR.
Умолчание: PREFIX/include (/usr/local/include)
--mandir=DIR
Установить man pages в DIR.
Умолчание: PREFIX/man (/usr/local/man)
--srcdir=SOURCE_TREE
PBS-источники могут быть найдены в каталоге SOURCE_TREE.
Умолчание: место сценария конфигурации.
--x-includes=DIR
Головные файлы X11 находятся в каталоге DIR.
Умолчание: пытается самостоятельно головные файлы.
--x-libraries
Библиотеки X11 помещаются в каталог DIR.
Default: пытается самостоятельно обнаружить библиотеки.
В начало страницы
В общем, эти параметры имеют следующие формы:
--disable-FEATURE Не компилировать для FEATURE, то же что
--enable-FEATURE=no
--enable-FEATURE Компилировать для FEATURE
--with-PACKAGE Компилировать включение PACKAGE
--without-PACKAGE Не компилировать включить PACKAGE, тоже что
with-PACKAGE=no
--set-OPTION Установить значение OPTION
Для PBS, обнаруженные параметры с --enable/disable, --with/without и
--set означают:
--enable-docs
Строить(или не строить) документацию PBS. Чтобы поступить так, вам
необходимы следующие средства GNU: groff, gtbl и gpic. Даже если этот
параметр не установлен,
man pages все равно будет включен в документацию.
Умолчание: disabled
--enable-server
Строить (или не строить) Сервер заданий PBS, pbs_server.
Нормально все компоненты (команды, Сервер, Mom и Планировщик) строятся.
Умолчание: enabled
--enable-mom
Строить (или не строить) демон-исполнитель заданий PBS, pbs_mom.
Умолчание: enabled
--enable-clients
Строить (или не строить) команды PBS.
Умолчание: enabled
--with-tcl=DIR_PREFIX
Используйте этот параметр, если хотите компилировать основанные на Tcl
свойства PBS, а библиотек Tcl нет в /usr/local/lib. Эти основанные на
Tcl свойства включают GUI- интерфейс, xpbs. Если следующий параметр,
--with-tclx, установлен, используйте этот параметр только если библиотеки
Tcl libraries не совмещены с библиотеками Tclx. Если установлен,
IR_PREFIX должен указывать абсолютный путь к каталогу, содержащему
библиотеки Tcl.
Умолчание: если --enable-gui задействован, то при with строятся
средства Tcl; в противном случае, without, средства Tcl не строятся.
--with-tclx=DIR_PREFIX
Используйте этот параметр, если хотите, чтобы свойства PBS, основанные на
Tcl, базировались на Tclx. Этот параметр подразумевает --with-tcl.
Умолчание: Tclx не используется.
--enable-gui
Строить xpbs GUI. Справедливо только если установлено--with-tcl.
Умолчание: enabled
--set-cc[=ccprog]
Указывает, какой Си-компилятор будет использоваться. Это пересилит
установку окружения CC. Если только --set-cc указано, то CC будет
установлено на cc.
Умолчание: gcc (во всяком случае, конфигурация тоже из GNU)
--set-cflags[=FLAGS]
Установить флажки компиляции. Это используется для установки переменной
CFLAGS. Если указано только --set-cflags, то CFLAGS устанавливается
на "". Это нужно установить на -64, чтобы построить 64-битовые
объекты под Irix 6, например, --set-cflags=-64. Заметим, что
кратные флажки, такие как -g и -64 должны быть взяты в кавычки,
например, --set-cflags='-g -64'
Умолчание: CFLAGS устанавливается вероятнее всего для типа системы.
--enable-debug
Строит PBS с задействованными отладочными средствами. Они позволяют
демонам оставаться привязанными к стандартному выводу и выдавать большое
количество сообщений.
Умолчание: disabled
--set-tmpdir=DIR
Устанавливает каталог tmp, в котором pbs_mom будет создавать временные
рабочие каталоги для заданий. Используется только на системах Cray.
Умолчание: /tmp
--set-server-home=DIR
Устанавливает имя каталога верхнего уровня для рабочих каталогов PBS,
PBS_HOME. Этот каталог ОБЯЗАН находиться в файловой системе, локальной
для хоста, на котором исполняются любые из демонов. Это означает, что
необходимо иметь локальную файловую систему на любой системе, где работает
pbs_mom, а также где исполняются pbs_server и/или pbs_sched. PBS
использует синхронную запись в файлы поддержки состояния. Рекомендуется,
чтобы файловая система имела одну и ту же точку монтировки и путь на
каждом хосте, что позволяет копировать демонов с одной системы на
другую вместо постройки их на каждой системе.
Умолчание: /usr/spool/pbs
--set-server-name-file=FILE
Установить имя файла, который будет содержать имя Сервера по умолчанию.
Этот файл используется командами для определения, с каким сервером
связываться. Если FILE --- не абсолютный путь, он будет рассматриваться
по отношению к значению --set-server-home, PBS_HOME.
Умолчание: server_name
--set-default-server=HOSTNAME
Установить имя хоста, с которым клиенты будут связываться, когда в
вызове команд указано not otherwise. Это должно быть первичное сетевое
имя хоста.
Умолчание: имя хоста, на котором компилируется PBS.
--set-environ=PATH
Установить имя пути к файлу, содержащему переменные окружения,
используемые демонами и расположенные в окружении заданий. Для систем,
основанных на AIX, предлагается установка этого параметра на
/etc/environment. Имена относительных путей интерпретируются по
отношению к значению --set-server-home, PBS_HOME.
Умолчание: файл pbs_environment в каталоге PBS_HOME.
По поводу рассуждений об этом файле и окружении см.
раздел 6.1.1. Внутренняя безопасность.
Вы можете отредактировать этот
файл для изменения пути или добавления других переменных окружения.
--enable-plock-daemons=WHICH
Побудить демонов замкнуть себя в оперативной памяти для увеличения
производительности. Аргумент WHICH есть логическое ИЛИ из 1 для
pbs_server, 2 для pbs_sheduler и 4 для pbs_mom (7 означает всех
трех демонов). Этот параметр рекомендуется для систем Unicos. Это не
должно использоваться для систем AIX.
Умолчание: disabled.
Заметим, что это свойство использует системный вызов plock(), который
не доступен на Linux и основанных на нем системах. До использования
этого свойства проверьте доступность plock(3) в системе.
--enable-syslog
Задействовать использование syslog для сообщений об ошибках. Это ---
в добавление к нормальному PBS logs.
Умолчание: disabled.
--set-sched=TYPE
Установить языковый тип Планировщика. Если установлено c, то будет
компилироваться Планировщик на базе Си. Если установлено tcl, то будет
использоваться Планировщик Tcl. Если basl, то будет сгенерирован
Планировщик на базе Scheduler Language. Если установить no, то никакого
планировщика не будет, задания будет нужно запускать вручную.
Умолчание: c
--set-sched-code=PATH
Устанавливает имя файла или каталога, содержащего источник для
Планировщика. Используется только для Си и BaSL Планировщиков, где
--set-sched установлено на c или basl. Для Си-Планировщиков это должно
быть имя каталога. Для планировщиков BaSL это должно быть имя файла,
оканчивающееся на .basl. Если путь не абсолютный, он будет
интерпретироваться по отношению к
SOURCE_TREE/src/schedulers.SCHED_TYPE/samples. Например, если
--set-sched установлено на basl, то установите --set-sched-code на
fifo_byqueue.basl.
Умолчание: fifo (Планировщик на базе Си)
--enable-tcl-qstat
Строит qstat с Tcl-расширением интерпретатора. Это допускает
настройку для сайта и пользователя. Действует только если --with-tcl
уже присутствует.
Умолчание: disabled
--set-tclatrsep=CHAR
Устанавливает символ-разделитель для атрибута и имени ресурса в
сценариях Tcl/Tclx.
Умолчание: "."
--set-mansuffix=CHAR
Определяет символ, используемый как суффикс в разделах man page.
Например, qsub man page установлен как man1/qsub.1B. Для установки без
суффикса --set-mansuffix="".
Умолчание: "B"
--set-qstatrc-file=FILE
Установить имя файла, который qstat будет использовать, если файл
.qstatrc отсутствует в начальном каталоге пользователя. Этот параметр
действует только при установленном --enable-tcl-qstat.
Если FILE есть относительный путь, он будет интерпретироваться по
отношению к начальному каталогу PBS, см. --set-server-home.
Умолчание: PBS_HOME/qstatrc
--with-scp
Указывает PBS пытаться использовать программу сохранного копирования, scp,
при копировании файлов на или с отдаленного хоста. Это применяется для
доставки выходных файлов и файлов stage-in/stage-out. Если должна
использоваться scp и произошел отказ, PBS будет пытаться копировать,
используя rcp в случае, когда scp нет на отдаленном хосте.
Для местной доставки используется всегда "/bin/cp -r". Для отдаленной
доставки требуется вариант rcp. Программа должна всегда обеспечивать
ненулевой код возврата при любой ошибке в доставке файлов. Это не верно
для всех реализаций rcp, поэтому копия известной хорошей rcp включена в
исходный код, см. mom_rcp. Более подробную информацию можно найти в
разделе 7.5 Доставка выходных файлов.
Умолчание: используется sbindir/pbs_rcp (из исходного каталога
mom_rcp), где sbindir есть значение из --sbindir.
--enable-shell-pipe
Если задействовано, то pbs_mom передает имя сценария задания на верхний
уровень оболочки через конвейер. А если не задействовано, то файлом
сценария служит стандартный входной файл оболочки. См. раздел 7.3
Вызов оболочки для подробностей.
Умолчание: задействовано.
--enable-rpp
Использовать Reliable Packet Protocol, RPP, на UDP для запросов
ресурсов для mom через Планировщика. Если не задействовано, взамен
использовать TCP.
Умолчание: enabled
--enable-sp2
Включить специальные средства для IBM SP. Этот параметр действует только
когда тип машины для PBS есть aix4. Тип машины PBS автоматически
определяется сценарием конфигурации.
Умолчание: disabled
С программным обеспечением PSSP выпусков до 3.1 требуется доступ к двум
библиотекам IBM, libjm_client.a и libSDR.a. Эти библиотеки
устанавливаются при установке множества файлов ssp.clients, и PBS будет
рассчитывать найти их в нормальном месте для библиотек.
С PSSP 3.1 и позднейшими выпусками libjm_client.a и libSDR.a не нужны.
Вместо них используется libswitchtbl.a для загрузки и выгрузки
переключателя. См. дискуссию в подсекции IBM SP в разделе 2.4
Машинно-зависимые команды построения.
--enable-nodemask
Строить PBS с поддержкой для SGI Origin2000 nodemask.
Требует Irix 6.x.
Умолчание: disabled
--enable-pemask
Строить PBS на Cray T3e с поддержкой для планировщика, управляющего
pe-ориентированным размещением заданий. Требует Unicos/MK2.
Умолчание: disabled
--enable-srfs
Этот параметр задействует поддержку для Session Reservable File Systems.
Действует только на Cray systems с модификациями NASA для поддержки
Session Reservable File System, SRFS.
Умолчание: disabled
--enable-array
Такая установка для Irix 6.x форсирует использование SGI Array Session
tracking. Задействовать это свойство рекомендуется, если задания MPI
используют демон для обслуживания Array. Тип машины для PBS
устанавливается на irix6array. Отключение этого параметра форсирует
использование POSIX session ids. См. раздел 2.4.5 Системы SGI использующие
IRIX 6.
Умолчание: Автоматически устанавливается по существованию и содержанию
/etc/config/array.
В начало страницы
Следующие целевые имена применяются для make:
all Цель по умолчанию, компилируется все.
build То же что и all.
depend Строит правила зависимости головного файла.
install Устанавливать все.
clean Удалить все объектные и исполнимые программные файлы в текущем
поддереве.
distclean Оставить объектное дерево весьма чистым. Удаляются все файлы,
которые были созданы во время построения.
Возможно, компилировать или устанавливать кусок, такой как Mom, посредством
перехода в подходящий подкаталог и печати "make" или "make install".
Имеется ряд возможных переменных, которые используются только в случае
машин определенного типа. Если вы не заинтересованы в построении для одного
из следующих типов, можете пропустить этот раздел.
В начало страницы
На традиционных системах Cray, таких как C90, PBS поддерживает версии
Unicos 8, 9 и 10.
Вследствие частого стандартного употребления символа TARGET в PBS make-файлах,
при построении для Unicos нельзя определять переменную окружения TARGET.
В противном случае она будет заменяться в Unicos's make-файлах по правилам
make-файлов, что приведет к ошибкам компиляции. Если устанавливаете, печатайте
unsetenv TARGET перед PBS-making.
Если в вашей системе используется Session Reservable File System,
модернизированная NASA, выполняйте конфигурацию с параметром --enable-srfs.
В таком случае Сервер и Mom will будут скомпилированы для использования
ресурсов с именами srfs_tmp, srfs_big, srfs_fast и srfs_wrk. Они могут быть
использованы из qsub для запроса размещений SRFS. Файл /etc/tmpdir.conf есть
конфигурационный файл для этого. Вот пример файла:
# Shell environ var Filesystem
TMPDIR
BIGDIR /big/nqs
FASTDIR /fast/nqs
WRKDIR /big/nqs
Каталог для TMPDIR по умолчанию заменит определенный как JTMPDIR в
Unicos's /usr/include/tmpdir.h.
Без модулей SRFS Mom создаст в Unicos временный рабочий каталог для заданий.
По умолчанию, он разместится в /tmp. Место может быть изменено по
--set-tmpdir=DIR.
В начало страницы
Если вы эксплуатируете Unicos MLS, требуемый в Unicos 10.0 и более поздних,
то требуются следующие действия после постройки и установки системы. Mom
обновляет ue_batchhost и ue_batchtime в UDB для пользователя. В системе MLS Mom должен
иметь возможности безопасности, чтобы написать защищенную UDB. Чтобы
гарантировать такую возможность, замените каталог, в котором был установлен
pbs_mom и напечатайте:
spset -i 16 -j daemon -k exec pbs_mom
Вы, администратор, должны иметь способность secadm class 16, чтобы выдать
эту команду. Используйте команды setucat и setucls для перехода на эти
уровни, если вы уполномочены на это. Бит UDB reclsfy permission дает
пользователю нужные полномочия для использования команды spset.
ВНИМАНИЕ!
Было проведено только ограниченное тестирование в слабейшем окружении
MLS. Конфликты могут возникнуть из-за отличий в вашем окружении.
В начало страницы
На системах Cray T3E MPP пакет PBS поддерживает основанную на микроядре
Unicos/MK version 2. На этой системе PBS "кооперируется" с T3E Global
Resource Manager (GRM), чтобы выполнять задания на этой системе. В первую
очередь это необходимо потому, что задания на T3E должны исполняться на
физически непрерывных обрабатывающих элементах (PEs).
Предыдущие рассуждения (см. раздел 2.4.1.1) о переменной окружения TARGET,
поддержка для Session Reservable File System и замена TMPDIR также
относятся к Cray T3E.
В начало страницы
Следующее значение рекомендуется для CFLAGS при компиляции PBS на
Digital UNIX 4.0D: --set-cflags="-std0", то-есть s-t-d-zero.
В начало страницы
Следующее значение рекомендуется для CFLAGS при компиляции PBS на HP-UX:
--set-cflags="-Ae"
В начало страницы
PBS поддерживает рабочие станции IBM, эксплуатирующие AIX 4.x. Когда man
pages установлены в mandir, используемое по умолчанию имя суффикса файла
man page, "B", должно быть удалено.
Временно, это делается вручную. Например, заменяют man3/qsub.3B на
man3/qsub.3.
Не используйте параметр конфигурации --enable-plock. Это разрушит систему
занятием всей памяти.
В начало страницы
Все сказанное выше в разделе об IBM Workstation применимо к IBM SP.
Обязательно прочтите раздел 3.2, Кратные исполнительные системы, перед
конфигурированием Сервера.
Важные замечания
Каталог PBS_HOME, см. --set-server-home, используемый pbs_moms
и помещаемый на каждом узле, должен быт в локальной памяти и должен
иметь тот же путь на каждом узле. Если каталог расположен на другом
пути, то Mom будет не в состоянии правильно инициализировать
переключатель SP.
Имена узлов, сообщенные Серверу, должны соответствовать именам узлов,
указанным в команде st_status.
Это должны быть "надежные" имена узлов.
Установите специальный параметр SP-2, --enable-sp2, для компилирования
специального кода для действий с высокоскоростным переключателем SP.
Если библиотека libswitchtbl.a не обнаружена, это значит, что вы работаете с
с программами PSSP версии до 3.1. В таком случае команда IBM poe включает
быстродействующий переключатель непосредственно и PBS взаимодействует с
IBM Resource (Job) Manager, чтобы узнать, какие узлы используются заданиями.
PBS требует две библиотеки, libjm_client.a и libSDR.a, установленные
с ssp.clients fileset.
Если библиотека libswitchtbl.a обнаружена, то предполагается, что вы
работаете с PSSP 3.1 или позднейшими версиями. PBS берет на себя загрузку
таблиц быстродействующего переключателя для обеспечения связи узлов.
Важное замечание
Вне зависимости от количества процессоров на каждый узел, количество
виртуальных процессоров, которые могут быть объявлены для Сервера,
ограничивается количеством окон переключателя, поддерживаемого
программами PSSP. В настоящее время оно равно четырем (4). Поэтому
только 4 виртуальных процессора могут быть объявлены в каждом узле.
При PSSP 3.1, две дополнительные единице информации должны быть переданы
заданию. Это идентификатор окна переключателя (через файл, имя которого
передается) и ключ задания, который отождествляет процесс использования
переключателя. Так как poe не передает эту информацию процессу,
который она создает, должен использоваться обходный метод для передачи ее
заданию. Для этого две новые программы компилируются и устанавливаются в
каталог bindir, pbspoe и pbspd.
pbspoe есть надстройка над обычной командой poe. pbspoe должна использоваться
пользователем вместо обычной poe. pbspoe модифицирует аргументы команды и
вызывает настоящую poe, которая предполагается находящейся в
/usr/lpp/ppe.poe/bin. Если пользователь указывает:
pbspoe a.out args
то эта команда конвертируется в такую:
/usr/lpp/ppe.poe/bin/poe pbspd job_key winid_file a.out args \
-hfile $PBS_NODEFILE
PBS_NODEFILE, конечно, содержит узлы, которые отвела pbs. pbs_mom на тех
узлах загрузил переключательную таблицу с идентификатором пользователя,
ключом задания и нулевым идентификатором окна.
pbspd помещает ключ задания в окружение как MP_PARTITION, и идентификатор
окна как MP_MPI_NETWORK. Затем pbspd выполняет a.out с оставшимися
аргументами.
Если пользователь укажет командный файл для pbspoe с помощью -cmdfile file,
то pbspoe снабдит префиксом каждую строку командного файла с pbspd job_key
и скопирует ее во временный файл. Временный фай передается команде poe
вместо пользовательского файла.
pbspoe также работает с /usr/lpp/ppe.poe/bin/pdbx и
/usr/lpp/ppe.poe/bin/xpdbx. Эта подстановка делается с целью сделать
изменения как можно более прозрачными для пользователя.
Замечание.
Не все аргументы или возможности poe поддерживаются. Например,
не поддержаны шаги задания poe.
Для ясности употребления, необходимо после установки PBS предпринять
следующие дополнительные шаги:
1. Убрать IBM-овские poe, pdbx и xpbsdx из /usr/bin или любого каталога
на нормальном пути пользователя. Убедитесь, что эти команды остались в
/usr/lpp/ppe.poe/bin, который не должен находиться на пользовательском
пути или располагаться на нем после /usr/bin.
2. Создайте связь с именем /usr/bin/poe, указывающую на {bindir}/pbspoe.
Также сделайте связи для /usr/bin/pdbx и /usr/bin/xpbdx, указывающие
на {bindir}/pbspoe..
3. Проверьте, что pbspd установлена в каталоге на нормальном пути
пользователя на каждом и каждом из узлов.
2.4.6. SGI Workstations с IRIX 5
В том и только в том случае, когда ваша система использует Irix 5.3, вы должны
добавить -D_KMEMUSER к CFLAGS, потому что имеется выверт в головных файлах
Irix.
В начало страницы
Построенный для Irix 6.x pbs_mom будет следить, какие процессы являются
частью заданий PBS, одним из двух путей в зависимости от существования демона
обслуживания массивов, так называемого arrayd, определенного посредством
/etc/config/array. Если демон не сконфигурирован для работы, то pbs_mom
будет использовать сеансовые номера POSIX. Этот метод подходит для рабочих
станций и мультипроцессорных боксов, не использующих команду SGI mpirun.
Машинный тип PBS (PBS_MACH) устанавливается на irix6. Такой
узел может быть также усилен установкой --disable-array.
Там, где используются arrayd и mpirun, задачи с параллельными заданиями
запускаются с помощью запросов к arrayd и не являются частью сеансов
POSIX для заданий. Чтобы отнести процессы к заданиям, Нужно использовать
SGI Array Session Handle (ASH). Это свойство задействуется, когда
/etc/config/array содержит (или может быть форсирован с) параметр(ом)
конфигурации --enable-array. Машинный тип PBS (PBS_MACH) устанавливается
на irix6array
IRIX 6 поддерживает объекты в 32 и 64 бита. В первых версиях PBS
строился обычно как 32-битовый объект. Irix 6.4 представил системы,
поддерживающие перезапуск с контрольной точки. PBS будет включать такую
поддержку, если файл /usr/lib64/libcpr.so найден во время процесса постройки.
Для интерфейса с библиотекой SGI контрольных точек/перезапусков PBS
должен быть построен как 64-битовый объект. Добавьте -64 к CFLAGS.
Это можно сделать через параметр конфигурации --set-cflags=-64
ВНИМАНИЕ!
Вследствие разности в размерах структур, PBS не в состоянии восстановить
любой сервер, очередь или информацию о задании, записанную PBS,
построенной с 32-битовыми объектами, и наоборот. Прочтите раздел 6.5
Руководства администратора, посвященный установке обновленной пакетной
системы, об действиях с этой несовместимостью.
Если libcpr.so отсутствует, PBS можно строить либо как 32-битовый объект,
либо как 64-битовый. Чтобы строить как 32-битовый, добавьте -n32 вместо -64
к CFLAGS.
В начало страницы
Имеется затруднение с FreeBSD вплоть до версии, по крайней мере 2.2.6.
Можно потерять следы того, к каким сеансам принадлежит множество процессов,
если закончил работу лидер сеансов. Это означает, что если верхняя оболочка
задания оставляет процессы заднего плана и кончает работу, Mom будет не в
состоянии найти их, когда задание снимается. Это будет исправлено в следующей
версии.
В начало страницы
Redhat-версии 4.x - 6.x поддерживаются для intel x86.
Имеются два RPM-пакета для Redhat Linux. Первый содержит полную поставку
PBS и предназначен для узлов переднего края. Второй есть mom/client
distribution и предназначен для кластера вычислительных узлов.
Полный распространяемый пакет PBS должен устанавливаться и исполняться
вне бокса. Если вы устанавливаете отдельный хост с разделением времени,
то все в порядке. Если вы устанавливаете кластер вычислительных узлов, то
установите пакет mom на каждом вычислительном узле. Конфигурация на узлах
требует некоторых дополнительных действий.
ВЫ ДОЛЖНЫ ОТРЕДАКТИРОВАТЬ ДВА СЛЕДУЮЩИХ ФАЙЛА
1. /usr/spool/pbs/mom_priv/config
2. /usr/spool/pbs/default_server LP Вы должны заменить на полное
квалифицированное областное имя машины, на которой исполняется сервер pbs.
Замечание: Если вы удалите пакет PBS (pbs или pbs-mom), некоторые файлы
останутся в /usr/spool/pbs. Их можно без вреда удалить, если PBS в них больше
не нуждается.
В начало страницы
Родной компилятор SunOS C не есть ANSI и не может использоваться для
постройки PBS. Рекомендуется взять GNU gcc.
|