LB&JP-META
From EgeeWiki
LB&JP deployment in METACenter / work-in-progress
Contents |
[edit]
O co jde
Cílem je nasadit do METACentra LB a JP, na ostrá data, samozřejmě toho při tom moc nerozbít. Výsledkem by mělo být zejména, že všechny skutečné joby provozu budou v LB&JP uloženy/vidět.
Na straně interface k uživateli (zadávání jobů) uděláme rozšíření zadávání jobů přes PBS - speciální příkazy ve skriptu, který definuje job, které budou nastavovat user tagy (#TAG: LigandURI=xxxx) a zařídíme, aby s tímto infrastruktura uměla pracovat.
[edit]
Struktura řešení a plán práce
[edit]
Celkový pohled
- Základní krok je nasadit chroustače PBS logů, LB server, JPPS (a JPIS) a rozumně je provozně zabezpečit (cílem je funkční řetězec pro sběr a ukládání dat, který je součástí běžného provozu METACentra, nikoli experimentem - s tím souvisí role provozu METACentra, potřeba dokumentace, monitoringu, apod.).
- Poté navrhnout a realizovat rozšíření PBS skriptů, kousání pravděpodobně celého skriptu jobu do LB&JP, plug-in, který ze skriptu udělá LB(?) atributy.
- V druhém sledu začít pracovat na nějaké formě přístupu k datům, nejlépe přes jeden interface (portál?), asi formou prvního prototypu onoho kýženého job browseru.
[edit]
Hlavní komponenty
- PBS
- Provozní PBSka METACentra (chodí přes ní všechny joby)
- Schopnost přijímat joby se speciálními příkazy ve skriptu, které definují user tagy (není třeba nijak zařizovat).
- Chroustač LB logů
- Nejdříve nasadit ve verzi z dema bez úprav.
- Vyzkoušet na experimentální PBS a poté nasadit na provozní (jen čte logy, jinak žádná interakce).
- Existuje balíček s návodem (tar) a předán do provozu METACentra (Z.Salvet).
- Zpracovat následně i staré PBS logy.
- Následně udělat úpravy chroustače
- Stroj Airen
- Submit file z PBSky nacpat jako JDL do LBka.
- Ze submit file vyndat tagy a udělat z nich LB tagy.
- LB server
- dedikovaný skirit43 Debian (32bit)
- HEAD, kompilace (Ljocha) mimo etics.
- Balíček konkrétní verze (tagy), přidělat monitoring (Nagios) (Z.Salvet).
- JP importer - samostatný balíček tagovaný stejně jako JP balíčky.
- Máme instalovaný a běží LB server.
- JPPS server
- JP 1.0 (pro debian), umbar (upgradovaný na 64b debian)
- JP debian balíček (tagy, včetně importeru) hotovo (Fila)
- Klientská strana - JP browser
- V této fázi jsou data určena pouze úzké skupině uživatelů (správci, nikoli běžní uživatelé METACentra).
- První prototyp browseru - jak má vypadat?
- Submitovací strana - Charon
- Slávek
- Příprava PBSkového skriptu s JP tagy
[edit]
Konkrétní aktuální úkoly a zodpovědnosti
- Testování LBka a chroustače [Z.Salvet]
- Monigoring LBka (Nagios) [Z.Salvet]
Plánovaná schůzka projektu:
[edit]
Další předpokládané kroky
- Chroustač - skripty z PBSky a jejich chroustání do LBka [Z.Šustr, Slávek]
- Test celého řetězce pro Nagios
