ducal.pl - IT to nasza pasja

 

OLAP Admin

System „OLAP Admin” jest zaawansowanym narzędziem przeznaczonym dla przedsiębiorstw borykających się z brakiem narzędzia umożliwiającego synchronizacje procesów ETL. System „OLAP Admin” dedykowany jest dla platformy Misrosoft SQL Server Integration Services choć mógłby zostać zastosowany także w innych rozwiązaniach.

Na czym polega problem synchronizacji procesów ETL:
  • Pojawia się w każdym większym projekcie ETL, w którym są zależności między procesami, a całego procesu nie można zapisać w jednym pakiecie
    • Zbyt duża złożoność
    • Trudność w utrzymaniu
    • Nieskalowalnosć
    • Nieelastyczności
    • Różna dostępność systemów
  • Z braku generycznych gotowych rozwiązań, programiści synchronizują pakiety własnymi indywidualnymi metodami
    • Złożoność
    • Dodatkowe koszty
    • Trudność w utrzymaniu
    • Brak uniwersalności
Przykładowy scenariusz problemu trudno rozwiązywalnego bez narzędzia do synchronizacji procesów ETL:
  • pakiet P1, ładuje dane z tabeli A do tabeli D w każdą środę
  • pakiet P2, ładuje dane z tabeli B do tabeli E w każdy czwartek, ładowanie to może zostać wykonane tylko gdy zakończyło się sukcesem środowe ładowanie tabeli D
  • pakiet P3, ładuje do tabeli F dane wyliczone z tabel D i E, ładowanie to może zostać wykonane tylko gdy zakończyło się sukcesem ładowanie tabel D i E i jest po północy
  • każde uruchomienie pakietu może się nie powieść, w takiej sytuacji musi zostać automatycznie powtórzone po upływie określonego parametrem czasu
  • jeśli któryś z pakietów nie uruchomił się gdyż nie zakończył się sukcesem pakiet od niego zależny, musi zostać uruchomiony natychmiast po udanym zakończeniu działania wszystkich pakietów od niego zależnych
  • To jeszcze można by jakoś rozwiązać, ale co jak tabel jest parę tysięcy, mamy ograniczone czasy i dostępności systemów?

Cechy narzędzia „OLAP Admin”:

  • Przekazywanie w generyczny sposób parametrów do pakietów, w szczególności takich jak okres przetwarzania
  • Budowanie zależności między pakietami – warunki
  • Automatyczne tworzenie kolejnych zleceń
    • Uniwersalny sposób wyliczania parametrów
  • Systemy mogą być niedostępne – trzeba to obsłużyć
    • Automatyczne restartowanie
  • Określanie harmonogramu wykonywania zleceń
  • Przekazywanie dodatkowych parametrów
    • Na przykład łańcuchy połączeniowe do baz danych
  • Wspólne logowanie przebiegu wykonywania pakietów
  • Jedna centralna aplikacja administracyjna
  • Określenie maksymalnego czasu działania pakietu
  • Wersjonowanie pakietów, przenoszenie
  • Określenie powiązań z obiektami źródłowymi/docelowymi
  • System powinien być bezobsługowy
 
Poniższy ekran prezentuje przykładowy widok głównego ekranu systemu „OLAP Admin”.
 
 

 

Reklamy Google:

Zaufali nam:

 i inni....