Analityka oparta na zaufanych, gotowych do użycia danych – Qlik Catalog

Qlik Catalog (Qlik Data Catalyst®) buduje bezpieczne repozytorium na skalę przedsiębiorstwa obejmujące wszystkie dane w organizacji dostępne dla analityki. Udostępnia konsumentom danych jeden, wspólny katalog do wyszukiwania, zrozumienia i wyciągania informacji z wszystkich zasobów przedsiębiorstwa. Narzędzia przygotowania danych i obsługi metadanych służą do transformacji „surowych” danych w gotowe do analizy zestawy, a interaktywny katalog danych (Smart Data Catalog) i graficzny interfejs użytkownika (GUI) umożliwiają wygodne wyszukiwanie i wybieranie potrzebnych danych. Zbudowany na platformie zapewniającej zwiększone bezpieczeństwo danych i udostępniającej funkcjonalności nadzoru danych, Qlik Catalog (Qlik Data Catalyst®) może zostać w prosty sposób zintegrowany z innymi narzędziami do zarządzania danymi, w celu uzyskania pełnej skalowalności, rzetelności i wydajności w obsłudze danych.

Elastyczność obsługi i skalowanie danych dla nowoczesnej analityki

Wszystkie dane w jednym, przejrzystym widoku

Dzięki Qlik Catalog (Qlik Data Catalyst®) konsumenci danych w całej organizacji otrzymują dostęp na żądanie do przygotowanych danych w postaci zintegrowanego i bezpiecznego katalogu danych przedsiębiorstwa – marketu danych. Elastyczna funkcjonalność umożliwia na podjęcie decyzji, które dane są kopiowane do zasobu Qlik Catalog, a które zostają na oryginalnym miejscu, przy czym, niezależnie od przypadku, są one w pełni udokumentowane w interaktywnym katalogu danych. Wsparcie dla instalacji na własnym środowisku, w chmurze, albo dla rozwiązań hybrydowych, umożliwia wybór miejsca składowania, przygotowania i dostarczania danych.

Gotowe dane na żądanie

Qlik Catalog (Qlik Data Catalyst®) jest platformą samoobsługi danych, która zapewnia ich przejrzystość, wiarygodność i dostępność dla analizy przez użytkowników biznesowych. Walidacja, profilowanie i mierniki jakości dokumentują dokładnie zawartość i jakość każdego źródła danych, a wygodne w użyciu narzędzia przygotowania danych pozwalają użytkownikom szybko transformować „surowe” dane w gotowe do analizy zestawy. Dzięki Qlik Catalog dane są gotowe na żądanie i mogą trafić do analityków, aplikacji, algorytmów nimi zasilanych, czy też innych konsumentów w ciągu minut, a nie miesięcy.

Wielokrotne wykorzystanie i wspólna praca na danych

Zachowując i katalogując nowe zestawy i łańcuchy przetwarzania danych podczas ich generacji, Qlik Catalog daje możliwość wielokrotnego wykorzystania przygotowanych uprzednio danych, także jako elementów bardziej złożonych struktur. Ponowne użycie danych zmniejsza koszty ich przetwarzania i przyśpiesza dostawę do nowych konsumentów. Zarówno specjaliści IT, eksperci jakości danych, jak i użytkownicy biznesowi mają możliwość uczynienia zestawów danych bardziej zrozumiałymi i użytecznymi dzięki udostępnianiu swoich uwag przy użyciu metadanych biznesowych, etykiet, opisów tekstowych czy też określając standardowe lub definiowane właściwości.

Zarządzanie danymi w skali przedsiębiorstwa

Wymogiem koniecznym dla zapewnienia skalowalności marketu danych jest wdrożenie odpowiednich polityk przedsiębiorstwa w zakresie zabezpieczenia danych i właściwego ich użycia. Qlik Catalog wykorzystuje metadane do określenia, wdrożenia i monitorowania polityki danych i praktyki ich wykorzystania od momentu wprowadzenia danych do systemu. Zapewnia pełny zakres funkcjonalności zarządzania danymi w skali przedsiębiorstwa: wysokie bezpieczeństwo, nadzór, wydajność, interoperacyjność, skalowalność i wiarygodność danych.

Kluczowe znaczenie metadanych

Metadane odgrywają centralną rolę w Qlik Catalog wykraczając daleko poza proste dokumentowanie danych w postaci zwykłego katalogu lub ich klasyfikacji. Zebrane w interaktywnym katalogu danych (Smart Data Catalog) są siłą napędową procesów zarządzania danymi i wielu kluczowych funkcjonalności rozwiązania. Metadane są używane do strukturyzowania, dokumentowania, zabezpieczania i zarządzania danymi, aby zapewnić użytkownikom dobrze zorganizowany market danych zamiast nieuporządkowanego zbiorowiska. Zespoły informatyków, ekspertów jakości danych i zwykli użytkownicy wykorzystują metadane do wyszukiwania, zrozumienia, wzbogacania i pracy z danymi w markecie. Ponadto, zespoły integratorów danych używają interfejsy API do automatyzacji sprzęgania procesów przepływu danych w Qlik Catalog z innymi systemami przedsiębiorstwa, zapewniając wysoką skalowalność rozwiązania.

Główne funkcjonalności

Ładowanie danych

Qlik Catalog (Qlik Data Catalyst®) automatycznie profiluje i dokumentuje dokładną zawartość, strukturę i jakość danych całego przedsiębiorstwa wtedy, gdy są one rejestrowane w markecie. W ramach procesu ładowania danych Qlik Catalog generuje bogate metadane umożliwiając dodanie nowych źródeł do interaktywnego katalogu danych (Smart Data Catalog). Istnieje możliwość wyboru czy dane są wprowadzane do własnego magazynu Qlik Catalog (Qlik Data Catalyst®), czy też przechowywane tylko w źródle. W każdym przypadku użytkownicy mają pełny dostęp do bogatego profilu danych w katalogu. Wbudowane sterowniki upraszczają proces ładowania danych i zapewniają wsparcie szerokiej gamy typów źródeł i lokacji, w tym relacyjnych baz danych, aplikacji mainframe, plików płaskich, plików JSON, XML, Parquet, Avro, plików Qlik QVD, a także źródeł chmurowych: AWS S3, Azure ADLS/WASB i kolejek Kafki.

Wzbogacanie katalogu

Qlik Catalog (Qlik Data Catalyst®) tworzy interaktywny katalog danych (Smart Data Catalog), który dokumentuje każdy aspekt danych i procesów ich przetwarzania. W miarę jak użytkownicy przeszukują i eksplorują katalog, to techniczne, biznesowe i operacyjne metadane są wzbogacane, a przez to poszczególne elementy danych są bardziej zrozumiałe, transparentne, wiarygodne i dostępne.

Przygotowanie danych

Qlik Catalog (Qlik Data Catalyst®) czyni dane gotowymi do analizy dzięki procesom ich organizowania oraz wzbogacenia za pomocą standaryzacji, czyszczenia, transformacji i zabezpieczania. Zaczynając od czystych, dobrze udokumentowanych „surowych” danych utworzonych w procesie ładowania, użytkownicy mają możliwość wygodnego standaryzowania, wzbogacania, łączenia i filtrowania danych przy wykorzystaniu graficznego interfejsu – bez potrzeby kodowania. To otwiera szerokie pole możliwości dla wszystkich użytkowników – od użytkownika biznesowego do naukowca danych – w zakresie dostępu do danych na żądanie i tworzenia ich zestawów dopasowanych do indywidualnych potrzeb.

Wybór i publikacja danych

Qlik Catalog (Qlik Data Catalyst®) udostępnia dane dla wygodnego i bezpiecznego wykorzystania przez wszystkich użytkowników. Wspiera jednorazowe eksportowanie i rekurencyjne, automatyczne publikowanie dedykowanych zestawów danych dla końcowych konsumentów, włączając w to platformy analityczne, aplikacje (w tym Qlik Sense®), albo magazyny w chmurze. Prosta integracja z harmonogramami zadań i wbudowane logowanie zdarzeń oraz notyfikacji, umożliwiają zadaniom Qlik Catalog (Qlik Data Catalyst®) bezproblemowo wpisywać się w szerszy kontekst przepływu danych i schematy integracji aplikacji. Wrażliwe pola są automatycznie zaciemniane, aby zapewnić bezpieczeństwo danych. Ponadto, Qlik Catalog umożliwia definiowanie formatowania rekordów, formatu plików i innych parametrów określających ostateczny wygląd publikowanych danych.

Nowoczesne zarządzanie danymi w przedsiębiorstwie

Qlik Catalog (Qlik Data Catalyst®) to rozwiązanie, które bazuje na technologii Java i działa w nowoczesnych środowiskach magazynowania danych i platform obliczeniowych, wliczając w to: Hadoop, Amazon Web Services, Microsoft Azure i Google Cloud Platform. Wykorzystując te platformy do przechowywania i przeliczania danych, Qlik Catalog zapewnia dodatkowe warstwy funkcjonalności do ładowania, wyszukiwania, przygotowania i dostarczania wiarygodnych i dostępnych danych całego przedsiębiorstwa dla ich konsumentów. To rozwiązanie obejmuje także wspólne środowisko usług wspierających zintegrowane zarządzanie danymi, w tym ich bezpieczeństwem, nadzór danych i zarządzanie metadanymi, a zatem wszystkie usługi składające się na platformę usług danych (data-as-a-service).

Interfejs użytkownika i Moduły

Wszystkie funkcjonalności Qlik Catalog – w tym ładowanie danych, katalogowanie, przygotowanie, ich wybór i publikowanie – są dostępne z poziomu intuicyjnego interfejsu użytkownika w przeglądarce. Każde działanie użytkownika na tym poziomie wywołuje odpowiednie zachowanie repozytorium metadanych oraz warstwy usług.

Wspólne środowisko bezpieczeństwa i nadzoru danych

Qlik Catalog (Qlik Data Catalyst®) dostarcza wspólne środowisko bezpieczeństwa, nadzoru i obsługi metadanych, które pozwala chronić dane, zarządzać uprawnieniami użytkowników i śledzić ich aktywność w każdym czasie. Spójne zastosowanie zunifikowanego zestawu praktyk zarządzania danymi upraszcza administrację platformą i zapewnia skalowalność zabezpieczania i nadzoru nad danymi.

Repozytorium metadanych

Qlik Catalog (Qlik Data Catalyst®) repozytorium metadanych ma postać relacyjnej bazy danych, która utrzymuje i zarządza wszystkimi metadanymi zebranymi i wygenerowanymi na każdym kroku procesu zarządzania danymi przedsiębiorstwa. To bezpieczne centrum wymiany metadanych z innymi aplikacjami i modułami, które wykorzystują lub zbierają metadane.

Usługi Qlik Catalog (Qlik Data Catalyst®)

Qlik Catalog (Qlik Data Catalyst®) jako system oparty o technologię Java oraz wykorzystanie metadanych, wykonuje swoje operacje na danych takie jak ładowanie (zawiera zautomatyzowane: walidację, profilowanie i zarządzanie historią danych), tworzenie i zarządzanie metadanymi, a także przygotowanie danych. Są one procesowane na warstwie infrastruktury przechowywania i przeliczania danych, czyniąc usługi Qlik Catalog  „bardzo lekkimi”.

Szybkie przejście do nowoczesnego zarządzania danymi

Dzięki Qlik Catalog (Qlik Data Catalyst®) dostarczanie użytkownikom biznesowym danych przygotowanych do analizy jest szybkie i proste. Daje to sposobność większej liczbie osób w organizacji na wykorzystanie analiz do odkrywania nowych informacji i formułowania wniosków, które zmienią funkcjonowanie organizacji.

Możliwości zastosowania:

Elastyczna analityka

Przyśpieszenie procesów analitycznych dzięki samoobsłudze w dostępie do gotowych danych

Dane przedsiębiorstwa na żądanie

Udostępnienie użytkownikom biznesowym gotowych danych całego przedsiębiorstwa dzięki nowoczesnej platformie zarządzania danymi

Szybsze przygotowanie danych

Przejście z procesów ETL do nowoczesnego, szybkiego przygotowania i dostarczania  danych

Nadzór nad danymi

Zapewnienie biznesowi wysokiej jakości nadzoru nad danymi

Dane mainframe dla nowoczesnej analizy

Modernizacja skomplikowanych zestawów danych opartych o Cobol

Katalogowanie i udostępnianie plików Qlik QVD

Wyszukiwanie i dystrybucja danych z plików QVD w każdej aplikacji, nie tylko Qlik Sense®

Qlik Catalog (Qlik Data Catalyst®) wspiera elastyczne analizy danych w Qlik Sense® – LINK DO ARTYKUŁU