Nowoczesna metodologia DataOps

Qlik Data Integration Platform jako narzędzie lepszej analizy danych

Udostępnienie metodologii DataOps dla danych gotowych do analizy.

Data Integration Platform firmy Qlik (wcześniej Attunity Solutions) umożliwia w czasie rzeczywistym automatyzację strumieniowania, katalogowania i publikowania danych. Dzięki temu znalezienie i selekcja danych, a następnie ich wykorzystanie jest proste i szybkie.

W dzisiejszym hiper-konkurencyjnym klimacie biznesowym, podejmowanie decyzji w czasie rzeczywistym ma wymiar krytyczny. W odróżnieniu od tradycyjnego przenoszenia danych w trybie wsadowym i przy pomocy skryptów ETL, które jest powolne, nieelastyczne i pracochłonne, platforma Qlik automatyzuje tworzenie strumieni danych z kluczowych systemów transakcyjnych. W sposób wydajny przenosi dane do aplikacji, hurtowni lub jezior danych – tak w firmowym środowisku jak i w chmurze – i od razu udostępnia je w postaci katalogu przypominającego sklep internetowy. Dzięki platformie użytkownicy uzyskują spójny i elastyczny dostęp do danych, niezbędny do odkrywania informacji przekładających się na wzrost wartości biznesu.

Konsumenci danych potrzebują większej dostępności danych w czasie rzeczywistym. Wiele z istniejących rozwiązań i technologii nie jest sobie w stanie poradzić z ciągle rosnącymi wymaganiami, zwiększając stopień komplikacji i tworząc wąskie gardła w procesach przetwarzania danych.

Metodologia DataOps to usprawnienie procesu integracji danych. Wzorując się na metodologii DevOps – która łączy rozwój oprogramowania (Dev) z działaniami IT (Ops) dla usprawnienia szybkości, jakości, przewidywalności i skalowalności rozwoju oraz wdrażania oprogramowania – metodologia DataOps koncentruje się na praktykach i technologiach tworzenia i modernizacji potoków danych, aby zaspokoić gwałtownie rosnące potrzeby biznesowe.

Automatyzacja hurtowni danych

Potrzeby biznesowe są w stanie ciągłego rozwoju. Zestawy danych są zaś coraz bardziej zróżnicowane. Aby spełnić wymagania natychmiastowego dostępu do przygotowanych dla analizy danych, Qlik Data Integration Platform automatyzuje cały cykl życia hurtowni danych.

Wczytywanie i aktualizacja danych w czasie rzeczywistym

Przechwytywanie Zmiany Danych (Change Data Capture) odpowiada za przesyłanie danych do hurtowni w czasie rzeczywistym z szerokiego spektrum heterogenicznych baz i jezior danych oraz innych źródeł przedsiębiorstwa jak: mainframe czy SAP.

• Strumienie PZD (CDC)
• Uniwersalne źródła, cele i platformy
• Monitoring i kontrola na skalę całego przedsiębiorstwa

Automatyczne i ciągłe ulepszanie

Qlik automatyzuje projektowanie hurtowni, generowanie kodu ETL i wdrażanie aktualizacji – wszystko to przy zachowaniu najlepszych praktyk. Platforma szybko przeprowadza kompleksowe zadania federacji, modelowania i transformacji danych, które mogą zostać wykonane w każdej skali. Ujednolicona konsola synchronizacji i zarządzania umożliwia wykonanie odpowiednich czynności w środowisku firmowym lub chmurze, niezależnie od rozmiaru danych.

• Oparty o model danych inteligentny przepływ pracy
• Zautomatyzowana generacja skryptów ETL, obsługi pól i marketu danych
• Zarządzanie modyfikacjami instalacji
• Rejestrowanie nowych zestawów danych w katalogu do natychmiastowego użycia

Tworzenie jezior danych

Użytkownicy biznesowi potrzebują pewności, że ich dane są dokładne, aktualne i wiarygodne dla analizy. Qlik Data Integration for Data Lake Creation automatyzuje proces zarządzania danymi. Udostępnia konsumentom silne narzędzia do odnajdywania, zrozumienia i wykorzystania danych w kontekście ich unikalnych potrzeb i uprawnień systemowych. Umożliwia także inżynierom danych na szybkie dodawanie nowych źródeł i zapewnienie skuteczności działania potoków danych – od wczytywania danych w czasie rzeczywistym do ich wzbogacania, udostępniania i nadzoru nad nimi. Funkcjonalności z zakresu bezpieczeństwa danych są wygodne do administrowania, nawet w przypadku wykorzystania bardzo wielu ustawień dla wielu użytkowników, źródeł danych lub przy skomplikowanej infrastrukturze.

Strumienie danych w czasie rzeczywistym

Przechwytywanie Zmiany Danych (Change Data Capture) odpowiada za przesyłanie danych do jeziora w czasie rzeczywistym z szerokiego spektrum heterogenicznych baz danych, hurtowni i innych źródeł przedsiębiorstwa jak: mainframe czy SAP.

• Strumienie PZD (CDC)
• Uniwersalne źródła, cele i platformy
• Monitoring i kontrola na skalę całego przedsiębiorstwa

Zaufane dane dla całego przedsiębiorstwa

Qlik buduje bezpieczny katalog dla całego przedsiębiorstwa, który obejmuje wszystkie dane tak w jeziorze, jak i w całym przekroju organizacji, niezależnie gdzie one się znajdują. Użytkownicy biznesowi otrzymują dostęp do jednego marketu, w którym mogą wyszukiwać, analizować i wykorzystywać jakiekolwiek źródło danych przedsiębiorstwa do wyciągnięcia pożytecznych informacji.

• Elastyczny, zintegrowany katalog danych
• Bezpieczeństwo i nadzór nad danymi
• Współpraca użytkowników biznesowych z informatykami

Automatyczne i ciągłe ulepszanie

Qlik standaryzuje i łączy strumienie zmian danych w jeden, gotowy do dalszych transformacji, zasób danych w jeziorze. Automatycznie scala dane z wielu tablic lub wielu źródeł wykorzystując elastyczny format, który przechowuje całą historię. W rezultacie konsumenci danych mają szybki dostęp do zaufanych danych bez potrzeby rozpoznawania automatycznej struktury ich przetwarzania.

• Automatyzacja i synchronizacja potoków danych
• Trwałe środowisko z automatyczną naprawą błędów
• Wysoka skalowalność przygotowania i dostarczania danych

Strumieniowanie Przechwytywania Zmiany Danych (Change Data Capture)

Qlik Data Integration Platform używa Przechwytywania Zmiany Danych (Change Data Capture) do efektywnego dostarczania gotowych do analizy danych z szerokiego wachlarza źródeł do hurtowni danych, jezior, strumieni i platform w chmurze. PZD zapewnia, że aktualność danych jest ciągła a systemy źródłowe nie są obciążane dodatkowymi procesami.

PZD (CDC)

Qlik przesyła dane w czasie rzeczywistym za pomocą graficznego interfejsu, który kompletnie automatyzuje replikację na drodze od źródła do celu. Umożliwia to inżynierom wygodne ustawianie, kontrolowanie i monitorowanie potoków danych.

• Procesowanie w oparciu o logi, bez oprogramowania typu agent
• Rozwiązanie nie wymaga tworzenia jakiejkolwiek architektury
• Zoptymalizowane dla chmury

Monitoring i kontrola na skalę przedsiębiorstwa

Projekt, wykonanie i monitorowanie tysięcy zadań integracji w rozproszonym systemie centrów danych i środowiskach chmurowych. Wygodne skalowanie i monitorowanie przepływu danych w czasie rzeczywistym dzięki wskaźnikom KPI oraz alertom.

• Scentralizowane zarządzenie
• Zoptymalizowana wydajność i wykorzystanie zasobów
• Otwarte API dla REST i .NET

Uniwersalne źródła, cele i platformy

Qlik wspiera najszerszy zakres obiektów źródłowych i docelowych, co umożliwia ładowanie, wczytywanie, migrowanie, dystrybuowanie, konsolidowanie oraz synchronizowanie danych tak w środowisku firmowym, jak i w chmurze oraz środowiskach hybrydowych.

• Relacyjne bazy danych: Oracle, SQL, DB2, MySQL, Sybase, PostgreSQL
• Hurtownie danych: Snowflake, Azure Synapse, Exadata, Teradata, IBM Netezza, Vertica, Pivotal, MS SQL
• Chmura: AWS, Azure, Google Cloud, Databricks
• Hadoop: Apache, Cloudera, MapR
• Aplikacje strumieniowania: Apache Kafka, Confluent
• Aplikacje dedykowane: SAP, Salesforce
• Systemy starsze: IMS/DB, DB2 z/OS, RMS, VSAM, COBOL

Qlik Data Integration Platform dostarcza wszystko, co jest potrzebne aby zakończyć sukcesem nawet najbardziej wymagającą kwestię integracji danych w skali przedsiębiorstwa.

Qlik Replicate™ (wcześniej Attunity Replicate)

Automatyczna, uniwersalna dostawa danych w czasie rzeczywistym

• Przechwytywanie Zmiany Danych (PZD – Change Data Capture) na wszechstronnej platformie wsparcia dla systemów źródłowych i docelowych
• Wielkie ilości heterogenicznych danych z systemów źródłowych
• Dostawa danych w czasie rzeczywistym dla platform w chmurze, hurtowni i jezior danych

Qlik Compose™ (wcześniej Attunity Compose)

Automatyczne tworzenie marketów z danymi gotowymi do analizy i struktur jezior danych

• Elastyczna automatyzacja oparta na modelu danych bez potrzeby tworzenia skryptu
• Ciągła integracja dla zapewnienia pełnej aktualności danych
• Odporność na zmiany w schematach danych źródłowych
• Samoobsługowe tworzenie zestawów danych

Qlik Enterprise Manager™ (wcześniej Attunity Enterprise Manager)

Centrum zarządzania dla skalowalnego konfigurowania, wykonywania i monitorowania potoków danych

• Zarządzanie i integracja metadanych
• Kompletny nadzór i zabezpieczenie danych
• Otwarte API

Qlik Data Catalyst™

Upraszcza i przyśpiesza katalogowanie, zarządzanie, przygotowanie i dostarczanie danych biznesowych do narzędzi analitycznych

• Pełne profilowanie danych i automatyczne wstawianie etykiet
• Jeden, uproszczony widok pełnych danych, w tym linii pochodzenia danych
• Prosty interfejs graficzny „przesuń i upuść” dla przygotowania nowych kompletów danych, włączając w to łączenie zestawów, filtrowanie wierszy i kolumn oraz transformacje danych
• Dostęp do danych na żądanie
• Zarządzanie danymi w skali przedsiębiorstwa, w tym szyfrowanie, zaciemnianie i kontrola dostępu do danych w oparciu o uprawnienia użytkownika