Przyśpiesz przesyłanie danych i podejmowanie decyzji w przedsiębiorstwie

Qlik Replicate™ jako narzędzie integracji danych w czasie rzeczywistym

Sposób podejmowania decyzji w firmach ulega zmianom. Raportowanie historycznych transakcji i statyczna analiza danych wsadowych ustępują miejsca analizie predykcyjnej i strumieniowej, nauczaniu maszynowemu (Machine Learning) i sztucznej inteligencji (Artificial Intelligence). Każda firma musi uwzględnić te nowe paradygmaty, aby podejmować w czasie rzeczywistym decyzje bazujące na pełniejszej informacji, a odnoszące się do optymalizacji działalności operacyjnej, zdobywania klientów i kapitalizacji nowych sposobności. W przeciwnym razie ryzykuje pozostanie w tyle za konkurencją.

To czego potrzeba to nowoczesna struktura danych – stąd też jako wiodące rozwiązania pojawiły się jeziora danych, strumieniowanie i platformy chmurowe. Wymagają one dobrego skalowania, szybkości i obsługi różnorodnych formatów danych, co jest poza zasięgiem tradycyjnych narzędzi. W jaki sposób można przeprowadzić transformację środowiska opartego na użyciu małowydajnych narzędzi wymagających ręcznego kodowania i angażujących najlepszych programistów, do postaci umożliwiającej elastyczne zarządzanie wydajnymi potokami danych?

Rozwiązaniem problemu jest Qlik Replicate™ (wcześniej Attunity Replicate). Jako platforma przeznaczona do nowoczesnego i wydajnego obsługiwania potoków danych, Qlik Replicate™ zapewnia w czasie rzeczywistym zautomatyzowaną i uniwersalną integrację danych w jeziorach danych, systemach strumieniowania, bazach i hurtowniach danych oraz systemach mainframe. Zarówno w środowiskach lokalnych, jak i w chmurze. Dzięki temu oprogramowaniu możliwe jest dostarczenie większej ilości gotowych do analizy danych. To wszystko przy redukcji zaangażowania i kosztów IT.

Qlik Replicate™ jest zupełnie inny niż inne rozwiązania. Szybko przenosi dane między systemami źródłowymi a docelowymi, jest wygodnie zarządzany przez interfejs graficzny, który automatyzuje replikację. Dzięki efektywnej konfiguracji nie wymagającej instalacji agenta, administratorzy i architekci danych mają możliwość szybkiego ustawiania, kontrolowania i monitorowania pełnych przeładowań oraz aktualizacji w czasie rzeczywistym przy wykorzystaniu wysokiej jakości implementacji technologii Przechwytywania Zmiany Danych (Change Data Capture). W efekcie uzyskują globalny ogląd danych i scentralizowaną kontrolę nad ich replikacją w rozproszonym, hybrydowym środowisku.

Łatwy do użycia i zautomatyzowany

Intuicyjna konsola dostępna przez przeglądarkę zapewnia wygodną konfigurację, kontrolę i monitorowanie zadań replikacji w odniesieniu do wszystkich systemów źródłowych i docelowych bez potrzeby dogłębnego zrozumienia środowiska i tworzenia skryptów. Inicjalne przeładowanie danych umożliwia automatyczne przejście do etapu ciągłej aktualizacji danych w trybie Przechwytywania Zmiany Danych (CDC). Qlik Replicate™ automatycznie generuje docelowe bazy danych w oparciu o definicje metadanych w schematach źródłowych. Jakiekolwiek zmiany w definicji danych schematu takie jak np.: dodanie tabel lub kolumn oraz zmiany typów danych, mogą być dynamicznie replikowane w systemach docelowych.

Inteligentne zarządzanie i kontrola

Qlik Enterprise Manager™ (wcześniej Attunity Enterprise Manager) umożliwia zarządzanie, wykonywanie i monitorowanie tysięcy zadań Qlik Replicate™ w rozproszonym środowisku danych i w chmurze. Wygodne skalowanie i monitorowanie przepływu danych w czasie rzeczywistym dostępne jest za pomocą wskaźników KPI i alertów. Tworzenie dedykowanych widoków odbywa się za pomocą grupowania, wyszukiwania, filtrowania i eksploracji kluczowych zadań w celu kontroli kompleksowych czynności replikacji w całym przedsiębiorstwie. W razie wystąpienia potrzeby jest możliwe wykorzystanie kompleksowej analityki do planowania zasobów i monitorowania wydajności, a także integracji z architekturą mikroserwisów przez API: REST i .NET.

Najbardziej uniwersalna obsługa platform na rynku

Qlik Replicate™ wspiera wszystkie główne systemy źródłowe i docelowe w obszarze replikacji danych. Relacyjne bazy danych, hurtownie danych, Hadoop, systemy strumieniowania, rozwiązania chmurowe i systemy mainframe są standardowo obsługiwane. Lata doświadczenia w zakresie innowacji i optymalizacji, a także programy strategicznego partnerstwa zapewniają integrację danych z tych platform w sposób bezproblemowy.

Korzyści

• Przyśpieszenie migracji danych i wykonania projektów analitycznych
• Ograniczenie wymaganych umiejętności i koniecznych szkoleń
• Zwiększenie elastyczności i reaktywności na potrzeby biznesowe

Przypadki użycia w skali przedsiębiorstwa

• Zasilanie jezior danych
• Strumieniowanie danych przy użyciu Kafki
• Modernizacja danych mainframe przy użyciu platform Big Data
• Analityka w środowisku chmurowym dzięki obsłudze procesów hurtowni danych w czasie rzeczywistym, redukcji obciążenia systemów transakcyjnych i raportowaniu na żywo

Kluczowe funkcjonalności

• Zaawansowane Przechwytywanie Zmiany Danych (Change Data Capture) w architekturach: transakcyjnej, strumieniowej i wsadowej
• Scentralizowany, prosty i intuicyjny interfejs użytkownika
• Zautomatyzowana replikacja od źródła do celu
• Połączenia do wszystkich środowisk bez użycia oprogramowania agenta
• Najbardziej uniwersalna obsługa platform na rynku – wszystkie główne relacyjne bazy danych i starsze systemy, hurtownie danych, Hadoop i platformy NoSQL, na własnych zasobach przedsiębiorstwa, jak i w chmurze

Bez ingerencji w architekturę bazową

Qlik Replicate™ to rozwiązanie, które zapewnia replikacje głównych systemów bazodanowych bez konieczności instalowania agenta. Wykorzystuje natywne narzędzia, zdalne skanery logów zmian i bezpieczne połączenia klienckie do eliminacji intruzyjnych struktur: agentów, wyzwalaczy i znaczników czasu w systemach źródłowych i docelowych. Dzięki temu znacząco redukuje obciążenie administracyjne i podnosi wydajność systemów produkcyjnych. Dla przykładu w środowiskach testowych używających IBM Data Server Driver do połączenia z DB2 z/OS osiągnięto znaczące korzyści w wydajności:

• 85% redukcję wykonywanych obliczeń wyrażonych w MSU
• 75% ograniczenie opóźnień w replikacji
• 95% zmniejszenie czasu ładowania danych (w porównaniu do rozwiązań wykorzystujących oprogramowanie agenta)

Bieżące aktualizacje danych

Elastyczna implementacja w Qlik Replicate™ technologii Przechwytywania Zmiany Danych (CDC) umożliwia wykorzystanie wielu opcji. Jedną z nich jest kopiowanie i dostarczanie danych o transakcjach w sposób sekwencyjny – w tej samej kolejności, w jakiej zostały użyte w źródle. Drugą jest tworzenie optymalizowanych wsadów zawierających zmiany, aby maksymalnie wykorzystać przepustowość i jednocześnie minimalizować opóźnienie w dostawie danych. Wreszcie istnieje możliwość integracji Qlik Replicate™ z natywnymi sterownikami hurtowni danych, a także strumieniowania danych.

Bezpieczny i  szybki transfer danych w chmurze

Qlik Replicate™ kompresuje, szyfruje i transferuje dane za pomocą równoległych strumieni do, przez lub z architektury chmurowej, włączając w to Amazon Web Services, Microsoft Azure i Google Cloud. Użytkownicy mają także możliwość przesyłu danych z jakiegokolwiek źródła do optymalizowanych dla chmury hurtowni danych Snowflake SQL.

Łatwe zasilanie danymi

Qlik Replicate™ umożliwia wysokowydajne ładowanie i publikowanie danych w ekosystemach jezior danych za pomocą natywnych API. Posiada certyfikaty wszystkich wiodących dystrybucji Hadoop, w tym: Cloudera, Hortonworks i MapR. Zapewnia transakcyjną spójność w strukturach Hadoop takich jak repozytoria danych Hive. Partycjonowanie aktualizacji według czasu daje możliwość holistycznego procesowania transakcji, eliminując tym samym ryzyko wystąpienia częściowych lub konkurencyjnych wpisów.

Uniwersalne strumieniowanie

Przy użyciu Qlik Replicate™ można w prosty sposób publikować wybrane zdarzenia z baz danych do wszystkich głównych usług strumieniowania takich jak: Kafka, Confluent, Amazon Kinesis, Azure Event Hub i MapR-ES. Wsparcie zapewniane jest dla strumieniowania wielotematycznego (multi-topic) i wieloczęściowego (multi-partition), a także dla elastycznych formatów plikowych JSON i AVRO. Jest także możliwość odseparowania danych od metadanych przy wykorzystaniu tematów, aby ułatwić integrację metadanych z różnych rejestrami schematów.

Wykorzystanie SAP Analytics

Oszczędzając czas i ograniczając problemy, Qlik Replicate™ for SAP bezpiecznie transferuje z systemów SAP dane, dokumenty i transakcje do Hadoop i innych platform zewnętrznych. Automatycznie uwzględnia skomplikowany system tekstów i opisów występujący w oprogramowaniu SAP i przekłada go na proste nazwy tabel i kolumn w systemach docelowych. Wspierane jest pozyskiwanie danych ze wszystkich głównych aplikacji SAP: ERP, HR, CRM, specjalizowanych aplikacji sektorowych, a także ładowanie danych do SAP HANA.