30 lat na rynku
16 sierpnia 2021
Nowoczesna metodologia DataOps
Humansoft Blog Nowoczesna metodologia DataOps
16 sierpnia 2021

Nowoczesna metodologia DataOps

Qlik Data Integration Platform jako narz─Ödzie lepszej analizy danych

Udost─Öpnienie metodologii DataOps dla danych gotowych do analizy.

Data Integration Platform firmy Qlik (wcze┼Ťniej Attunity Solutions) umo┼╝liwia w czasie rzeczywistym automatyzacj─Ö strumieniowania, katalogowania i publikowania danych. Dzi─Öki temu znalezienie i selekcja danych, a nast─Öpnie ich wykorzystanie jest proste i szybkie.

W dzisiejszym hiper-konkurencyjnym klimacie biznesowym, podejmowanie decyzji w czasie rzeczywistym ma wymiar krytyczny. W odr├│┼╝nieniu od tradycyjnego przenoszenia danych w trybie wsadowym i przy pomocy skrypt├│w ETL, kt├│re jest powolne, nieelastyczne i pracoch┼éonne, platforma Qlik automatyzuje tworzenie strumieni danych z kluczowych system├│w transakcyjnych. W spos├│b wydajny przenosi dane do aplikacji, hurtowni lub jezior danych ÔÇô tak w firmowym ┼Ťrodowisku jak i w chmurze ÔÇô i od razu udost─Öpnia je w postaci katalogu przypominaj─ůcego sklep internetowy. Dzi─Öki platformie u┼╝ytkownicy uzyskuj─ů sp├│jny i elastyczny dost─Öp do danych, niezb─Ödny do odkrywania informacji przek┼éadaj─ůcych si─Ö na wzrost warto┼Ťci biznesu.

Konsumenci danych potrzebuj─ů wi─Ökszej dost─Öpno┼Ťci danych w czasie rzeczywistym. Wiele z istniej─ůcych rozwi─ůza┼ä i technologii nie jest sobie w stanie poradzi─ç z ci─ůgle rosn─ůcymi wymaganiami, zwi─Ökszaj─ůc stopie┼ä komplikacji i tworz─ůc w─ůskie gard┼éa w procesach przetwarzania danych.

Metodologia DataOps to usprawnienie procesu integracji danych. Wzoruj─ůc si─Ö na metodologii DevOps ÔÇô kt├│ra ┼é─ůczy rozw├│j oprogramowania (Dev) z dzia┼éaniami IT (Ops) dla usprawnienia szybko┼Ťci, jako┼Ťci, przewidywalno┼Ťci i skalowalno┼Ťci rozwoju oraz wdra┼╝ania oprogramowania ÔÇô metodologia DataOps koncentruje si─Ö na praktykach i technologiach tworzenia i modernizacji potok├│w danych, aby zaspokoi─ç gwa┼étownie rosn─ůce potrzeby biznesowe.

Automatyzacja hurtowni danych

Potrzeby biznesowe s─ů w stanie ci─ůg┼éego rozwoju. Zestawy danych s─ů za┼Ť coraz bardziej zr├│┼╝nicowane. Aby spe┼éni─ç wymagania natychmiastowego dost─Öpu do przygotowanych dla analizy danych, Qlik Data Integration Platform automatyzuje ca┼éy cykl ┼╝ycia hurtowni danych.

Wczytywanie i aktualizacja danych w czasie rzeczywistym

Przechwytywanie Zmiany Danych (Change Data Capture) odpowiada za przesyłanie danych do hurtowni w czasie rzeczywistym z szerokiego spektrum heterogenicznych baz i jezior danych oraz innych źródeł przedsiębiorstwa jak: mainframe czy SAP.

  • Strumienie PZD (CDC)
  • Uniwersalne ┼║r├│d┼éa, cele i platformy
  • Monitoring i kontrola na skal─Ö ca┼éego przedsi─Öbiorstwa

Automatyczne i ci─ůg┼ée ulepszanie

Qlik automatyzuje projektowanie hurtowni, generowanie kodu ETL i wdra┼╝anie aktualizacji ÔÇô wszystko to przy zachowaniu najlepszych praktyk. Platforma szybko przeprowadza kompleksowe zadania federacji, modelowania i transformacji danych, kt├│re mog─ů zosta─ç wykonane w ka┼╝dej skali. Ujednolicona konsola synchronizacji i zarz─ůdzania umo┼╝liwia wykonanie odpowiednich czynno┼Ťci w ┼Ťrodowisku firmowym lub chmurze, niezale┼╝nie od rozmiaru danych.

  • Oparty o model danych inteligentny przep┼éyw pracy
  • Zautomatyzowana generacja skrypt├│w ETL, obs┼éugi p├│l i marketu danych
  • Zarz─ůdzanie modyfikacjami instalacji
  • Rejestrowanie nowych zestaw├│w danych w katalogu do natychmiastowego u┼╝ycia

Tworzenie jezior danych

U┼╝ytkownicy biznesowi potrzebuj─ů pewno┼Ťci, ┼╝e ich dane s─ů dok┼éadne, aktualne i wiarygodne dla analizy. Qlik Data Integration for Data Lake Creation automatyzuje proces zarz─ůdzania danymi. Udost─Öpnia konsumentom silne narz─Ödzia do odnajdywania, zrozumienia i wykorzystania danych w kontek┼Ťcie ich unikalnych potrzeb i uprawnie┼ä systemowych. Umo┼╝liwia tak┼╝e in┼╝ynierom danych na szybkie dodawanie nowych ┼║r├│de┼é i zapewnienie skuteczno┼Ťci dzia┼éania potok├│w danych ÔÇô od wczytywania danych w czasie rzeczywistym do ich wzbogacania, udost─Öpniania i nadzoru nad nimi. Funkcjonalno┼Ťci z zakresu bezpiecze┼ästwa danych s─ů wygodne do administrowania, nawet w przypadku wykorzystania bardzo wielu ustawie┼ä dla wielu u┼╝ytkownik├│w, ┼║r├│de┼é danych lub przy skomplikowanej infrastrukturze.

Strumienie danych w czasie rzeczywistym

Przechwytywanie Zmiany Danych (Change Data Capture) odpowiada za przesyłanie danych do jeziora w czasie rzeczywistym z szerokiego spektrum heterogenicznych baz danych, hurtowni i innych źródeł przedsiębiorstwa jak: mainframe czy SAP.

  • Strumienie PZD (CDC)
  • Uniwersalne ┼║r├│d┼éa, cele i platformy
  • Monitoring i kontrola na skal─Ö ca┼éego przedsi─Öbiorstwa

Zaufane dane dla całego przedsiębiorstwa

Qlik buduje bezpieczny katalog dla ca┼éego przedsi─Öbiorstwa, kt├│ry obejmuje wszystkie dane tak w jeziorze, jak i w ca┼éym przekroju organizacji, niezale┼╝nie gdzie one si─Ö znajduj─ů. U┼╝ytkownicy biznesowi otrzymuj─ů dost─Öp do jednego marketu, w kt├│rym mog─ů wyszukiwa─ç, analizowa─ç i wykorzystywa─ç jakiekolwiek ┼║r├│d┼éo danych przedsi─Öbiorstwa do wyci─ůgni─Öcia po┼╝ytecznych informacji.

  • Elastyczny, zintegrowany katalog danych
  • Bezpiecze┼ästwo i nadz├│r nad danymi
  • Wsp├│┼épraca u┼╝ytkownik├│w biznesowych z informatykami

Automatyczne i ci─ůg┼ée ulepszanie

Qlik standaryzuje i ┼é─ůczy strumienie zmian danych w jeden, gotowy do dalszych transformacji, zas├│b danych w jeziorze. Automatycznie scala dane z wielu tablic lub wielu ┼║r├│de┼é wykorzystuj─ůc elastyczny format, kt├│ry przechowuje ca┼é─ů histori─Ö. W rezultacie konsumenci danych maj─ů szybki dost─Öp do zaufanych danych bez potrzeby rozpoznawania automatycznej struktury ich przetwarzania.

  • Automatyzacja i synchronizacja potok├│w danych
  • Trwa┼ée ┼Ťrodowisko z automatyczn─ů napraw─ů b┼é─Öd├│w
  • Wysoka skalowalno┼Ť─ç przygotowania i dostarczania danych

Strumieniowanie Przechwytywania Zmiany Danych (Change Data Capture)

Qlik Data Integration Platform u┼╝ywa Przechwytywania Zmiany Danych (Change Data Capture) do efektywnego dostarczania gotowych do analizy danych z szerokiego wachlarza ┼║r├│de┼é do hurtowni danych, jezior, strumieni i platform w chmurze. PZD zapewnia, ┼╝e aktualno┼Ť─ç danych jest ci─ůg┼éa a systemy ┼║r├│d┼éowe nie s─ů obci─ů┼╝ane dodatkowymi procesami.

PZD (CDC)

Qlik przesy┼éa dane w czasie rzeczywistym za pomoc─ů graficznego interfejsu, kt├│ry kompletnie automatyzuje replikacj─Ö na drodze od ┼║r├│d┼éa do celu. Umo┼╝liwia to in┼╝ynierom wygodne ustawianie, kontrolowanie i monitorowanie potok├│w danych.

  • Procesowanie w oparciu o logi, bez oprogramowania typu agent
  • Rozwi─ůzanie nie wymaga tworzenia jakiejkolwiek architektury
  • Zoptymalizowane dla chmury

Monitoring i kontrola na skal─Ö przedsi─Öbiorstwa

Projekt, wykonanie i monitorowanie tysi─Öcy zada┼ä integracji w rozproszonym systemie centr├│w danych i ┼Ťrodowiskach chmurowych. Wygodne skalowanie i monitorowanie przep┼éywu danych w czasie rzeczywistym dzi─Öki wska┼║nikom KPI oraz alertom.

  • Scentralizowane zarz─ůdzenie
  • Zoptymalizowana wydajno┼Ť─ç i wykorzystanie zasob├│w
  • Otwarte API dla REST i .NET

Uniwersalne źródła, cele i platformy

Qlik wspiera najszerszy zakres obiekt├│w ┼║r├│d┼éowych i docelowych, co umo┼╝liwia ┼éadowanie, wczytywanie, migrowanie, dystrybuowanie, konsolidowanie oraz synchronizowanie danych tak w ┼Ťrodowisku firmowym, jak i w chmurze oraz ┼Ťrodowiskach hybrydowych.

  • Relacyjne bazy danych: Oracle, SQL, DB2, MySQL, Sybase, PostgreSQL
  • Hurtownie danych: Snowflake, Azure Synapse, Exadata, Teradata, IBM Netezza, Vertica, Pivotal, MS SQL
  • Chmura: AWS, Azure, Google Cloud, Databricks
  • Hadoop: Apache, Cloudera, MapR
  • Aplikacje strumieniowania: Apache Kafka, Confluent
  • Aplikacje dedykowane: SAP, Salesforce
  • Systemy starsze: IMS/DB, DB2 z/OS, RMS, VSAM, COBOL
Qlik Data Integration Platform dostarcza wszystko, co jest potrzebne aby zako┼äczy─ç sukcesem nawet najbardziej wymagaj─ůc─ů kwesti─Ö integracji danych w skali przedsi─Öbiorstwa.

Qlik ReplicateÔäó (wcze┼Ťniej Attunity Replicate)

Automatyczna, uniwersalna dostawa danych w czasie rzeczywistym

  • Przechwytywanie Zmiany Danych (PZD ÔÇô Change Data Capture) na wszechstronnej platformie wsparcia dla system├│w ┼║r├│d┼éowych i docelowych
  • Wielkie ilo┼Ťci heterogenicznych danych z system├│w ┼║r├│d┼éowych
  • Dostawa danych w czasie rzeczywistym dla platform w chmurze, hurtowni i jezior danych

Qlik ComposeÔäó (wcze┼Ťniej Attunity Compose)

Automatyczne tworzenie market├│w z danymi gotowymi do analizy i struktur jezior danych

  • Elastyczna automatyzacja oparta na modelu danych bez potrzeby tworzenia skryptu
  • Ci─ůg┼éa integracja dla zapewnienia pe┼énej aktualno┼Ťci danych
  • Odporno┼Ť─ç na zmiany w schematach danych ┼║r├│d┼éowych
  • Samoobs┼éugowe tworzenie zestaw├│w danych

Qlik Enterprise ManagerÔäó (wcze┼Ťniej Attunity Enterprise Manager)

Centrum zarz─ůdzania dla skalowalnego konfigurowania, wykonywania i monitorowania potok├│w danych

  • Zarz─ůdzanie i integracja metadanych
  • Kompletny nadz├│r i zabezpieczenie danych
  • Otwarte API

Qlik Data CatalystÔäó

Upraszcza i przy┼Ťpiesza katalogowanie, zarz─ůdzanie, przygotowanie i dostarczanie danych biznesowych do narz─Ödzi analitycznych

  • Pe┼éne profilowanie danych i automatyczne wstawianie etykiet
  • Jeden, uproszczony widok pe┼énych danych, w tym linii pochodzenia danych
  • Prosty interfejs graficzny ÔÇ×przesu┼ä i upu┼Ť─çÔÇŁ dla przygotowania nowych komplet├│w danych, w┼é─ůczaj─ůc w to ┼é─ůczenie zestaw├│w, filtrowanie wierszy i kolumn oraz transformacje danych
  • Dost─Öp do danych na ┼╝─ůdanie
  • Zarz─ůdzanie danymi w skali przedsi─Öbiorstwa, w tym szyfrowanie, zaciemnianie i kontrola dost─Öpu do danych w oparciu o uprawnienia u┼╝ytkownika
Ewa Rut-Skrzypczak
Ewa Rut-Skrzypczak

Dyrektor Dzia┼éu Business Intelligence oraz Cz┼éonek Zarz─ůdu w firmie Humansoft.

Od ponad 20 lat zwi─ůzana zawodowo z bran┼╝─ů IT. Posiada 12-letnie do┼Ťwiadczenie w obszarze Business Intelligence. Koordynator wielu kompleksowych projekt├│w wdro┼╝eniowych system├│w Business Intelligence dla firm z bran┼╝y FMCG oraz sektora energetycznego, petrochemicznego i finansowego. Prelegentka i autorka wielu wyst─ůpie┼ä i publikacji na temat Business Intelligence.

Zobacz wszystkie wpisy autora
Przeczytaj tak┼╝e
04 lipca 2022
Qlik ÔÇô ponownie najwydajniejszym rozwi─ůzaniem BI na ┼Ťwiecie!
Zobacz wi─Öcej
11 pa┼║dziernika 2022
CUSTOMER STORY: Natychmiastowe zdobywanie ┼Ťwiadomo┼Ťci biznesowej w bran┼╝y spo┼╝ywczej
Zobacz wi─Öcej
06 grudnia 2022
CUSTOMER STORY: Qlik pomaga zwi─Ökszy─ç wydajno┼Ť─ç operacyjn─ů sieci sklep├│w
Zobacz wi─Öcej