30 lat na rynku
08 sierpnia 2021
Silnik asocjacyjny Qlik
Humansoft Blog Silnik asocjacyjny Qlik
08 sierpnia 2021

Silnik asocjacyjny Qlik

Obecnie niemal wszystkie dostępne na rynku narzędzia analityczne mają tę samą podstawową architekturę. Są one oparte na relacyjnych bazach danych i wykorzystują język SQL oraz podejście oparte na zapytaniach. Nie jest to jednak najlepsze rozwiązanie. Chociaż SQL jest wymagany do pobierania danych z wielu źródeł, to nigdy nie był projektowany do obsługi interaktywnych analiz i posiada ścisłe ograniczenia w zakresie dostępu do danych i ich eksploracji.

W narzędziach Business Intelligence opartych na zapytaniach SQL źródła danych należy powiązać za pomocą złączeń („joins”). Wcześniej jednak należy ustalić zakres pytań jaki będą mieli użytkownicy. Oznacza to, że do analiz wykorzystywane są tylko te dane, które odnoszą się do przewidzianych potrzeb informacyjnych. Wszystkie pozostałe dane nie są uwzględniane. Jeśli użytkownik odkryje coś interesującego i chce przeprowadzić dalszą analizę problemu, prawie na pewno zajdzie potrzeba modyfikacji pierwotnych zapytań SQL – co oznacza konieczność zaangażowania ekspertów danych. Nazywamy to cyklem „pytaj, czekaj, odpowiadaj”, gdzie każdy nowy typ pytania przekład się na okres oczekiwania.

Ograniczenia narzędzi opartych na zapytaniach SQL

Częściowe podzbiory danych
– Trudno zintegrować wiele różnych źródeł danych
– Zapytania SQL wykorzystują tylko część danych
– Dane muszą być wcześniej w pełni przygotowane

Ograniczona eksploracja liniowa
– Użytkownicy ograniczeni są do wstępnie zdefiniowanych ścieżek
– Wyniki zapytań oferują tylko częściowe widoki danych
– Nowe pytania i analiza wielowymiarowa wymagają przebudowy zapytań

Niska wydajność
– Brak skalowalności dla dużej liczby użytkowników
– Długie czasy odpowiedzi dla dużych zbiorów danych

Nowoczesne analizy na żądanie dzięki Silnikowi Asocjacyjnemu Qlik

Qlik oferuje całkowicie odmienną technologię eksploracji danych: Silnik Asocjacyjny Qlika („The Qlik Associative Engine”), który został zaprojektowany specjalnie do interaktywnej eksploracji i przeprowadzania analiz w dowolnej formie. Silnik asocjacyjny w pełni łączy wiele różnych źródeł i indeksuje dane, aby uwzględnić powiązania między nimi – wykorzystuje w tym celu wszystkie dostępne dane. Oferuje wydajne obliczenia i agregację w czasie rzeczywistym, co przekłada się na natychmiastową aktualizację analizy i relacji między danymi, ujawniając zarówno powiązane, jak i niepowiązane wartości po każdym kliknięciu.

Oznacza to, że każdy użytkownik – na dowolnym poziomie umiejętności – może wyszukiwać i eksplorować swoje dane w dowolny sposób, podążając swoim tokiem rozumowania, gdziekolwiek on go zaprowadzi. To tak, jakby mieć szerokie widzenie peryferyjne, przesuwać zakres widoczności na martwe punkty i odnajdować ukryte informacje, które nie są dostępne w narzędziach opartych na zapytaniach. Dlatego też użytkownicy Qlika konsekwentnie czerpią duże korzyści odkrywając zupełnie nowe informacje. Nazywamy to Przewagą Asocjacyjną („The Associative Difference®”), którą tylko Qlik może zapewnić.

Co sprawia, że technologia asocjacyjna Qlik jest tak potężna?

  • Po pierwsze, umożliwia zebranie kompletu danych z różnych źródeł, bez pozostawiania jakichkolwiek danych i pobierania błędnych.
  • Po drugie, użytkownicy na wszystkich poziomach umiejętności mogą eksplorować dane bez ograniczeń, zadając różnorodne pytania i zapytania uzupełniające poprzez proste wyszukiwania i selekcje.
  • Po trzecie, użytkownicy mogą pracować w sposób płynny, bez konieczności czekania lub zwracania się do ekspertów w celu uzyskania odpowiedzi na nowe zapytania.

Qlik łączy te kluczowe atrybuty, aby stworzyć wyjątkowe środowisko pracy dla każdego użytkownika na dowolnym poziomie umiejętności.

Silnik Asocjacyjny Qlik

Wszystkie dane dostępne w jednym modelu
– Łączy wiele różnych źródeł danych bez konieczności dokonywania skomplikowanych przekształceń danych
– Indeksuje wszystkie dane, aby znaleźć wszystkie możliwe powiązania
– Wszystkie dane pochodzące z systemów źródłowych są wykorzystane

Eksploracja bez granic
– Dowolne eksplorowanie, wyszukiwanie i wielowymiarowe analizowanie danych

– Błyskawicznie aktualizuje analizę i relacje między danymi na podstawie interakcji użytkownika
– Brak ograniczeń w zakresie i sposobie analizy danych

Natychmiastowa interakcja
– Wydajne obliczenia i agregacja w czasie rzeczywistym dla dużej liczby użytkowników
– Bezproblemowo obsługuje zarówno duże, jak i małe zbiory danych

Dostęp do wszystkich danych

Narzędzia oparte na zapytaniach SQL zwykle wymagają zdefiniowania pierwotnych i wtórnych źródeł danych. W rezultacie, zestawy wyników mają ograniczony zakres, a niektóre dane nie zostają wykorzystane.

Qlik jest inny. Silnik asocjacyjny Qlika w pełni łączy wszystkie dane – nawet dane niepełne – z dowolnej liczby źródeł, bez utraty danych i niedokładności w ich prezentacji. Jest to odpowiednik tego, co technicznie nazywane jest „pełnym złączeniem zewnętrznym wiele do wielu” („many-to-many full outer join”). Mówiąc wprost, użytkownicy mają dostęp do wszystkich swoich danych ze wszystkich źródeł, w dowolnych kombinacjach, których w danej chwili potrzebują.

Silnik Asocjacyjny Qlika umożliwia także ładowanie niedoskonałych danych bez konieczności wcześniejszego pełnego ich oczyszczenia i modelowania. Pomaga to ujawnić te obszary danych i działalności firmy, w których mogą występować potencjalne problemy, a z których identyfikacji można uzyskać dodatkowe wartości. Użytkownicy mogą tworzyć hierarchie danych „na żywo”, bez konieczności wcześniejszego ich agregowania.

Qlik oferuje zarówno inteligentne, samoobsługowe narzędzia do przygotowywania danych dla użytkowników biznesowych, jak i zaawansowane skrypty integracji danych dla złożonych scenariuszy analiz. Dzięki temu umożliwia użytkownikom tworzenie nieograniczonych kombinacji danych dla analiz bez potrzeby korzystania z zewnętrznych narzędzi lub hurtowni danych.

Narzędzia oparte na zapytaniach SQL

Nie wiadomo jakie dane nie zostały wykorzystane do analizy.

Nie ma pewności, co dokładnie zostało policzone, ani jak często.

 

 

Silnik asocjacyjny Qlika („Qlik Associative Engine”)

Wszystkie dane są dostępne do analizy.

Żadne dane nie są zdublowane.

 

Eksplorowanie bez granic

Dzięki Silnikowi Asocjacyjnemu Qlika użytkownicy mogą swobodnie eksplorować i analizować dane, w dowolnym kierunku, bez ograniczeń zakresu i sposobu analizy.

  • Użytkownicy mogą dokonywać selekcji na wszystkich wizualizacjach, tabelach, wykresach i innych obiektach.
  • Mogą także użyć wyszukiwania globalnego, aby odkryć powiązania i doprecyzować kontekst analizy.
  • Po każdym kliknięciu natychmiast następuje:
    – Przeliczanie wszystkich danych analitycznych do nowego kontekstu (stan selekcji).
    – Podkreślanie skojarzeń w wartościach danych za pomocą kolorów: zielonego (wartości wybrane), białego (wartości powiązane) i szarego (wartości niezwiązane).

Ponieważ Silnik Asocjacyjny Qlika dynamicznie oblicza dane analityczne zamiast wstępnego agregowania danych, użytkownicy mogą płynnie przechodzić do kolejnych zapytań i oglądać nowe, przeliczone na bieżąco zbiory danych. Oznacza to, że każdy użytkownik może zadać dowolne pytanie, na dowolnym poziomie szczegółowości, bez ograniczenia przez predefiniowane zapytania lub hierarchie.

Qlik posiada unikalną i silną funkcję niedostępną w tradycyjnych narzędziach opartych na zapytaniach; nazywamy to „siłą szarości”. Oznacza to, że użytkownicy widzą w swojej analizie nie tylko wartości spełniające ich wybór, ale także niepowiązane dane. Informacje te często prowadzą do niespodziewanych wniosków ukazując na przykład produkty, które się nie sprzedały lub klientów, którzy nie kupili – dając użytkownikom pełny obraz i pomagając im odkryć ukryte obszary możliwości lub ryzyka. W narzędziach opartych na zapytaniach SQL wartości te są odfiltrowywane, przez co użytkownicy mają tylko częściowy zestaw danych i niepełną perspektywę.

W aplikacjach Qlika, za każdym razem, gdy użytkownik dokonuje selekcji lub wykonuje wyszukiwanie, wszystkie wizualizacje, analizy i skojarzenia są natychmiast przeliczane i pokazują aktualny wybór. Wynika to z faktu, że silnik asocjacyjny Qlika obsługuje kontekst, utrzymując stan selekcji dla wszystkich analiz w całej aplikacji.

Funkcjonalność ta daje użytkownikom możliwość zrozumienia wpływu ich selekcji na otaczające analizy na różnych poziomach szczegółowości i z natychmiastowym efektem. Użytkownicy mogą  dostrzec potencjalne obszary zainteresowania, zadawać nowe pytania i kontynuować dalsze poszukiwania. Natomiast w przypadku narzędzi opartych na zapytaniach SQL, użytkownicy muszą samodzielnie łączyć obiekty ze sobą i uruchamiać wiele zapytań, aby osiągnąć podobny efekt. Jest to niezwykle pracochłonne i wymaga dużego doświadczenia.

Natychmiastowa interakcja

Narzędzia oparte na zapytaniach SQL mogą być wystarczające do tworzenia wizualizacji, ale tylko garstka wykwalifikowanych użytkowników będzie w stanie je wykonać. Jeszcze mniej osób jest w stanie stworzyć zapytania potrzebne do obsługi tych wizualizacji. W efekcie otrzymujemy statyczne wizualizacje i raporty, które są ograniczone do eksploracji liniowej na częściowych podzbiorach danych. O ile dokładne pytania użytkowników nie zostaną z góry przewidziane, a zapytania SQL nie zostaną odpowiednio skonstruowane, przy każdej zmianie perspektywy cały proces budowy raportu należało będzie zacząć od początku. Po raz kolejny cykl „pytaj, czekaj, odpowiadaj” hamuje dotarcie do pożądanych informacji i wniosków.

Natomiast Silnik Asocjacyjny Qlika dynamicznie przelicza dane analityczne i wyróżnia skojarzenia między nimi tak szybko, jak tylko użytkownicy są w stanie wymyślić nowe pytania. Dzięki natychmiastowej reakcji na każde pytanie użytkownicy mogą uzyskać odpowiedzi, których potrzebują, bez konieczności oczekiwania na system lub na ekspertów. Oznacza to szybszy czas realizacji analiz i setki bardziej świadomych decyzji każdego dnia.

Silnik Asocjacyjny Qlika zapewnia wyjątkowe połączenie szybkości i elastyczności, które nie jest możliwe w narzędziach opartych na zapytaniach SQL. Qlik łaczy kilka unikalnych, opatentowanych innowacji dla technologii „in-memory” – w tym skompresowane indeksowanie binarne, wnioskowanie logiczne i obliczenia dynamiczne. Dodatkowo Qlik zapewnia bezprecedensową wydajność obsługi dużych i małych zestawów danych. W rezultacie dla wielu jednoczesnych użytkowników możliwe jest uzyskanie na zadane pytania natychmiastowych odpowiedzi, prowadzących do kolejnych pytań i nowych odkryć.

 

 

Narzędzia oparte na zapytaniach SQL  Silnik asocjacyjny Qlik („Qlik Associative Engine”)
  • Brak możliwości połączenia wielu różnych źródeł danych
  • Model danych i hierarchie muszą zostać wcześniej w pełni określone
  • Pomijają dane, które nie są potrzebne dla danej analizy
  • Nie radzą sobie z zanieczyszczonymi lub niekompletnymi danymi
  • Często wymagają wstępnej agregacji dla dużych zestawów danych

 

  • Nie wspierają eksploracji nieliniowej / zadawania nowych pytań
  • Brak wyszukiwania globalnego lub analizy opartej na wyszukiwaniu
  • Utrzymanie wspólnego kontekstu dla różnych obiektów wymaga dodatkowego ich łączenia
  • Utrata widoku niepowiązanych („szarych”) wartości
  • Hierarchie statyczne, brak obliczeń „na żywo”

 

  • Nie nadążają za tokiem myślenia użytkownika
  • Niska wydajność, szczególnie w przypadku wielu użytkowników / zapytań
  • Konieczność łączenia się do systemów produkcyjnych lub zbudowania Hurtowni Danych
  • Ryzyko ujawnienia poufnych danych, jeśli baza danych nie jest zabezpieczona
  • Ograniczone możliwości wykorzystania dużych zbiorów danych
  • Łączy dowolną liczbę różnych źródeł danych
  • Nie ma potrzeby pełnego modelowania danych lub tworzenia zdefiniowanych hierarchii
  • Do analiz są wykorzystywane wszystkie dane z wielu źródeł
  • Zanieczyszczone lub niekompletne dane są ładowane i dostępne do analizy
  • Brak konieczności wstępnej agregacji, szczegóły poszczególnych transakcji zawsze dostępne

 

  • Zbudowany do interaktywnej, swobodnej eksploracji bez ograniczeń
  • Globalne wyszukiwanie danych, powiązań i analiz
  • Wszystkie obiekty są automatycznie ze sobą powiązane
  • Niepowiązane („szare”) wartości są pokazane w analizie
  • Dynamiczne hierarchie z obliczeniami „na żywo”

 

  • Zapewnia analizę danych „na żywo”
  • Dynamiczne obliczenia o wysokiej wydajności dla dużej liczby użytkowników
  • Brak wpływu na systemy produkcyjne, brak potrzeby budowania Hurtowni Danych
  • Dynamiczna redukcja danych dla zapewnienia bezpieczeństwa danych
  • Skalowalność dla dużych (i małych) źródeł danych
Przeczytaj także
16 kwietnia 2024
Business Intelligence: Jak skutecznie wizualizować dane?
Zobacz więcej
10 sierpnia 2021
Qlik – rozszerzona inteligencja wspiera podejmowanie decyzji opartych na danych
Zobacz więcej
13 sierpnia 2021
Zwielokrotnienie wartości danych Big Data
Zobacz więcej