– czyli jak uprościć analizę ogromnych ilości danych dla tysięcy użytkowników bez kompromisów w zakresie kosztów, szybkości i bezpieczeństwa
Dostęp do danych zmienił sposób prowadzenia wielu firm. Wpływ na to miały dane, które stały się źródłem informacji, niezbędnych do podejmowania decyzji. Uzyskanie dostępu do odpowiednich danych jest obecnie priorytetem dla wielu organizacji. Natomiast infrastruktura danych często nie jest przystosowana do wymagań użytkowników z różnych działów firmy. Osoby, które zarządzają danymi często nie są wstanie sprostać wszystkim wymaganiom użytkowników bez odpowiednich narzędzi, dzięki którym mogą udostępniać odpowiednie dane określonym grupom użytkowników. Zobacz jak dzięki Snowflake praca z danymi staje się łatwiejsza.
Hurtownia danych Snowflake, a dostęp do danych dla użytkowników w firmie
Dane, które są gromadzone w hurtowniach danych mogą pochodzić z wielu różnych źródeł. Zazwyczaj są to systemy używane w różnych działach firmy np. ERP (magazynowe), CRM (sprzedażowe) lub systemy PLM czyli takie, które są związane z cyklem życia produktu. Dane spływają też z urządzeń na liniach produkcyjnych, z Internetu, systemów marketingowych, a nawet z kanałów Social Media. Aby przygotować dane do dalszej analizy, należy je umieścić w jednym magazynie. W ten sposób różne jednostki biznesowe mogą badać i analizować informacje pod wieloma kątami, wyciągając dane z jednego miejsca. Jednak, aby ta koncepcja mogła działać prawidłowo, wymaga to specjalnego mechanizmu rozpowszechniania danych wśród różnych odbiorców. Kadra zarządzająca najczęściej wymaga określonych danych już podsumowanych, gotowych do analizowania pod kątem podejmowania decyzji biznesowych. Analitycy natomiast oczekują danych surowych, alby można było znaleźć istniejące zależności, informacje i wysnuć wnioski. Menedżerowie potrzebują danych już przefiltrowanych, aby można było śledzić wyniki swoich zespołów, porównując je w z danymi w patrząc na organizację jako całość. Jeżeli jeden system ma służyć wszystkim odbiorcom to musi być skalowalny, aby zapewnić dostęp do danych wszystkim odbiorcom.
Snowflake – z punktu widzenia administratora danych
W Snowflake dane ładowane są z różnych źródeł, przechowywane i w każdym momencie dostępne dla użytkowników, aby odpowiedzieć na dowolną liczbę zapytań do danych. Osoby, które zarządzają danymi nie muszą już koncentrować się na tworzeniu struktur, aby radzić sobie z problemami dotyczącymi rywalizacji o dostęp do danych. Mogą przechowywać wszystkie swoje dane w jednym systemie i zapewnić dostęp bez konieczności zastanowienia się, jak różne grupy użytkowników mogą wpływać na dostęp i zużycie zasobów danych. W ten sposób można załadować dane i ustalić wiele grup, które będą miały dostęp jednocześnie. Dodatkowo mają możliwość zadawania własnych zapytań do danych z niemal nieograniczonymi, dedykowanymi zasobami obliczeniowymi. Oznacza to koniec z czekaniem na inne grupy, aby zwolnić zasoby. Twoja firma może teraz dostarczać analizy różnym użytkownikom: kadrze kierowniczej, analitykom, analitykom danych i menedżerom, bez wpływania na siebie nawzajem, aby osiągnąć wysokie wyniki.
Hurtownia danych Snowflake- architektura danych
Snowflake i jego unikalna architektura pozwala na dostęp niemal natychmiast do praktycznie nieograniczonej liczby zasobów obliczeniowych. Jednoczesne uruchamianie wielu obciążeń danych przy użyciu więcej niż jednego wirtualnego magazynu, nie ma wpływu na wydajność.
Przykłady obciążeń danych:
– Analiza ad hoc: analizy lub zapytania ad hoc np. wykonywane np. w Tableau
– Ładowanie danych: Polecenie KOPIUJ, które stale ładuje dane z zewnętrznego źródła danych
– Przekształcenia danych: Seria poleceń, aby przekształcić nieprzetworzone dane w bardziej użytecznym formacie
– Sprawozdawczość: Pulpity nawigacyjne i inne raporty odświeżane zgodnie z harmonogramem lub na żądanie przez kadrę kierowniczą
– Czytanie danych przez użytkowników: Aplikacje użytkowników końcowych, które wyświetlają dane
– Transformacja danych: Ogromna transformacja partii danych, która jest uruchamiana i odświeżana bardzo często.
Każda operacja na danych typu ETL może mieć własne odrębne zasoby, nawet gdy każdy z nich działa na tych samych bazach danych i tabelach.
Magazyn danych Snowflake udostępnia wymagane zasoby, takie jak procesor, pamięć i magazyn tymczasowy, do wykonywania poleceń SELECT, UPDATE, DELETE i INSERT.
Kiedy mówimy o wieloskładnicowej warstwie obliczeniowej Snowflake to odnosimy się do wirtualnego magazynu danych, które wykonują zapytania na scentralizowanej warstwie. Poniżej znajduje się schemat architektoniczny, który pokazuje 3 elementy platformy.
Prosty model cen w Snowflake
Usługa wirtualnego magazynu ma same zalety. Infrastruktura danych jest utrzymywana za Ciebie, co oznacza, że nie trzeba utrzymywać własnych serwerów, baz danych i narzędzi do zarządzania nim. Cena za taką usługę będzie zależeć od ilości wymaganej pamięci i ilości możliwości obliczeniowych do wykonywania zapytań.
Model cenowy Snowflake obejmuje dwa elementy: koszt pamięci masowej i koszt zużytych zasobów obliczeniowych. Opłata za zużycie zasobów obliczeniowych obliczana jest na podstawie jednostek przetwarzania, które nazywamy kredytami. Kredyty zużywane są do uruchamiana zapytań lub do wykonania usługi (np. ładowanie danych) naliczana jest wg rzeczywistego zużycia na sekundę.
