Platforma Snowflake zbudowana jest od podstaw do działania w chmurze publicznej. Jakie zatem są podstawowe różnice pomiędzy chmurą prywatną, a publiczną? Jak na tle konkurencji wypada Snowflake?
Chmura publiczna, czy prywatna? Oto jest pytanie!
To pytanie jeśli jeszcze nie padło w Twojej firmie, wkrótce będzie musiało zostać zadane. Dane jakie gromadzimy rosną w szybkim tempie. Wewnętrzne serwery firmowe już dawno nie zdają egzaminu, dlatego obecnie najlepszym sposobem dostarczania i licencjonowania zasobów informatycznych jest sieć internetowa. Serwery, bazy danych, usługi oraz aplikacje przechowywane są na zewnętrznych serwerach – a nie, jak dotychczas, na lokalnych dyskach klienta.
Publiczna chmura umożliwia każdemu dostęp do usługi za pośrednictwem publicznej sieci internetowej. Pozwala na szybkie wdrożenie oraz na ograniczenie kosztów – płacimy jedynie za faktycznie wykorzystane dane. Cała infrastruktura, oprogramowania, serwery oraz obsługa jest już zagwarantowana w usłudze.
Chmura prywatna oferuje zasoby obliczeniowe wykorzystywane przez jedną firmę wewnętrznie. Udostępnia infrastrukturę, umożliwia szybkie wdrożenie, zapewnia wysoką skalowalność zasobów. Elementem odróżniającym chmurę publiczną od prywatnej jest zarządzanie. W prywatnej odpowiada za to wewnętrzny dział firmy.
Snowflake – czym się wyróżnia?
Środowiskiem Snowflake jest chmura publiczna. Narzędzie zostało zbudowane od podstaw jako hurtownia danych w chmurze, bazując na dostawcach Amazon Web Services, Microsoft Azure czy Google Cloud Platform. Snowflake nie wykorzystywał jednak ich rozwiązań dedykowanych dla hurtowni, a jedynie komponenty związane z obsługą sieci, pamięci masowych oraz mocy obliczeniowej.
Jeśli nie posiadamy infrastruktury serwerowej, to Snowflake będzie dla nas idealny. Jest dostarczany jako usługa w modelu SaaS (Software as a Service).
Trzy warstwy Snowflake.
Snowflake wykorzystuje hybrydową architekturę trójwarstwową.
- Database storage – odpowiedzialna za przechowywanie danych w chmurze w wewnętrznym formacie kolumnowym.
- Query processing – warstwa umożliwiająca dostęp do danych z wykorzystaniem wirtualnej hurtowni (jednostka obliczeniowa, skalowalna nawet w trakcie wykonywania operacji).
- Cloud services – warstwa zarządzająca zadaniami w Snowflake – od autentykacji, aż do otrzymania wyników.
Skalowalność w praktyce.
Operacje na danych wykonywane są w kontekście roli użytkownika, bazy danych oraz wirtualnej hurtowni. Każdy użytkownik poprzez określone role otrzymuje do nich dostęp. Bazy danych oraz wirtualne hurtownie mogą być włączane, wyłączane lub skalowane, w zależności od potrzeb użytkownika. Skalowalność jest szybka oraz nie utrudnia już trwających obliczeń.
Praktycznie możemy wykorzystać jedną hurtownię do ładowania danych, inną udostępnić do procesów ETL. W ramach potrzeby możemy otrzymać bardziej wydajną hurtownią, a na co dzień korzystać z prostszej wersji.
By zwiększyć wydajność, wprowadzono result cache, który przechowuje zapytania z ostatnich 24 godzin (pod warunkiem niezmienności danych źródłowych). Dodatkowo poprawiono zapisywanie danych w pamięci, w ramach pojedynczych hurtowni, na dyskach SSD lub w pamięci RAM – local disc cache.
Możemy wygodniej łączyć się z hurtowniami poprzez: interfejs webowy, CLI, konektor do Pythona, Sparka lub Kafki poprzez sterownik JDBC, ODBC, Node.js lub .NET. Dzięki automatycznej detekcji struktury wspiera przetwrzanie plików XML, Parquet, ORC, Avro czy JSON.
Dane historyczne i klonowanie.
Dostęp do danych historycznych umożliwia Time Travel. Możemy nie tylko sięgać przeszłych danych poprzez zapytania, ale również klonować i odtwarzać usunięte obiekty. Time Travel sięga aż 90 dni wstecz.
Możemy tworzyć niezależny kod zgodny z danym wzorcem tabeli, schematu czy bazy bez wykonywania kopii danych, dzięki funkcjonalności zero-copy cloning. Funkcjonalność sprawdzi się w przypadku, gdy baza danych musi pozostać w stanie nienaruszonym. Klonujemy ją, prowadzimy na niej testy, a następnie usuwamy.
Współdzielenie danych w Snowflake.
Nadawanie uprawnień użytkownikom opiera się na rolach. Uprawnienia możemy dzielić według każdego obiektu. Dostęp do danych wewnątrz firmy umożliwiają nam konta użytkowników i ACL (access control list).
Jeżeli chcemy udostępnić dane na zewnątrz organizacji posłuży nam do tego Secure Data Sharing. Dzięki temu mechanizmowi mamy możliwość utworzenia konta konsumenta oraz nadania dostępu do uprzednio udostępnionych obiektów (direct share). Możemy nadać uprawnienia wybranym użytkownikom nad zbiorem danych (data exchange) lub wymieniać się danymi dzięki platformie wymiany (Snowflake Data Marketplace).
Bezpieczeństwo.
Snowflake oferuje rozwiązania dynamicznego maskowania danych, opartych o UDF (user – defined function). Kontrolę dostępu możemy uzyskać na poziomie wierszy dzięki secure views i secure UDF. Pomimo, iż na rynku są dostępne lepsze rozwiązania do maskowania danych, te wykorzystywane w Snowflake’u jest naprawdę wystarczające, a do tego tańsze w porównaniu z innymi hurtowniami.
Wybierając hurtownię danych powinniśmy się skupić na kilku najbardziej istotnych wymaganiach. Snowflake z pewnością będzie dobrym wyborem, gdyż uwzględnia zarówno ustrukturyzowane jak i nieustrukturyzowane dane. Ma dużą elastyczność oraz skalowalność przy niższych kosztach utrzymania. Udostępnianie danych wewnątrz organizacji, jak i na zewnątrz jest bardzo proste, a dodatkowe funkcjonalności jak na przykład klonowanie nie wymaga osobnych aplikacji czy drogich licencji. Cennik oparty jest na zużyciu danych, a ceny możemy dostosować przed zakupem – bez zobowiązań długoterminowych. Snowflake zajmuje pierwsze miejsce w The Forrester Wave: Cloud Data Warehouse, I Kwartał 2021 roku jest liderem w rankingu Forbes Cloud 100.
Więcej informacjo odnośnie wdrożenia Snowflake oraz cen znajdziemy na stronie bezpośredniego partnera https://newdatalabs.com/snowflake/.
