„Această lucrare susține că arhitectura depozitului de date, așa cum o știm astăzi, se va ofili în anii următori și va fi înlocuită de un nou tipar arhitectural, Lakehouse, care (i) se va baza pe formate deschise, cu acces direct, precum Apache Parquet, (ii) va avea suport de prim rang pentru învățare automată și știința datelor și (iii) va oferi performanță de ultimă generație.”Michael Armbrust, Ali Ghodsi, Reynold Xin, Matei Zaharia · Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics · 2021 · Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics, CIDR 2021 — rezumat
Bronze e dovada, silver e adevărul curățat, gold e răspunsul.
Data lake-ul a promis stocare ieftină pentru orice: fișiere Parquet pe stocare de obiecte, fără schemă impusă, fără tranzacții. A livrat, adesea, o mlaștină: nimeni nu știe ce e curat, două joburi scriu peste același director, o citire prinde jumătate dintr-o scriere. Depozitul clasic are tranzacții, schemă și viteză, dar într-un format închis, ca o copie a datelor. Lakehouse-ul pune între ele un format de tabel deschis (Delta, Iceberg, Hudi): un jurnal de metadate peste fișierele Parquet care aduce tranzacții ACID, „time travel” la o versiune anterioară, evoluție de schemă și, mai ales, mai multe motoare — SQL, Spark, un framework de ML — care citesc aceleași fișiere fără copii. Arhitectura medalion organizează straturile: bronze (datele exact cum au sosit, niciodată modificate), silver (curățate, deduplicate, cu tipuri corecte), gold (agregate, modelate pentru consum — de obicei în stea). Regula de aur e că bronze e dovada: orice din silver și gold trebuie să se poată reconstrui din el.
Cardul spune ce aduce jurnalul de metadate. Hai să vedem ce schimbă el de fapt în muncă. Când două joburi scriau în același director, rezolvarea era coordonare umană: cine scrie, când, cu ce acord. Jurnalul mută această înțelegere în sistem. Scrierea fie ajunge completă, fie deloc, iar cititorii văd mereu o versiune coerentă. Nu mai e nevoie de cineva care să păzească folderul. Un exemplu obișnuit: ca la un document partajat cu istoric de versiuni, unde poți reveni la varianta de ieri fără să salvezi copii manual. Asta deschide o întrebare nouă: dacă fiecare scriere e înregistrată, cine are voie să scrie, și cum decizi asta?
Pasajul anterior s-a oprit la o întrebare: cine are voie să scrie? Răspunsul lakehouse-ului e simplu: jurnalul devine punctul de control. Fiecare scriere e o operație înregistrată, deci poate fi verificată înainte să ajungă în tabel. Sistemul poate refuza un fișier cu tipuri greșite sau o coloană lipsă, exact ca un portar care nu lasă în sală decât pe cei cu bilet. În data lake-ul vechi, datele stricate intrau oricum; curățarea se făcea abia după, cu durere. Aici, poarta e la intrare. Exemplu de zi cu zi: un formular online care nu acceptă un email fără simbolul @, în loc să lase greșeala să ajungă în baza de date și să o cauți apoi. Dar o poartă strictă nu garantează că datele sunt corecte, doar că arată așa. Cum arătăm, atunci, că datele au fost curățate cu grijă?
De ce contează Când o transformare se dovedește greșită peste șase luni, singura întrebare care contează e dacă mai ai datele brute. Bronze răspunde da.