Šiandien gal taip pirmą kartą rimčiau teko padirbėti su Microsoft Fabric’u. Nu žiauriai patiko.
Kai ankščiau tekdavo iš duomenis užsikeldinėti iš skirtingų duomenų šaltinių į desktopinį PowerBI ir ten šaltinius apjunginėti, pačiam darytis visokias transformacijas… o jei duomenų ir transformacijų daug, tai ilgai laukti kol ten kas nors suveiks.
O jei reikia ką nors mandriau paskaičiuoti, tai tekdavo kurti python skriptukus, leisti juos kur nors kitame serveryje, tada eksportuoti ataskaitas ir pan. ir pan. … tai šitas galima sakyti jau praeityje.
Dabar tiesiog atsidarai Fabric’ą, ten susikuri Lakehous’ą, jame kaip shortcut’us susikeli tau reikiamus duomenų šaltinius, jie tada atvaizduojami tarsi vienoje duombazėje, todėl gali pasirašyti sql koduką, arba pasinaudoti notebook’ais ir su PySparku skaičiavimus pasidaryti, eksportuoti duomenis į naują lentą ir tada jau iš jos kurti ataskaitą.
PySpark’as dirba kaip bitutė net ir su didžiausiais duomenų kiekiais. Žodžiu, vienas malonumas dirbti.
O dar šiandien darbe visi labai sveikino ir klausinėjo apie sužadėtuves. Jaučiausi kaip per savo gimtadienį 🙂