Feldolgozás táblázatok párhuzamosan használó Azure adatok Factory, egyetlen csővezeték egyetlen Databricks notebook?

szavazat
0

Szeretnék átalakítani egy listát a táblázatok párhuzamosan használó Azure adatok Factory és egyetlen Databricks notebook.

Már van egy Azure adatok Factory (ADF) gázvezeték, amely befogadja asztalok listájához paraméterként, meghatározza az egyes táblát a tábla lista, mint egy változó, majd felhívja egyetlen notebook (amely elvégzi az egyszerű transzformációk), és átmegy minden tábla sorba ez a notebook. A probléma az, hogy átalakítja a táblákat sorozat (egymás után), és nem párhuzamosan (összes asztal ugyanabban az időben). Kell táblákra párhuzamos feldolgozását.

Tehát a kérdéseim: 1) Lehet-e kiváltani ugyanazt Databricks notebook többször pontosan ugyanabban az időpontban (minden alkalommal egy másik asztalnál, mint a paraméter) származó adatok Azure Factory? 2) Ha igen, akkor mit kell tennem, hogy változást a csővezeték vagy notebook, hogy működik?

Azt hiszem, ez valószínűleg nem lehet kiváltani ugyanazt a notebook többször együtt, mert amikor én kiváltja ezt a notebook közvetlenül Databricks (és adja át a táblázatot, változó), meg kell várni, amíg befejeződik futása, mielőtt megnyomod megint más táblázat (paraméter). De én biztos akar lenni abban, ha ez megvalósítható-e vagy sem. Azt is tudom, hogy lehet dolgozni több táblát párhuzamos használata több notebook, de az én esetemben, azt kell használni egyetlen notebook. Előre is köszönöm :)

paraméterek

ADF

változók

változók

Terített asztal változók és notebook

írja

Beállítás szekvenciális

Beállítás

Sorozatos ellenőrizetlen a Batch Count = blank

Amikor beállítja a „szekvenciális” és a Batch Count = üres, és adja át két asztal, a csővezeték fut „sikeresen”, hanem csak egy táblázatot transzformált (akkor is, ha adhatok több asztal a táblázatban listán). „Set változó” helyesen mutatja kétszer, egyszer minden asztalnál. De Hangszerelje mutatja kétszer ugyanazt a táblázatot.

írja

Szekvenciális ellenőrizetlen a Batch Count = 2

Amikor beállítja a „szekvenciális” és a Batch Count = 2, és adja át két asztal, a csővezeték nem a második iteráció, hanem megpróbálja átalakítja ugyanannál az asztalnál két alkalommal. „Set változó” helyesen mutatja kétszer, egyszer minden asztalnál. De Hangszerelje mutatja kétszer ugyanazt a táblázatot.

Szekvenciális

Szekvenciális feladott vagy Batch Count = 1

Ha elmegyek Sorozatos feladott vagy Batch Count = 1, akkor a csővezeték fut rendesen és végrehajtsa transzformációk minden asztalon, de a feldolgozás történik sorozat (a várakozásoknak megfelelően).

írja

A kérdést 13/01/2020 23:55
a forrás felhasználó
Más nyelveken...                            


1 válasz

szavazat
0

Oldottam meg a „keresése”, hogy egy SQL táblák helyett a „Set Variable”. Az alábbi kép mutatja a futás 5 asztal párhuzamos használatával egyetlen notebook.

írja kép leírása itt

Válaszolt 14/01/2020 22:40
a forrás felhasználó

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more