Ja by som chcel nastavenie Mlflow mať nasledujúce komponenty :
- Slovník store (lokálne) : pomocou SQLite databázy lokálne ukladať Mlflow subjektov (run_id, params, metriky,...)
- Artefakt store (remote) : pomocou blob storage na mojom Azure Údaje Jazero Skladovanie Gen2 ukladať výstupné súbory (verziované súbory dát, pokračovanie modely, obrázky, ...) súvisiace s mojim vzorom
- Sledovanie server : pomocou niečo, čo vyzerá ako tento príkaz
z
mlflow server --backend-store-uri sqlite:///C:\sqlite\db\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 8000
Kde mlruns.db je databáza, ktorú som vytvoril v SQLite (vo vnútri db priečinok) a mlartifacts je priečinok, ktorý som vytvoril vnútri blob kontajner získať všetky výstupné súbory.
Som spustite tento príkaz a potom som si a mlflow spustiť (alebo kedro spustiť ako som pomocou Kedro), ale takmer nič sa nedeje. Databáza je naplnený 12 tabuliek, ale všetky prázdne, zatiaľ čo nič sa nedeje, vo vnútri Údaje jazero.
To, čo chcem, by mala vyzerať Scenár 4 v dokumentácii.
Pre artefakt obchod, nemohol som nájsť podrobné pokyny. Snažil som sa pozrieť na Mlflow dokumentácia tu , ale nie je to veľmi užitočné (som ešte začiatočník). Hovoria, že:
MLflow očakáva, že Azure Storage prístup poverení v AZURE_STORAGE_CONNECTION_STRING, AZURE_STORAGE_ACCESS_KEY premenné prostredia alebo majú poverení nakonfigurovaný tak, aby DefaultAzureCredential(). trieda ich môžete vyzdvihnúť.
Avšak, aj keď pridanie env premenných, nič sa zdá byť uložené v dátovej jazero. Vytvoril som dve env premenných (na Windows 10):
AZURE_STORAGE_ACCESS_KEY = wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts
AZURE_STORAGE_CONNECTION_STRING = DefaultEndpointsProtocol=https;AccountName=storagesample;AccountKey=. Dostal som sa po tejto ceste na Azure Portálu : Skladovanie účtu/Access keys/Connection string (vzal jeden z kľúčových 2).
Oni tiež štátom, ktoré :
Tiež, musíte spustiť pip nainštalovať azure-skladovanie-blob samostatne (na oboch váš klient a server) na prístup k Azure Blob Storage. Nakoniec, ak chcete použiť DefaultAzureCredential, musíte pip nainštalovať azure-identity; MLflow nie vyhlásiť závislosť na týchto balíkov v predvolenom nastavení.
Pridala som ich v mojej požiadavky projektu, ale čo znamenajú presne inštaláciou na oboch klient a server ? Ako azure-identita pomáha v nastavení ?
Mohli by ste prosím, pomôžte mi s inštrukcie krok za krokom, ako získať úplné ?
Vopred ďakujeme !
mlflow server --backend-store-uri sqlite:///C:\\sqlite\\db\\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 5000