Ja som pracoval na klasifikáciu problém s obrázkom dataset, so 11 tried. Obsahuje celkom 11,000 obrázkov, každá trieda s 1000 obrázky, uložené zložky-múdry (11 priečinky). Dataset veľkosť je asi 40MB. Po tom, čo som nahrať dáta z google drive do collab( ktoré vlastne trvá určitý čas) a pre-proces pred kŕmenie je pre model, pamäť collab stáva 95% úplné okamžite. Keď som začať cvičiť, collab pády, a runtime je obnoviť. To sa nestane, keď som použiť Keras toku dát-z-directory funkciu. Nie som schopný nájsť riešenie. Screenshot
0
To sa deje, pretože volaním nosenie s vlakom a overovanie sady vás núti colab načítať všetky obrázky na ram v rovnakom to, budete musieť napísať generátor, jednoduché riešenie s väčšinou kód už napísané je použitie tfrecords, keras sa postará o zvyšok.
https://www.tensorflow.org/tutorials/load_data/tfrecord
potrebujete na uloženie obrázkov na disk a vziať ich počas tréningu, nie všetky na začiatku.
nemusíte používať tfrecords, môžete použiť akýkoľvek generátor sa vám páči, ale že veci prichádza hneď bat
BestDogeStackoverflow
No ja som s použitím Keras Tuner tu, takže si nie som istý, či generátor môže byť použitý s tuner-vyhľadávanie alebo nie
SDS