Ako vybudovať neurónovú sieť v tejto štruktúre？s rôznymi uzlami sa pripája na iný počet uzlov v ďalšej vrstvy

Question 1

Som len vedieť, ako používať vstavanú siete ako RNN z LSTM v PyTorch. Ale majú tendenciu riešiť každý uzol v predchádzajúcej vrstvy, ktoré bude poskytovať informácie pre všetky uzly v ďalšej vrstvy.

Chcem robiť niečo iné, ale neviem ako na kód sám. Ako na tomto obrázku: uzol a mapy na všetky [d, e, f] tri uzly v layer 2, pričom uzol b mapy [e,f] a uzol c len mapy na [f]. Ako výsledok, uzol d bude obsahovať len informácie z a, pričom e bude obsahovať údaje z [a, b]. A f bude obsahovať informácie zo všetkých uzlov v predchádzajúcej vrstvy. Vie niekto, ako tento kód štruktúry? PLS dajte mi nejaké nahliadnutie budem veľmi vďačný :D

Štruktúra

Question 2

Keď máte vrstva, ktorá vyzerá Úplne Pripojené vrstvy, ale s vlastnou pripojenia, použite masku s správnu štruktúru.

Povedzme, že x = [a, b, c] je vašou 3-dim vstup a W označuje pripojenie matice.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

potom W[i][j] body na pripojenie hmotnosti medzi jth vstup a iteho výstupného neurónu. Vybudovať štruktúry podobné vaša hračka príklad, by sme urobiť masku, ako je tento

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Potom môžete jednoducho maska W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Poznámka: @ je násobenie matice a * je pointwise množenie.

ayandas · Answer 1 · 2021-11-21T18:17:35

Keď máte vrstva, ktorá vyzerá Úplne Pripojené vrstvy, ale s vlastnou pripojenia, použite masku s správnu štruktúru.

Povedzme, že x = [a, b, c] je vašou 3-dim vstup a W označuje pripojenie matice.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

potom W[i][j] body na pripojenie hmotnosti medzi jth vstup a iteho výstupného neurónu. Vybudovať štruktúry podobné vaša hračka príklad, by sme urobiť masku, ako je tento

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Potom môžete jednoducho maska W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Poznámka: @ je násobenie matice a * je pointwise množenie.

Takže ak môj vstup dim je 3, výstup dim je 3. Môj neurónovú sieť štruktúra bude ako {vstup 3 dim, LSTM_layer(3, 64), Plne connected_layer(64, 3), * dolná trojuholníková maska matice(3, 3), výstup dim 3}. Bude to fungovať tak, ako moje vlastné pripojenie, aby sa posledné tri uzly dostať differerent informácie? Alebo by som mal dať masku matice medzi input layer(3,1) a LSTM vrstva(3,64)
Je váš vstup sekvenčné (máte LSTM v rokoch) ? Váš obrázok ukazuje len Plne pripojené vrstvy. Riešenie som za predpokladu, je len na maskovanie FC vrstvy.
Prepáč, že som urobil obrázok jednoduché. Môj vstup je časový rad hodnôt(hodnoty, hour_index, week_index) a chcem použiť LSTM vrstva extrahovať niektoré informácie medzi vstupom(3 dim) a výstupu(3 dim). Takže, ak môžem použiť masku po LSTM vrstva, bude výstup tri uzly sa páči: d uzol obsahuje iba týždeň, informácie, e uzol obsahuje týždeň a hodinu, f uzol obsahuje hodnoty, hodiny, týždeň informácie?

Ako vybudovať neurónovú sieť v tejto štruktúre？s rôznymi uzlami sa pripája na iný počet uzlov v ďalšej vrstvy

Otázka

Najlepšiu odpoveď

V iných jazykoch

Táto stránka je v iných jazykoch

Populárne v tejto kategórii

Obľúbené otázky v tejto kategórii