Bash Skript spustiť AWS Cli príkazov súčasne znížiť čas

Question 1

prepáč, že som stále nový bash skriptovanie. Mám okolo 10000 EC2 stupňa, ktoré som vytvoril tento bash skriptu zmeniť svoj EC2 stupňa typu, všetky inštancie názov a typ sú uložené v súbore. kód je práca, ale to trvá tak dlho spustiť cez stupňa stupňa.

niektorý majú vie, či môžem spustiť AWS Cli príkazov na všetky EC2 stupňa v jednom ísť ? Vďaka :)

#!/bin/bash

my_file='test.txt'

declare -a instanceID
declare -a fmo #Future Instance Size

while IFS=, read -r COL1 COL2; do

   instanceID+=("$COL1")
   fmo+=("$COL2")   

done <"$my_file"

len=${#instanceID[@]}

for (( i=0; i < $len; i++)); do

   vm_instance_id="${instanceID[$i]}"
   vm_type="${fmo[$i]}"

   echo Stoping $vm_instance_id
   aws ec2 stop-instances --instance-ids $vm_instance_id

   echo " Waiting for $vm_instance_id state to be STOP "
   aws ec2 wait instance-stopped --instance-ids $vm_instance_id


   echo Resizing $vm_instance_id to $vm_type 
   aws ec2 modify-instance-attribute --instance-id $vm_instance_id --instance-type $vm_type
   


   echo Starting $vm_instance_id 
   aws ec2 start-instances --instance-ids $vm_instance_id
    

done

Question 2

Refactor kódu na funkciu, ktorá je odovzdaná riadok zo súboru.

work() {
   IFS=, read -r instanceID fmo <<<"$1"
   stuff "$instanceID" "$fmo"
}

Spustiť xargs GNU alebo GNU paralelný pre každý riadok súboru, ktorý vyzýva exportované funkcie. Použitie -P možnosť spustiť funkciu v paralell, pozrite si dokumentáciu.

export -f work
xargs -P0 -t bash -c 'work "$@"' -- <"$my_file"

Question 3

Ako @KamilCuk poukázal tu, môžete ľahko urobiť tento prebiehať súčasne. Avšak, Ak spustíte tento skript paralelne, môžete skončiť stále škrtil podľa EC2, takže sa uistite, môžete pridať aj nejaké backoff + opakuj logic / rešpektovať limity uvedené tu https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html

KamilCuk · Answer 1 · 2021-11-23T10:03:16

Refactor kódu na funkciu, ktorá je odovzdaná riadok zo súboru.

work() {
   IFS=, read -r instanceID fmo <<<"$1"
   stuff "$instanceID" "$fmo"
}

Spustiť xargs GNU alebo GNU paralelný pre každý riadok súboru, ktorý vyzýva exportované funkcie. Použitie -P možnosť spustiť funkciu v paralell, pozrite si dokumentáciu.

export -f work
xargs -P0 -t bash -c 'work "$@"' -- <"$my_file"

Praveen Sastry · Answer 2 · 2021-11-25T06:11:48

Ako @KamilCuk poukázal tu, môžete ľahko urobiť tento prebiehať súčasne. Avšak, Ak spustíte tento skript paralelne, môžete skončiť stále škrtil podľa EC2, takže sa uistite, môžete pridať aj nejaké backoff + opakuj logic / rešpektovať limity uvedené tu https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html

Bash Skript spustiť AWS Cli príkazov súčasne znížiť čas

Otázka

Najlepšiu odpoveď

V iných jazykoch

Táto stránka je v iných jazykoch

Populárne v tejto kategórii

Obľúbené otázky v tejto kategórii