Získajte všetky Amazon S3 súbory vo vnútri segmentu v rámci Sľub

Question 1

Snažím sa chytiť tisíce súborov z Amazon S3 rámci Sľub, ale ja nedokážem prísť na to, ako sa patrí ContinuationToken v prípade, ak zoznam je skrátený a zhromaždiť všetky spolu v rámci sľub. Som začiatočník s JS a mohli využiť nejakú pomoc. Tu je to, čo mám, tak ďaleko:

getFiles()
    .then(filterFiles)
    .then(mapUrls)
;

function getFiles(token) {
    var params = {
        Bucket: bucket,
        MaxKeys: 5000,
        ContinuationToken: token
    };
    var allKeys = [];

    var p = new Promise(function(resolve, reject){
    s3.listObjectsV2(params, function(err, data) {
      if (err) { 
        return reject(err);
      }
      allKeys.push(data.Contents)
      if (data.IsTruncated) {
        s3.listObjectsV2({Bucket: bucket, MaxKeys: 5000, ContinuationToken: data.NextContinuationToken})
        console.log('Getting more images...');
        allKeys.push(data.Contents)
      }
      resolve(data.Contents);
    });
  });

  return p;
}

Potrebujem funkciu, aby sa aj naďalej zobrazovať, až kým som vytvoril zoznam všetkých objektov v vedre vrátiť.

Question 2

Potrebujete ContinuationToken druhý len raz.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

IMO, to je len s3 funkciu nazýva dvakrát viac ako vnorených hovor. Rekurzia je, keď je funkcia udržuje volá sám kým zadaná podmienka je splnená.

Prečítajte si viac o rekurzia: https://medium.com/@vickdayaram/recursion-caad288bf621

Question 3

Bol som schopný zoznam všetkých objektov v vedre pomocou pt/čakajú a kód nižšie na vyplnenie poľa.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Ďakujeme všetkým, ktorí pomohli!

sid · Answer 1 · 2021-10-25T16:29:42

Potrebujete ContinuationToken druhý len raz.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

IMO, to je len s3 funkciu nazýva dvakrát viac ako vnorených hovor. Rekurzia je, keď je funkcia udržuje volá sám kým zadaná podmienka je splnená.

Prečítajte si viac o rekurzia: https://medium.com/@vickdayaram/recursion-caad288bf621

Dobrý postreh - budem aktualizovať moja otázka s viac podrobností. Potrebujem funkciu, aby bežal, až kým sa všetky súbory boli prevzaté.

AppleBaggins · Answer 2 · 2021-10-26T00:59:26

Bol som schopný zoznam všetkých objektov v vedre pomocou pt/čakajú a kód nižšie na vyplnenie poľa.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Ďakujeme všetkým, ktorí pomohli!

Získajte všetky Amazon S3 súbory vo vnútri segmentu v rámci Sľub

Otázka

V iných jazykoch

Táto stránka je v iných jazykoch

Populárne v tejto kategórii

Obľúbené otázky v tejto kategórii