Flusso di lavoro con le funzioni Cloud Run

Prima di iniziare

Se non l'hai ancora fatto, configura un progetto Google Cloud e due (2) bucket Cloud Storage.

Configura il progetto

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

Crea o utilizza due bucket Cloud Storage nel tuo progetto

Nel tuo progetto avrai bisogno di due bucket Cloud Storage: uno per i file di input e un altro per l'output.

Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
Vai a Bucket
Fai clic su Crea.
Nella pagina Crea un bucket, inserisci le informazioni del bucket. Per andare al passaggio successivo, fai clic su Continua.
1. Nella sezione Inizia, segui questi passaggi:
  - Inserisci un nome univoco globale che soddisfi i requisiti per la denominazione dei bucket.
  - Per aggiungere un'etichetta bucket, espandi la sezione Etichette (), fai clic su Aggiungi etichetta e specifica un key e un value per l'etichetta.
2. Nella sezione Scegli dove archiviare i tuoi dati, segui questi passaggi:
  1. Seleziona un Tipo di località.
  2. Scegli una posizione in cui i dati del bucket vengono archiviati in modo permanente dal menu a discesa Tipo di località.
    - Se selezioni il tipo di località a doppia regione, puoi anche scegliere di attivare la replica turbo utilizzando la casella di controllo pertinente.
  3. Per configurare la replica tra bucket, seleziona Aggiungi una replica tra bucket mediante Storage Transfer Service e segui questi passaggi:
    Configura la replica tra bucket
    
    Nel menu Bucket, seleziona un bucket.
    
    Nella sezione Impostazioni di replica, fai clic su Configura per configurare le impostazioni per il job di replica.
    
    Viene visualizzato il riquadro Configura replica tra bucket.
    
    Per filtrare gli oggetti da replicare in base al prefisso del nome dell'oggetto, inserisci un prefisso da cui includere o escludere gli oggetti, quindi fai clic su Aggiungi un prefisso.
    
    Per impostare una classe di archiviazione per gli oggetti replicati, seleziona una classe di archiviazione dal menu Classe di archiviazione. Se salti questo passaggio, gli oggetti replicati utilizzeranno per impostazione predefinita la classe di archiviazione del bucket di destinazione.
    
    Fai clic su Fine.
3. Nella sezione Scegli come archiviare i tuoi dati, segui questi passaggi:
  1. Seleziona una classe di archiviazione predefinita per il bucket o Autoclass per la gestione automatica della classe di archiviazione dei dati del bucket.
  2. Per attivare lo spazio dei nomi gerarchico, nella sezione Ottimizza l'archiviazione per workload con uso intensivo dei dati, seleziona Abilita uno spazio dei nomi gerarchico in questo bucket.
    Nota: non puoi abilitare lo spazio dei nomi gerarchico nei bucket esistenti.
4. Nella sezione Scegli come controllare l'accesso agli oggetti, seleziona se il bucket applica o meno la prevenzione dell'accesso pubblico e seleziona un metodo di controllo dell'accesso per gli oggetti del bucket.
  Nota:non puoi modificare l'impostazione Impedisci l'accesso pubblico se questa impostazione viene applicata a un criterio dell'organizzazione.
5. Nella sezione Scegli come proteggere i dati degli oggetti, segui questi passaggi:
  - Seleziona una delle opzioni in Protezione dei dati che vuoi impostare per il bucket.
    - Per attivare l'eliminazione temporanea, fai clic sulla casella di controllo Criterio di eliminazione temporanea (per il recupero dei dati) e specifica il numero di giorni per cui vuoi conservare gli oggetti dopo l'eliminazione.
    - Per impostare il controllo delle versioni degli oggetti, seleziona la casella di controllo Controllo delle versioni degli oggetti (per il controllo delle versioni) e specifica il numero massimo di versioni per oggetto e il numero di giorni dopo i quali scadono le versioni non correnti.
    - Per abilitare il criterio di conservazione su oggetti e bucket, seleziona la casella di controllo Conservazione (per la conformità), quindi procedi nel seguente modo:
      - Per attivare il blocco della conservazione degli oggetti, fai clic sulla casella di controllo Abilita conservazione degli oggetti.
      - Per attivare Bucket Lock, fai clic sulla casella di controllo Imposta criterio di conservazione del bucket e scegli un'unità di tempo e una durata per il periodo di conservazione.
  - Per scegliere come verranno criptati i dati degli oggetti, espandi la sezione Crittografia dei dati () e seleziona un metodo di crittografia dei dati.
Fai clic su Crea.

Crea un modello di flusso di lavoro

Per creare e definire un modello di workflow, copia ed esegui i seguenti comandi in una finestra del terminale locale o in Cloud Shell.

Crea il template di workflow.

  gcloud dataproc workflow-templates create wordcount-template \
      --region=us-central1

Aggiungi il job conteggio parole al template di workflow.

Specifica output-bucket-name prima di eseguire il comando (la funzione fornirà il bucket di input). Dopo aver inserito output-bucket-name, l'argomento output-bucket dovrebbe essere il seguente: gs://your-output-bucket/wordcount-output".

L'ID passaggio "count" è obbligatorio e identifica il job Hadoop aggiunto.

          gcloud dataproc workflow-templates add-job hadoop \
              --workflow-template=wordcount-template \
              --step-id=count \
              --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
              --region=us-central1 \
              -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output

Utilizza un cluster gestito, a un solo nodo per eseguire il flusso di lavoro. Dataproc creerà il cluster, eseguirà il workflow e lo eliminerà al termine del workflow.

    gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
        --cluster-name=wordcount \
        --single-node \
        --region=us-central1

Fai clic sul nome di wordcount-template nella pagina Workflow di Dataproc nella console Google Cloud per aprire la pagina Dettagli del modello di workflow. Conferma gli attributi wordcount-template.

Parametrizzare il modello di workflow

Parametrizza la variabile del bucket di input da passare al modello di workflow.

Esporta il modello di workflow in un file di testo wordcount.yaml per la parametrizzazione.

gcloud dataproc workflow-templates export wordcount-template \
    --destination=wordcount.yaml \
    --region=us-central1

Utilizzando un editor di testo, apri wordcount.yaml, quindi aggiungi un blocco parameters alla fine del file YAML in modo che INPUT_BUCKET_URI di Cloud Storage possa essere trasmesso come args[1] al binario wordcount quando viene attivato il flusso di lavoro.
Di seguito è mostrato un file YAML esportato di esempio. Per aggiornare il modello, puoi adottare uno dei due approcci seguenti:
1. Copia e incolla l'intero file per sostituire il file wordcount.yaml esportato dopo aver sostituito your-output_bucket con il nome del bucket di output OPPURE
2. Copia e incolla solo la sezione parameters alla fine del file wordcount.yaml esportato.
.
```
jobs:
- hadoopJob:
    args:
    - wordcount
    - gs://input-bucket
    - gs://your-output-bucket/wordcount-output
    mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
  stepId: count
placement:
  managedCluster:
    clusterName: wordcount
    config:
      softwareConfig:
        properties:
          dataproc:dataproc.allow.zero.workers: 'true'
parameters:
- name: INPUT_BUCKET_URI
  description: wordcount input bucket URI
  fields:
  - jobs['count'].hadoopJob.args[1]
```

Importa il file di testo wordcount.yaml con parametri. Digita "Y" per sovrascrivere il modello.

gcloud dataproc workflow-templates import  wordcount-template \
    --source=wordcount.yaml \
    --region=us-central1

Crea una funzione Cloud

Apri la pagina Cloud Run Functions nella consoleGoogle Cloud , poi fai clic su CREA FUNZIONE.

Nella pagina Crea funzione, inserisci o seleziona le seguenti informazioni:

Name: wordcount
Memoria allocata:mantieni la selezione predefinita.
Trigger:
- Cloud Storage
- Tipo di evento: Finalizza/crea
- Bucket: seleziona il bucket di input (vedi Creare un bucket Cloud Storage nel tuo progetto). Quando un file viene aggiunto a questo bucket, la funzione attiva il flusso di lavoro. Il flusso di lavoro eseguirà l'applicazione wordcount, che elaborerà tutti i file di testo nel bucket.

Codice sorgente:

Editor in linea
Runtime: Node.js 8
scheda INDEX.JS: sostituisci lo snippet di codice predefinito con il seguente codice, poi modifica la riga const projectId per fornire -your-project-id- (senza "-" iniziale o finale).

const dataproc = require('@google-cloud/dataproc').v1;

exports.startWorkflow = (data) => {
 const projectId = '-your-project-id-'
 const region = 'us-central1'
 const workflowTemplate = 'wordcount-template'

const client = new dataproc.WorkflowTemplateServiceClient({
   apiEndpoint: `${region}-dataproc.googleapis.com`,
});

const file = data;
console.log("Event: ", file);

const inputBucketUri = `gs://${file.bucket}/${file.name}`;

const request = {
  name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
  parameters: {"INPUT_BUCKET_URI": inputBucketUri}
};

client.instantiateWorkflowTemplate(request)
  .then(responses => {
    console.log("Launched Dataproc Workflow:", responses[1]);
  })
  .catch(err => {
    console.error(err);
  });
};

Scheda PACKAGE.JSON: sostituisci lo snippet di codice predefinito con il seguente codice.

{
  "name": "dataproc-workflow",
  "version": "1.0.0",
  "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
}

Funzione da eseguire: inserisci "startWorkflow".

Fai clic su CREA.

Testare la funzione

Copia il file pubblico rose.txt nel tuo bucket per attivare la funzione. Inserisci your-input-bucket-name (il bucket utilizzato per attivare la funzione) nel comando.
```
gcloud storage cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
```
Attendi 30 secondi, quindi esegui questo comando per verificare che la funzione sia stata completata correttamente.
```
gcloud functions logs read wordcount
```
```
...
Function execution took 1348 ms, finished with status: 'ok'
```
Per visualizzare i log delle funzioni dalla pagina dell'elenco Funzioni nella console Google Cloud , fai clic sul nome della funzione wordcount, quindi su VISUALIZZA LOG nella pagina Dettagli funzione.
Puoi visualizzare la cartella wordcount-output nel bucket di output dalla pagina Browser di archiviazione nella consoleGoogle Cloud .

Nota: il job di conteggio delle parole non andrà a buon fine se esiste la cartella wordcount-output. Prima di eseguire nuovamente il flusso di lavoro attivando di nuovo la funzione, elimina la cartella wordcount-output nel bucket di output.
Al termine del workflow, i dettagli del job vengono conservati nella consoleGoogle Cloud . Fai clic sul job count... elencato nella pagina Job di Dataproc per visualizzare i dettagli del job del workflow.

Esegui la pulizia

Il workflow di questo tutorial elimina il cluster gestito al termine del workflow. Per evitare costi ricorrenti, puoi eliminare altre risorse associate a questo tutorial.

Elimina un progetto

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

Nella console Google Cloud , vai alla pagina Gestisci risorse.
Vai a Gestisci risorse
Nell'elenco dei progetti, seleziona quello che vuoi eliminare, quindi fai clic su Elimina.
Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Elimina bucket Cloud Storage

Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
Vai a Bucket
Fai clic sulla casella di controllo del bucket da eliminare.
Per eliminare il bucket, fai clic su Elimina, quindi segui le istruzioni.

Elimina il modello di workflow

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Elimina la funzione Cloud

Apri la pagina Cloud Run Functions nella console Google Cloud , seleziona la casella a sinistra della funzione wordcount e fai clic su Elimina.