使用 Cloud Run functions 的工作流程

事前準備

如果尚未設定 Google Cloud 專案和兩個 (2) Cloud Storage bucket，請先完成設定。

設定專案

  1. 登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. 安裝 Google Cloud CLI。

  6. 若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

  7. 執行下列指令，初始化 gcloud CLI：

    gcloud init

  8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  9. Verify that billing is enabled for your Google Cloud project.

  10. Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  11. 安裝 Google Cloud CLI。

  12. 若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

  13. 執行下列指令，初始化 gcloud CLI：

    gcloud init

在專案中建立或使用兩個 Cloud Storage bucket

專案需要兩個 Cloud Storage bucket：一個用於輸入檔案，另一個用於輸出檔案。

  1. 前往 Google Cloud 控制台的 Cloud Storage「Buckets」(值區) 頁面。

    前往「Buckets」(值區) 頁面

  2. 點選 「Create」(建立)。
  3. 在「建立 bucket」頁面中，輸入 bucket 資訊。如要前往下一個步驟，請按「繼續」。
    1. 在「開始使用」部分，執行下列操作：
      • 輸入符合值區命名規定的全域不重複名稱。
      • 如要新增值區標籤，請展開「標籤」部分 ()，按一下 「新增標籤」，然後為標籤指定 key 和 value。
    2. 在「Choose where to store your data」(選擇資料的儲存位置) 專區中，執行下列操作：
      1. 選取「位置類型」。
      2. 從「位置類型」下拉式選單中，選擇要永久儲存 bucket 資料的位置。
        • 如果您選取「雙區域」位置類型，也可以使用相關核取方塊啟用強化型複製。
      3. 如要設定跨值區複製，請選取「透過 Storage 移轉服務新增跨值區複製作業」，然後按照下列步驟操作：

        設定跨 bucket 複製作業

        1. 在「Bucket」選單中選取 bucket。

        2. 在「複製設定」部分，按一下「設定」，設定複製作業的設定。

          系統隨即會顯示「設定跨 bucket 複製作業」窗格。

          • 如要依物件名稱前置字串篩選要複製的物件，請輸入要納入或排除物件的前置字串，然後按一下「新增前置字串」。
          • 如要為複製的物件設定儲存空間級別，請從「儲存空間級別」選單中選取儲存空間級別。如果略過這個步驟，複製的物件預設會使用目標值區的儲存空間級別。
          • 按一下 [完成]。
    3. 在「選擇資料儲存方式」部分，執行下列操作：
      1. 選取 bucket 的預設儲存空間級別，或選取「Autoclass」，讓系統自動管理 bucket 資料的儲存空間級別。
      2. 如要啟用階層命名空間，請在「為資料密集型工作負載提供最理想的儲存空間」部分，選取「為這個值區啟用階層命名空間」。
    4. 在「選取如何控制物件的存取權」部分，選取 bucket 是否要強制執行禁止公開存取，並為 bucket 的物件選取存取權控管方法。
    5. 在「選擇保護物件資料的方式」部分，執行下列操作：
      • 在「資料保護」下方，選取要為 bucket 設定的選項。
        • 如要啟用虛刪除，請按一下「虛刪除政策 (用於資料復原)」核取方塊，並指定要保留物件的天數 (刪除後)。
        • 如要設定「物件版本管理」，請按一下「物件版本管理 (用於版本管控)」核取方塊，並指定每個物件的版本數量上限，以及非現行版本失效的天數。
        • 如要為物件和 bucket 啟用保留政策，請勾選「保留 (符合法規)」核取方塊，然後執行下列操作：
          • 如要啟用 Object Retention Lock，請按一下「啟用物件保留功能」核取方塊。
          • 如要啟用「Bucket Lock」，請勾選「Set bucket retention policy」(設定值區保留政策) 核取方塊，然後選擇保留期限的時間單位和長度。
      • 如要選擇物件資料的加密方式，請展開「資料加密」部分 ()，然後選取「資料加密」方法。
  4. 點選「建立」。

建立工作流程範本

請複製下列指令，並在本機終端機視窗或 Cloud Shell 執行，以建立及定義工作流程範本。

  1. 建立工作流程範本。
      gcloud dataproc workflow-templates create wordcount-template \
      --region=us-central1
  2. 將 wordcount 工作新增至工作流程範本。
    1. 請先指定 output-bucket-name 再執行指令 (函式會提供輸入 bucket)。插入 output-bucket-name 後，輸出 bucket 引數應如下所示：gs://your-output-bucket/wordcount-output"。
    2. 「count」步驟 ID 為必填欄位，用於識別新增的 Hadoop 工作。
                gcloud dataproc workflow-templates add-job hadoop \
              --workflow-template=wordcount-template \
              --step-id=count \
              --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
              --region=us-central1 \
              -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
  3. 使用代管的單一節點叢集執行工作流程。Dataproc 會建立叢集、在叢集上執行工作流程，然後在工作流程完成時刪除叢集。
        gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
        --cluster-name=wordcount \
        --single-node \
        --region=us-central1
  4. 在 Google Cloud 控制台的 Dataproc「Workflows」(工作流程) 頁面中，按一下 wordcount-template 名稱，開啟「Workflow template details」(工作流程範本詳細資料) 頁面。確認 wordcount-template 屬性。 工作流程範本詳細資料頁面

將工作流程範本參數化

將要傳遞至工作流程範本的輸入 bucket 變數參數化。

  1. 將工作流程範本匯出至 wordcount.yaml 文字檔，以進行參數化。
    gcloud dataproc workflow-templates export wordcount-template \
    --destination=wordcount.yaml \
    --region=us-central1
  2. 使用文字編輯器開啟 wordcount.yaml，然後在 YAML 檔案結尾加入 parameters 區塊，這樣在觸發工作流程時，Cloud Storage INPUT_BUCKET_URI 就能以 args[1] 形式傳遞至 wordcount 二進位檔。

    以下是匯出的 YAML 檔案範例。您可以採取下列其中一種方法來更新範本：

    1. 複製並貼上整個檔案來取代匯出的檔案 wordcount.yaml (請先將 your-output_bucket 替換為輸出 bucket 名稱)，或
    2. 只複製 parameters 部分，然後貼到匯出的 wordcount.yaml 檔案結尾。
    . 
    jobs:
- hadoopJob:
    args:
    - wordcount
    - gs://input-bucket
    - gs://your-output-bucket/wordcount-output
    mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
  stepId: count
placement:
  managedCluster:
    clusterName: wordcount
    config:
      softwareConfig:
        properties:
          dataproc:dataproc.allow.zero.workers: 'true'
parameters:
- name: INPUT_BUCKET_URI
  description: wordcount input bucket URI
  fields:
  - jobs['count'].hadoopJob.args[1]
  3. 匯入參數化 wordcount.yaml 文字檔。系統詢問是否要覆寫範本時，請輸入「Y」es。 
    gcloud dataproc workflow-templates import  wordcount-template \
    --source=wordcount.yaml \
    --region=us-central1

建立 Cloud 函式

  1. 在Google Cloud 控制台中開啟「Cloud Run functions」頁面，然後按一下「CREATE FUNCTION」(建立函式)。

  2. 在「Create function」(建立函式) 頁面中，輸入或選取下列資訊：

    1. 名稱：wordcount
    2. 配置的記憶體：保留預設選取項目。
    3. 觸發條件：
      • Cloud Storage
      • 事件類型：完成/建立
      • Bucket：選取輸入 bucket (請參閱「在專案中建立 Cloud Storage bucket」)。 檔案新增至這個 bucket 時，函式會觸發工作流程。工作流程會執行 wordcount 應用程式，處理 bucket 中所有文字檔。

    4. 原始碼：

      • 內嵌編輯器
      • 執行階段：Node.js 8
      • INDEX.JS 分頁：將預設程式碼片段替換為下列程式碼，然後編輯 const projectId 行並提供 -your-project-id- (開頭或結尾不加「-」)。
      const dataproc = require('@google-cloud/dataproc').v1;

exports.startWorkflow = (data) => {
 const projectId = '-your-project-id-'
 const region = 'us-central1'
 const workflowTemplate = 'wordcount-template'

const client = new dataproc.WorkflowTemplateServiceClient({
   apiEndpoint: `${region}-dataproc.googleapis.com`,
});

const file = data;
console.log("Event: ", file);

const inputBucketUri = `gs://${file.bucket}/${file.name}`;

const request = {
  name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
  parameters: {"INPUT_BUCKET_URI": inputBucketUri}
};

client.instantiateWorkflowTemplate(request)
  .then(responses => {
    console.log("Launched Dataproc Workflow:", responses[1]);
  })
  .catch(err => {
    console.error(err);
  });
};
      • PACKAGE.JSON 分頁：將預設程式碼片段替換為下列程式碼。
      {
  "name": "dataproc-workflow",
  "version": "1.0.0",
  "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
}
      • 要執行的函式：Insert: "startWorkflow"。

    5. 點選「CREATE」(建立)。

測試函式

  1. 將公開檔案 rose.txt 複製到 bucket 以觸發函式。在指令中插入 your-input-bucket-name (用於觸發函式的 bucket)。

    gcloud storage cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name

  2. 等待 30 秒，然後執行下列指令，確認函式是否已順利完成。

    gcloud functions logs read wordcount

    ...
Function execution took 1348 ms, finished with status: 'ok'

  3. 如要在 Google Cloud 控制台的「Functions」(函式) 清單頁面中查看函式記錄，請按一下函式名稱 wordcount，然後在「Function details」(函式詳細資料) 頁面中按一下「VIEW LOGS」(查看記錄檔)。

  4. 您可以在Google Cloud 控制台的「Storage browser」(儲存空間瀏覽器) 頁面，查看輸出 bucket 的 wordcount-output 資料夾。

  5. 工作流程完成後，詳細資料會保留在Google Cloud 控制台。按一下 Dataproc「Jobs」(工作) 頁面列出的 count... 工作，即可查看工作流程的工作詳細資料。

清除所用資源

本教學課程中的工作流程會在完成時刪除代管叢集，為避免產生週期性費用，您可以刪除與本教學課程相關的其他資源。

刪除專案

  1. 前往 Google Cloud 控制台的「Manage resources」(管理資源) 頁面。

    前往「Manage resources」(管理資源)

  2. 在專案清單中選取要刪除的專案，然後點選「Delete」(刪除)。
  3. 在對話方塊中輸入專案 ID，然後按一下 [Shut down] (關閉) 以刪除專案。

刪除 Cloud Storage bucket

  1. 前往 Google Cloud 控制台的 Cloud Storage「Buckets」(值區) 頁面。

    前往「Buckets」(值區) 頁面

  2. 按一下要刪除的值區旁的核取方塊。
  3. 如要刪除值區，請依序點選 「Delete」(刪除)，然後按照指示操作。

刪除工作流程範本

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

刪除 Cloud 函式

在 Google Cloud 控制台開啟「Cloud Run functions」頁面，選取 wordcount 函式左側的方塊，然後按一下「Delete」(刪除)。

後續步驟