AWS 上的生成式 AI - Lambda

AWS Lambda 是 AWS 提供的一項無伺服器計算服務，允許您在無需管理伺服器的情況下執行程式碼。它會根據傳入請求自動擴充套件您的應用程式，並確保僅在需要時才使用資源。

對於生成式 AI，AWS Lambda 可用於執行諸如即時推理、資料預處理或協調 AI 模型工作流等任務。您還可以將其與其他 AWS 服務（如SageMaker 或 EC2）整合，以構建用於訓練、部署和執行生成式 AI 模型的完整解決方案。

AWS Lambda 用於生成式 AI 的功能

以下是 AWS Lambda 的一些關鍵功能，這些功能可用於訓練和部署生成式 AI：

無伺服器執行
事件驅動架構
自動縮放
成本效益

在生成式 AI 中使用 AWS Lambda 進行即時推理

AWS Lambda 可與經過訓練的生成式 AI 模型一起使用，以提供即時推理功能。

例如，一旦使用SageMaker部署了文字生成模型，就可以使用 Lambda 在收到新輸入時即時觸發預測。這對於聊天機器人和內容建立等應用程式非常有用。

實施示例

以下示例將展示如何使用 AWS Lambda 和 SageMaker 進行即時文字生成。

步驟 1：先決條件

實施此示例的先決條件：

已部署為端點的 AWS SageMaker 模型。例如：GPT-2 模型
已安裝 boto3 庫，您可以使用它從 Lambda 函式呼叫 AWS SageMaker 端點。

如果您尚未安裝 boto3，可以使用以下命令安裝：

pip install boto3

步驟 2：AWS Lambda 函式

以下是呼叫 SageMaker 端點以進行即時文字生成的 AWS Lambda 函式的 Python 程式碼：

import boto3
import json

# Initialize the SageMaker runtime client
sagemaker_runtime = boto3.client('sagemaker-runtime')

# Specify your SageMaker endpoint name 
# The model must already be deployed
SAGEMAKER_ENDPOINT_NAME = 'your-sagemaker-endpoint-name'

def lambda_handler(event, context):
   # Extract input text from the Lambda event 
   # For example, user input from a chatbot
   user_input = event.get('input_text', 'Hello!')

   # Create a payload for the SageMaker model
   # Prepare input for text generation
   payload = json.dumps({'inputs': user_input})

   # Call the SageMaker endpoint to generate text
   response = sagemaker_runtime.invoke_endpoint(
      EndpointName = SAGEMAKER_ENDPOINT_NAME,
      ContentType = 'application/json',      
      Body = payload                         
   )

   # Parse the response from SageMaker
   result = json.loads(response['Body'].read().decode())
	
   # Extract the generated text from the response
   generated_text = result.get('generated_text', 'No response generated.')

   # Return the generated text to the user (as Lambda output)
   return {
      'statusCode': 200,
      'body': json.dumps({
         'input_text': user_input,
         'generated_text': generated_text
      })
   }

步驟 3：部署 Lambda 函式

編寫 Lambda 函式後，我們需要將其部署。請按照以下步驟操作：

建立 Lambda 函式

首先，登入到您的AWS Lambda
建立一個新的 Lambda 函式，並選擇 Python 3.x 作為執行時。
最後，將上面的程式碼新增到您的 Lambda 函式中。

設定 IAM 許可權

Lambda 函式的執行角色應具有呼叫 SageMaker 端點的許可權。為此，請附加AmazonSageMakerFullAccess或具有 SageMaker 訪問許可權的自定義角色。

步驟 4：測試 Lambda 函式

現在，您可以透過傳遞包含input_text欄位的示例事件來手動測試 Lambda 函式，如下所示：

{
   "input_text": "Once upon a time"
}

輸出將是一個 JSON 響應，其中包含使用者的輸入和模型生成的文字，如下所示：

{
   "input_text": "Once upon a time",
   "generated_text": "Once upon a time, there was a king who ruled a beautiful kingdom..."
}

列印頁面