SageMaker Studio Lab与AWS无缝对接安全访问云资源的完整指南【免费下载链接】studio-lab-examplesExample notebooks for working with SageMaker Studio Lab. Sign up for an account at the link below!项目地址: https://gitcode.com/gh_mirrors/st/studio-lab-examplesSageMaker Studio Lab是AWS提供的免费机器学习开发环境非常适合初学者和开发者进行模型实验与学习。本文将详细介绍如何将SageMaker Studio Lab与AWS云资源安全对接实现从本地开发到云端部署的完整流程帮助你充分利用AWS的强大算力和服务。为什么选择SageMaker Studio Lab与AWS对接SageMaker Studio Lab提供免费的CPU和GPU计算资源是学习和实验机器学习模型的理想平台。但当你需要将模型部署为公共服务或处理大规模数据时与AWS云资源对接就显得尤为重要。通过对接你可以利用AWS的S3存储服务存储和管理大规模数据集使用SageMaker的托管服务部署模型为API端点借助AWS的安全机制保护你的资源和数据实现从开发到部署的无缝过渡图SageMaker Serverless Inference架构示意图展示了如何通过无服务器端点提供模型服务准备工作AWS账号与权限配置在开始对接之前你需要准备以下几项AWS账号与用户创建如果你还没有AWS账号请先注册一个在AWS控制台中创建一个具有适当权限的IAM用户为该用户生成访问密钥Access Key和秘密密钥Secret Key安装必要的工具在SageMaker Studio Lab中你需要安装AWS CLI和Boto3库%pip install boto3 %pip install awscli配置AWS凭证创建AWS配置目录并配置凭证!mkdir ~/.aws然后创建~/.aws/credentials文件添加你的访问密钥[default] aws_access_key_id 你的访问密钥 aws_secret_access_key 你的秘密密钥同时创建~/.aws/config文件配置默认区域[default] regionus-east-1⚠️安全提示AWS凭证如同你的钥匙绝对不要分享给他人或公开。使用完毕后建议删除包含凭证的代码单元格。数据传输S3存储服务的使用AWS S3Simple Storage Service是一种对象存储服务非常适合存储机器学习项目中的数据集。将本地数据上传到S3使用AWS CLI命令可以轻松将本地数据同步到S3bucket_name你的桶名称 train_file_nametrain.json s3_data_paths3://{}/data/{}.format(bucket_name, train_file_name) !aws s3 sync ./notebooks/data/ {s3_data_path}从S3下载数据到本地同样你也可以将S3上的数据下载到SageMaker Studio Lab!aws s3 sync s3://你的桶名称/data/ ./local_data/模型训练利用AWS算力SageMaker Studio Lab的免费资源有限当你需要训练大型模型时可以利用AWS的计算资源。使用Hugging Face容器训练模型AWS提供了预构建的深度学习容器包括Hugging Face、TensorFlow、PyTorch等框架。以下是使用Hugging Face容器训练模型的示例import sagemaker from sagemaker.huggingface import HuggingFace # 超参数设置 hyperparameters { model_name_or_path:t5-small, output_dir:/opt/ml/model, train_file: /opt/ml/input/data/train/{}.format(train_file_name), do_train: True, source_lang: en, target_lang: es, source_prefix:translate English to Spanish: } # 创建Hugging Face estimator huggingface_estimator HuggingFace( entry_pointrun_translation.py, source_dir./examples/pytorch/translation, instance_typeml.p3.2xlarge, instance_count1, rolerole, transformers_version4.6.1, pytorch_version1.7.1, py_versionpy36, hyperparameters hyperparameters ) # 开始训练作业 huggingface_estimator.fit({train:s3_data_path}, waitTrue)你可以在Hugging Face模型库中找到适合你任务的预训练模型例如情感分析模型distilbert-base-uncased-finetuned-sst-2-english。图Hugging Face模型页面示例展示了distilbert-base-uncased-finetuned-sst-2-english模型的详细信息和在线测试功能模型部署创建Serverless端点训练好的模型可以部署为API端点供其他应用程序调用。AWS SageMaker提供了Serverless Inference选项非常适合流量不稳定的场景。Serverless端点的工作原理SageMaker Serverless Inference会自动管理计算资源根据流量自动扩缩容你只需为实际使用的资源付费。图SageMaker Serverless Endpoints工作流程示意图展示了从请求到返回结果的完整过程创建Serverless端点的步骤创建模型使用boto3客户端创建SageMaker模型import boto3 sm_client boto3.client(sagemaker) model_data_url763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-inference:1.9-transformers4.12-cpu-py38-ubuntu20.04 container_config { Image: model_data_url, Mode: SingleModel, Environment: { HF_MODEL_ID: distilbert-base-uncased-finetuned-sst-2-english, HF_TASK : text-classification, SAGEMAKER_CONTAINER_LOG_LEVEL : 20, SAGEMAKER_REGION : us-east-1 } } response sm_client.create_model( ModelNamemodel_name, PrimaryContainercontainer_config, ExecutionRoleArnrole, EnableNetworkIsolationFalse )创建端点配置定义Serverless端点的资源配置endpoint_config_response sm_client.create_endpoint_config( EndpointConfigNameendpoint_config_name, ProductionVariants[ { ModelName: model_name, VariantName: AllTraffic, ServerlessConfig: { MemorySizeInMB: 4096, MaxConcurrency: 10 } } ] )创建端点部署模型到端点endpoint_name studio-lab-ep timestamp response sm_client.create_endpoint( EndpointNameendpoint_name, EndpointConfigNameendpoint_config_name )测试端点使用SageMaker Runtime调用端点import json runtime boto3.client(sagemaker-runtime) content_type application/json data { inputs: I love Amazon SageMaker Studio Lab! } response runtime.invoke_endpoint( EndpointNameendpoint_name, ContentTypecontent_type, Bodyjson.dumps(data) ) print(response[Body].read().decode())资源清理避免不必要的费用使用AWS服务时及时清理不再需要的资源非常重要可以避免产生意外费用。删除端点、端点配置和模型sm_client.delete_endpoint(EndpointNameendpoint_name) sm_client.delete_endpoint_config(EndpointConfigNameendpoint_config_name) sm_client.delete_model(ModelNamemodel_name)总结与下一步通过本文的指南你已经学会了如何将SageMaker Studio Lab与AWS云资源安全对接包括配置AWS凭证、传输数据、训练模型和部署Serverless端点。这些技能将帮助你充分利用AWS的强大功能将你的机器学习项目从实验阶段推向生产环境。下一步你可以尝试探索更多AWS服务如Amazon Comprehend进行自然语言处理使用AWS CloudWatch监控你的模型性能学习如何使用AWS Lambda自动触发模型推理要深入学习SageMaker Studio Lab与AWS的对接你可以参考项目中的详细示例笔记本Access_AWS_from_Studio_Lab.ipynbAccess_AWS_from_Studio_Lab_Deployment.ipynb开始你的AWS机器学习之旅吧【免费下载链接】studio-lab-examplesExample notebooks for working with SageMaker Studio Lab. Sign up for an account at the link below!项目地址: https://gitcode.com/gh_mirrors/st/studio-lab-examples创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考