详解亚马逊云科技re:Invent上发布的Amazon Bedrock新功能-铁虎资源网

2023年亚马逊云科技re:Invent全球云计算大会，最引人注目的更新，当属亚马逊云科技模型的大模型托管服务——Amazon Bedrock。这次更新该服务增加了Fine-tuning、Agents、Knowledge Bases、Guardrails等全新功能，旨在帮助客户更高效、智能、安全地构建应用。下面就来了解下该服务的亮点、详细使用教程，以及作为开发者如何快速上手Amazon Bedrock。

Amazon Bedrock的亮点是什么？

有大量的基础模型(FM)供用户选择，功能覆盖文字生成、聊天、图片生成等。可选模型也包括了这次最新重磅发布的Anthropic Claude2.1模型，以及来自其他模型供应商共计19个模型（下图），目前支持的供应商有AI21 Labs、Meta、Cohere、Stability AI和Amazon自研模型等。

可以在Modality一列中找到适用于自己需求的模型类型，如标识了Image的大模型可以用于生成图片，Text可以用于生成文字，Embedding用于将输入转为Embedding形式做对象相似性搜索。

可以借助企业知识库功能，为FM扩展检索增强生成(RAG)功能。

安全与合规性：支持用户账户内私有化部署、用户数据全生命周期保护、支持权限管理和日志与监控功能。同时可以筛选、限制用户输入和模型输出，构建负责任的AI。

目前所有库内模型都已支持Fine-Tune模型微调，企业可以根据需求定制大模型。无需编写代码，通过GUI即可训练和验证模型。

Amazon自研模型Titan Text Express和Titan Text Lite FM已支持Pre-Training，可以对AI模型能力外的某一行业、新领域知识提供更强大的能力。

成本估算

首先，Bedrock不同模型的单位令牌价格略有差距其次根据模型功能划分计费模式：

文本生成模型按已处理的输入令牌和生成的输出令牌计费。文本嵌入模型按已处理的输入令牌计费。图像生成模型按生成的图像计费。

根据模型吞吐量模式划分：

按需付费和批量（多行输入）付费：这两种模式只需按实际用量付费，无需承诺使用期限。

预配置吞吐量：利用该模式可以预设指定模型的单元用量，时间范围可选1-6个月，通过该模式可以提供模型稳定的性能表现，同时大幅降低使用成本。

模型自定义：使用自定义模型推理需要采购预配置吞吐量，若无承诺时间，按1个模型单元付费。如果想要吞吐量达到1个模型单元以上，需要配置承诺时间。

如何打开Bedrock并申请使用模型？

进入操作台Console，打开Bedrock。

主页点击”Get Started”。

点击”Base Model”查看所有的基础模型。

如果想在账户中开启新的模型，如Claude 2.1。点击左侧”Model Access”，再点击右上角”Manage Access”，申请并开启模型。

在模型申请界面，选择想要使用的模型，再点击左下角确认即可生效。

如何在Bedrock中使用模型做内容生成？

文字生成

点击模型场景，并选择模型。

选择想要使用的具体模型以及吞吐量模式。

在文字框中输入问题并点击Play生成回复。用户可以调整输出内容长度，输出随机度、Top P采样概率等参数，下图是生成一个使用教程的场景。

聊天对话

点击模型场景，并选择模型。

选择想要使用的具体模型以及吞吐量模式。

在文字框中输入问题并点击Run开始聊天。用户可以调整输出内容长度，输出内容随机度等参数，下图是一个聊天的场景的例子。

图片生成

点击模型场景，并选择模型。

选择想要使用的具体模型以及吞吐量模式。

在文字框中描述想生成的图片形式，并点击Run开始生成。在右侧可以配置图片生成模式、输出内容限制、生成图片尺寸/分辨率/尺寸、数量等，下图是一个生成图片场景的例子。

如何利用Amazon Bedrock

构建负责任的AI

在re:Invent 2023中，亚马逊云科技CEO Adam同时发布了Amazon Bedrock的新功能Guardrails for Amazon Bedrock，用户可以利用该服务定义符合企业要求的AI模型回复安全策略，对用户输入和模型输出中不合规内容限制和筛选，从而构建负责任的AI。

Guardrails for Amazon Bedrock目前支持三项控制功能，大家通过控制台配置该服务。

Denied Topics

第一项控制功能就是通过定义禁止的话题，限制AI模型不合规的输出。图2-3就举了一个银行助手应用的场景。在该场景中，我们不想让AI模型回复和投资建议相关的话题。

此时我们需要添加禁止话题”Investment advice”，并添加话题具体的描述，让AI模型更好的理解我们的要求。

当用户问被限制的投资建议相关问题时，在下图中模型返回默认回复”无法回复”。

Content Filter

第二项控制功能是对模型输入、输出的内容中限制不良内容，并提供限制程度设定。可以筛选的不良内容包括：hate、insults、sexual和violence，可选择的程度有None、Low、Medium、High。值得注意的是Bedrock中的模型已经对上述不良内容做过限制，该控制可以进一步加强对不良内容的筛选，以满足企业内部更高标准的AI输出内容限制策略。

PII脱敏(即将上线)

第三项控制功能就是通过定义PII类型，常用的如姓名、电话、地址、邮箱、ID等，限制用户输入PII信息，或者在模型输出内容中将PII信息脱敏、移除。

该如何学习Amazon Bedrock?

说到学习Amazon Bedrock，快速上手AI大模型，学习目前最前沿的AI技术。亚马逊云科技官方的免费课程平台Skill Builder，该平台不仅包括超过600多门的在线课程帮助大家学习云服务，还包含了亚马逊云科技认证的备考课程、动手实验和练习题，帮助大家更容易地考取高含金量的云计算技能认证，为职场加速。