注意!Azure OpenAI 的这个配置可能产生高额费用!


注意!这个设定可能会吃空你的钱包!

最近微软Azure OpenAI服务推出了PTU的部署类型,此类型可能会增加用户的使用成本。云馥本次将协助客户最大化规避相关风险。


   1、什么是PTU   

预配吞吐量单位(provisioned-throughput units),可以指定部署中所需的吞吐量。然后该服务会分配必要的模型处理容量,并确保随时可用。

   2、优 势   

相较于全局标准和标准部署类型,PTU能够让客户独享计算资源,从而不用担心全球用户过大出现全局标准或标准部署类型的延迟过大负载过大问题。

   3、适用对象   

希望保证吞吐量且延迟差异最小的客户。

   4、费 用

以GPT-4o模型为例,PTU部署类型,设定50PTU收费标准为$2/PTU/Hour,一个月的费用为2*7.3314*1.06*50*730=人民币 567303.73元。

如果设定100PTU,收费标准为$2/PTU/Hour,一个月的费用为2*7.3314*1.06*100*730=人民币 1134607.46元。

并且部署后不按照token收费,按小时固定收费,即使部署后没有使用,也会收取费用!必须删除部署模型后方可终止收费!


别担心!

云馥手把手教你切换到token计费模式!


首先,转到Azure OpenAI Studio


对于新用户:

部署——部署类型——选择全局标准


对于已创建的用户:

先删除PTU部署


再创建新的部署

除了PTU会导致成本过高以外,Azure OpenAI还存在被盗刷的风险。

即便客户没有暴露key或者账户密码给其他人,规避了来自外部的攻击,但是假设攻击者在Azure上创建了VM作为攻击发起源,那也会存在一定风险。


   如何规避来自公网的攻击?   

1、网络安全层面

设定网络白名单,只允许业务IP请求

<如果业务服务部署在在Azure,推荐使用private link


配置网络接口信息


配置虚拟网络内网IP


配置DNS信息


<如果业务服务部署在其他云或者本地环境,请添加防火墙网络白名单


添加白名单IP


2、使用成本层面

给资源设定一个预算,可以在预算超额时受到相关邮件通知。做出第一时间响应,防止成本消耗过大。

首先,确认服务的资源ID


在订阅的成本管理里,找到”预算”


创建预算


选择刚刚查到的资源ID


创建操作组


配置操作组内容


配置警报接收人

在创建过程中如遇到问题,欢迎您联系:violet.yu@cloudriches.cn。

云馥信息专业技术团队将为您提供一站式服务!


关注我们
产品与服务
解决方案
CloudRiches Empower Your Business !
联系我们
扫描二维码获取更多资讯
姓名
*
职称
*
电话
*
邮箱
*
公司
*
需求
*
提交
* 您已详阅本公司的隐私权声明,并同意本公司依法搜集、处理及利用您的个人资料