01 方案概述

现在绝大多数客户都有很多非结构化的数据存在 OSS 中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在 OSS 中,那存储的成本会增加,所以就可以通过 OSS Object FC 的方案,在不同的终端请求时,对 OSS 中的原图基于终端的要求做实时处理,然后响应返回,这样 OSS 中只需要存储原图即可。

该方案以图片处理的两类场景为例:

场景一:OSS 中只存原图,用户在请求 URL 中带着期望对图片做何种处理的参数,请求回来的图片是已经基于参数处理好的图片。

场景二:OSS 中只存某种格式的图片,实现无论用户请求时 URL 中是何种格式,都可以正常返回图片。

02 方案优势

  • 不需要所有版本的图片都保存,只需要保存原图即可,可有效优化 OSS 存储成本。
  • 可以灵活实现对 OSS 中的数据做在请求时做扩展业务逻辑的需求,极大减少 OSS 侧定制开发,并且客户可以完全掌控处理图片的逻辑,扩展性极强。比如请求时实时加水印、实时美颜处理、实时裁剪图片、实时截帧等。

03 部署架构

名词解释:

  • OPAP(Object Process Access Point):是在 AP 的能力上,拓展了 FC 功能,通过 OPAP 访问的 GetObject 会触发 FC。其他类型的请求会退化到绑定的 AP。
  • AP(AccessPoint):是 OSS 推出的新的接入点域名;通过该域名访问,有独立的权限控制。假设用户想把一个 bucket 给不同业务方使用,但是想精细控制每一个业务方的权限,可以通过创建多个 AP 给业务方使用。

04 架构说明

该方案的整条链路是非常清晰明确的:

  • 用户请求 CDN 地址展示图片。
  • CDN 没有命中后回源到 OPAP。
  • OPAP 的请求会触发函数计算的函数,在该函数中可以拿到用户请求的 URL 详细信息,然后可由用户自行实现对图片处理的逻辑。
  • 函数中对图片处理完后,将图片返回给 AP。
  • AP 返回给 OSS,由 OSS 响应给 CDN。

整个方案中,CDN 的回源配置,OPAP 的创建,AP 的创建,函数代码的实现需要在产品控制台进行配置,详细步骤参见后续内容。

05 产品介绍

专有网络 VPC(Virtual Private Cloud):是用户基于阿里云创建的自定义私有网络, 不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理云产品实例,比如 ECS、负载均衡、RDS 等。

函数计算 FC(Function Compute):函数计算是事件驱动的全托管计算服务。使用函数计算,您无需采购与管理服务器等基础设施,只需编写并上传代码或镜像。函数计算为您准备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性能监控和报警等功能。

内容分发网络(Content Delivery Network,CDN):是建立并覆盖在承载网上,由不同区域的服务器组成的分布式网络。将源站资源缓存到全国各地的边缘服务器,供用户就近获取,降低源站压力。

阿里云对象存储 OSS(Object Storage Service):是一款海量、安全、低成本、高可靠的云存储服务,可提供 99.9999999999%(12 个 9)的数据持久性,99.995% 的数据可用性。多种存储类型供选择,全面优化存储成本。

云速搭 CADT(Cloud Architect Design Tools):是一款为上云应用提供自助式云架构管理的产品,显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板,同时也支持自助拖拽方式定义应用云上架构;支持较多阿里云服务的配置和管理。用户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。

06 前置条件

在进行本文操作之前,您需要完成以下准备工作:

1)注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页面https://account.console.aliyun.com/v2/#/authc/home查看是否完成实名认证。

2)购买按量付费资源,阿里云账户余额需要大于 100 元。考虑到部署后每小时会产生费用,建议账号内余额或者代金卷金额大于 200 元。您可以登录阿里云控制台,前往账户总览页面https://usercenter2.aliyun.com/home查看账户余额。

3)该最佳实践涉及到使用 Git 下载示例中需要的代码和文件,所以请提前准备好 Git 环境。

4)该最佳实践需要您持有备案过的域名才能正常完成全部操作,请您先准备域名。

07 操作步骤

本实践可通过 CADT 官方模板快速拉起演示环境。

1. 基础环境搭建

2. 获取示例代码和文件

2.1.通过 Git 获取示例代码和文件

3. 配置对象存储 OSS

3.1.创建接入点(AP)

3.2.创建对象 FC 接入点(OPAP)

3.3.创建 RAM 授权

3.4.上传样例图片

4. 配置函数计算 FC

4.1.登录函数计算 FC 控制台

4.2.部署修改图片扩展名代码

4.3.更新 oss sdk 和 pyopenssl

5. 配置 CDN

5.1.添加 CDN域名

5.2.CDN 域名 CNAME 解析

5.3.配置 CDN 域名

6. 场景验证

6.1.转换图片扩展名场景验证

6.2.根据 URL 参数实时变更图片尺寸场景验证

6.3.验证更多场景

7. 一键释放资源

原文链接

本文为阿里云原创内容,未经允许不得转载。

云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理的更多相关文章

  1. “行业客户云原生最佳实践日” 亮相KubeCon上海

    2018年11月13日至15日,由CNCF主办的KubeCon + CloudNativeCon将首次登陆中国上海,这是全球范围内规模最大的Kubernetes和云原生技术盛会. 唯一聚焦客户实践的分 ...

  2. 探索云数据库最佳实践 阿里云开发者大会数据库专场邀你一起Code up!

    盛夏.魔都.科技 三者在一起有什么惊喜? 7月24日,阿里云峰会·上海——开发者大会将在上海世博中心盛大启程,与未来世界的开发者们分享数据库.云原生.开源大数据等领域的技术干货,共同探讨前沿科技趋势, ...

  3. nodejs 实践:express 最佳实践系列

    nodejs 实践:express 最佳实践系列 nodejs 实践:express 最佳实践(一) 项目结构 nodejs 实践:express 最佳实践(二) 中间件 nodejs 实践:expr ...

  4. ​第3届云原生技术实践峰会(CNBPS 2020)重磅开启,“原”力蓄势待发!

    CNBPS 2020将在11月19-21日全新启动!作为国内最有影响力的云原生盛会之一,云原生技术实践峰会(CNBPS)至今已举办三届. 在2019年的CNBPS上,灵雀云CTO陈恺喊出"云 ...

  5. Django 1.6 最佳实践: 如何设置django项目的设置(settings.py)和部署文件(requirements.txt)

    Django 1.6 最佳实践: 如何设置django项目的设置(settings.py)和部署文件(requirements.txt) 作者: Desmond Chen,发布日期: 2014-05- ...

  6. Attention-based Extraction of Structured Information from Street View Imagery:基于注意力的街景图像提取结构化信息

    基于注意力的街景图像提取结构化信息 一种用于真实图像文本提取问题的TensorFlow模型. 该文件夹包含在FSNS数据集数据集上训练新的注意OCR模型所需的代码,以在法国转录街道名称. 您还可以使用 ...

  7. 全网最详细中英文ChatGPT-GPT-4示例文档-从0到1快速入门解析非结构化数据应用——官网推荐的48种最佳应用场景(附python/node.js/curl命令源代码,小白也能学)

    目录 Introduce 简介 setting 设置 Prompt 提示 Sample response 回复样本 API request 接口请求 python接口请求示例 node.js接口请求示 ...

  8. 基于华为云IOT及无线RFID技术的智慧仓储解决方案最佳实践系列一

    [摘要]仓储管理存在四大细分场景:出入库管理.盘点.分拣和货物跟踪.本系列将介绍利用华为云IOT全栈云服务,端侧采用华为收发分离式RFID解决方案,打造端到端到IOT智慧仓储解决方案的最佳实践. 仓储 ...

  9. 阿里云 CDN 业务基于边缘容器的云原生转型实践

    导读:本文基于边缘容器的阿里云 CDN 云原生实践, 涵盖了边缘容器的背景和趋势,边缘托管集群 ACK Managed Edge K8s(文中简称“Edge@ACK”) 的能力.架构,以及基于边缘容器 ...

  10. 基于AngularJS的前端云组件最佳实践

    AngularJS是google设计和开发的一套前端开发框架,他能帮助开发人员更便捷地进行前端开发.AngularJS是为了克服HTML在构建应用上的不足而设计的,它非常全面且简单易学习,因此Angu ...

随机推荐

  1. 改Bug的经验

    如果修复某个Bug花了很长时间,这时候就要问问自己为什么,怎么做才吸取经验教训,在类似的问题上不再出问题,以及采用的方法,使用的工具是否还有改进的地方: 当所有问题都解决之后,一定要梳理下从最初找Bu ...

  2. Java日期、字符串、毫秒值格式转换

    1 /** 2 * 3 */ 4 package study.reliable; 5 /** 6 * @author : Administrator 7 * @date :2022年4月21日 下午9 ...

  3. 动态数组(Array)

    Array 存储具有一对一逻辑关系数据的存储顺序结构. 数组最大的优点:快速查询,最好应用于索引有语义的情况. 插入元素 template<typename T> bool Array&l ...

  4. #Kruskal重构树,Dijkstra,倍增#洛谷 4768 [NOI2018]归程

    题目传送门 分析 首先Dijkstra是必需的(关于SPFA,它死了233) 无向图,所以先求出1号节点到所有点的距离,然后肯定希望起点能驾驶到离一号点最短的汽车可到的地方 但是怎么办,考虑海拔大的边 ...

  5. #位运算#CF959E Mahmoud and Ehab and the xor-MST

    题目 \(n\)个点的完全图标号为\([0,n-1]\),\(i\)和\(j\)连边权值为\(i\: xor\:j\),求MST的值 分析 考虑MST有两种解法一种是Prim一种是Kruskal,Pr ...

  6. C++ 开发者必读经典书籍推荐

    如果你正在学习C++,那么一本好的教材或参考书可以事半功倍.以下是几本我个人推荐的C++书籍或视频 C++基础 看书 C++ Primer C++程序设计语言 Effective C++ More E ...

  7. Python 函数:定义、调用、参数、递归和 Lambda 函数详解

    函数是一段代码块,只有在调用时才会运行.您可以将数据(称为参数)传递给函数. 函数可以返回数据作为结果. 创建函数 在Python中,使用def关键字定义函数: 示例 def my_function( ...

  8. C# 属性概述

    属性概述 属性允许类公开获取和设置值的公共方法,而隐藏实现或验证代码. get 属性访问器用于返回属性值,而 set 属性访问器用于分配新值. 这些访问器可以具有不同的访问级别. 有关详细信息,请参阅 ...

  9. 三步配置阿里巴巴durid监控

    三步配置阿里巴巴durid监控 官方文档 环境:jdk17, 框架springboot3 引入依赖 <properties> <druid>1.2.21</druid&g ...

  10. Scrapy 基础入门

    0x01 框架概述 Scrapy 是基于 Python 的一个非常流行的网络爬虫框架,可以用来抓取 Web 站点并从页面中提取结构化的数据 (1)核心组件 引擎:用来控制整个系统的数据处理流程 调度器 ...