云渲染的基本原理是将D渲染应用部署到云端，接收本地的控制指令发送到云端，云端启动游戏引擎并进行画面渲染，编码成视频流传输到本地。
不难看出，云渲染技术的核心在于将计算搬到云端，对渲染出的画面进行流化的传输。而过程中渲染画面的抓取、编码、传输、显示等流程被称为串流。
串流是云渲染业务用户体验的核心，串流延时、画质、卡顿等都会直接影响到用户体验。
云渲染串流技术框架主要分为两部分：云端串流引擎和串流客户端。
云端串流引擎：在云端GPU上，响应客户端发送过来的控制指令，启动渲染应用并进行串流视频的处理与发送。引擎往下适配各种OS和硬件，往上对接调度和业务系统。
串流客户端：串流客户端类似一个播放器，进行串流视频的接收和编码，同时发送控制指令来操作云端渲染引擎。云端串流引擎和串流客户端通常是一对一的。
基于云渲染串流技术能够大幅度弱化本地GPU渲染应用压力，将复杂资源处理过程迁移至云端进行，本地计算需求退化为一个播放器。
01云渲染串流的三大技术挑战云渲染的核心技术指标与挑战主要有以下三方面：延时、画质与流畅度、成本（包括GPU计算成本和传输带宽成本）。
首先，延时是云渲染串流技术体验的基础，超低延时的需求则带来了巨大的技术挑战。云渲染串流过程中的延时主要分为两方面：
端到端的延时：音视频通话ms以下延时已经难度很大，对于云渲染串流技术而言，想要将端到端延时控制在ms内更是难上加难。
MotiontoPhoto的延时：比如在VR云游戏场景下，使用头盔进行头部转动动作时，画面上的延时称作MotiontoPhoto的延时，为保障用户体验需要将该延时控制在20ms以内。
对于画质和流畅度来说，云渲染需要输出视频流，画质与流畅度作为用户直观的体验，其技术带来的挑战主要在以下三方面：
1.面临复杂网络环境与不稳定的带宽，能否保障画面清晰度与流畅度；
2.画质、码率、计算成本三角关系的平衡；
.技术先进性和兼容性的平衡，如：更先进的编码技术H虽然能够提升画质，但其解码性能和兼容性如何保障？
在成本方面，目前来看，云游戏、云渲染正在蓬勃发展，但离实现商业化盈利仍然路途遥远。首先，云渲染GPU资源存在一对一独占资源的特点，单用户消耗的计算资源较高。其次，云游戏存在明显的业务高峰，通常集中在晚间，其他闲时资源如何利用成为了一大问题。最后，如前文提到，云渲染对画质和帧率有较高要求，如何在保障用户体验的同时降低每个渲染进程的资源消耗。
02多维度优化云渲染策略延时优化
下图对全链路延时进行拆解，其中如指令传输、音视频流控QoS等环节的延时波动较小，优化工作主要针对传输、编解码的延时进行。
传输延时优化
由于云渲染服务与理距离来减少延时，基于高覆盖的ENS边缘节点集群进行就近处理与传输，通过调度将任务下发至离用户最近的GPU节点进行处理与串流工作。
其次可以通过传输协议上的优化来减少延时。取代传统的RTMP、HLS协议，转向采用RTC协议进行传输，同时针对云渲染的场景特点来制定QoS策略，如带宽估计、拥塞控制等来实现优化效果。
编/解码延时优化
影响编码延时的主要因素是帧级的线程缓存、lookahead缓存、B帧。优化编解码延时的核心思路是“进一帧，编一帧，出一帧”，不进行任何缓存，用slicethread代替framethreads，关闭lookahead与关闭B帧(在HEVC标准下，可采用GPB编码方式，将普通B帧用低延时B帧进行替代，既能提升画质又能降低延时)。
画质与流畅度优化
画质与流畅度呈现的关系如同跷跷板，为了保障用户体验往往需要在两者之间进行平衡。在云渲染场景下，编码需要与网络进行联动，通过实现网络自适应传输与编码来优化流畅度：
带宽估计：根据网络情况动态调整编码器码率等参数；
拥塞控制：采用BBR或是GCC进行拥塞控制，如主动丢帧。BBR策略收敛更快，通常更适合云游戏场景；
丢包重传：如前文所述云渲染采取就近传输方式，可以根据这个特点实现快速重传策略；
抗I帧风暴：由于I帧占用带宽较大，在I帧过多的情况下对于清晰度与流畅度造成较大影响；
控制I帧数量和大小
视频帧的类型分为I帧、P帧、B帧，其中I帧大小远大于P帧与B帧，I帧密集容易引起卡顿，Intrarefresh策略能够有效解决此类问题。
通过将I帧拆分为多个Islice并按顺序平铺到连续的帧中，有效控制I帧的梳理。出现丢帧后可依次排序组合恢复出完整的一帧。
VBR+VBV码率控制策略
CBR码控策略可以使得码率平稳，保障流畅度。但考虑到云游戏场景画面运动剧烈，因此固定码率会造成部分帧画质较差的问题。需要在画质与流畅度间取得平衡，推荐采用VBR算法+VBV参数的方式控制码率波动，使得码率能够在一定范围内实现“平稳”地波动。
云端协同的CodeC选择
在当前环境下，手机终端大多已经支持H解码，云端GPU也大多支持H编码。如果云和端都支持H解码，通过云与端的协商，在云端优先进行H编码，能够在同等清晰度下使码率降低20%~40%。
CPU+GPU混合的窄带高清编码
单独使用CPU编码成本高、延迟大；单独使用GPU编码灵活性差、画质差。可融合CPU与GPU编码能力，采用GPU为主、CPU为辅的混合编码策略。
阿里云窄带高清编码技术，通过视频增强处理和编码的联合优化，能够在码率相同时显著提升画质。或者使码率在降低0%～60%的情况下，视频画质仍然持平甚至有所提升。
但云渲染场景与普通的视频特点差别较大，且通常需要采用硬件编码。需要思考如何在低延时、场景快速切换、运动剧烈的情况下优化GPU编码的画质与流畅度。后文将结合三星堆云渲染场景，介绍阿里云在云游戏场景的窄带高清效果。
成本优化
解决基础体验问题后，成本问题成为云渲染、云游戏商业化面临的最为突出的挑战。云渲染成本主要可以分为三条线：单任务实际GPU资源消耗，单机资源利用率，总资源池利用率。成本优化策略需要围绕如图所示的三条线展开。而在实际场景中云渲染成本优化还存在以下四方面的问题：
1.单进程资源消耗大
2.CPU-GPU内存拷贝效率低
.单机资源利用率低
4.业务并发时间集中
从以上四个角度出发，接下来将详细介绍如何实现云渲染成本优化。
单任务资源消耗优化
GPU硬编码：GPU渲染单元与编解码单元独立，在渲染的同时可以应用GPU进行编码工作，有效降低CPU消耗；
CPU-GPUmemoryzerocopy：由于CPU与GPU的排列方式，处理图像帧的格式、内存的layout存在差异，因此需要构建全GPU处理的pipeline，减少CPU在过程中的参与度，可显著提升性能，降低延时；
CUDA加速：图像缩放/颜色空间转换等可用CUDA加速；
单机资源利用率-虚拟化与多开
当降低了单进程资源消耗后，通过采用虚拟化与多开技术能够有效提高单机资源利用率，一张卡上同时运行多个渲染进程。实际上，GPU的虚拟化技术为云游戏、云渲染的大规模商业化落地奠定了基础。
?集群资源利用率-业务混跑
实际情况下，仅通过上诉两种方法依然难以解决成本问题。实现业务混跑，提高集群资源利用率，是云游戏、云渲染技术真正实现普惠的关键。其核心在于利用不同的视频处理高峰时期，对GPU集群进行分时复用。如在白天时段利用GPU集群完成离线AI处理工作，晚上6～8时进行直播转码处理工作，在9～11时进行云渲染、云游戏应用处理工作。基于业务的多样性，充分利用总GPU资源池，有效降低云渲染成本。所以视频云业务的多样性也是降低成本的重要优势。
0云渲染实践案例一键开启三星堆奇幻之旅CCTV《三星堆奇幻之旅》采用了阿里云的大规模即时云渲染技术，将大型沉浸式体验需要的图形算力、存储需求放在云端，观众看到和交互的画面都是由云端即时渲染计算出来，从而让观众摆脱本地硬件限制，仅通过一个H5页面，便可低成本地享受高质量的沉浸式体验。作为高热度、高并发的云渲染应用，该实践案例支持5K的并发，预备万路弹性，最终登上微博热搜TOP，收获了00万播放量。
这样热度和规模的活动，要保证每个用户的高体验，对技术上的要求和挑战都是巨大的，阿里云构建了多个维度的技术体系来提升用户体验。
阿里云视频云的GRTN（GlobalRealtimeTransportNetwork）低延时网实现边缘传输，有效降低传输方面的延时。GRTN是阿里云各个音视频通信业务方合力打造的传输网，支持HTML5的信令接入。GRTN采用层级网和对等网相结合的混合网络架构，媒体传输链路更短，全链路采用延时更低的基于UDP的RTC协议，并利用深度定制的动态路由、传输控制、边缘计算、双向实时信令网等机制。视频云云考古机制是基于GRTN设计，可接入视频云直播、点播和RTC等业务，便于全球实时传输，实现业务扩展。
RMS云渲染引擎也为三星堆项目体验发挥了非常重要的作用。RMS负责渲染视频的采集、处理、编码和传输。RMS的处理性能和延时、编码画质、QOS的传输体验都直接影响三星堆项目的用户体验。
游戏/渲染引擎输出的图像帧一般都是显存中，如果采用CPU软编或者ASIC异构编码的方式，会存在拷贝延迟。因此RMS采用GPU硬件处理为主、CPU处理为辅的方式，达到视频帧zero-copy的极致延迟体验，在满足画质、流畅度需求的前提下，充分降低性能消耗和计算成本。
同时，RMS在QOS策略上也做了大量的优化。本次云考古面向的是全国各地的观众，为应对复杂多变的网络环境，我们在RTC网络的传输Qos保障的基础上，对JitterBuffer/NetEQ/带宽估计/可靠传输(丢包重传、乱序重组)，以及Qos模块和编码模块的配合上做了专门的调整，包括智能策略组合、智能码控、丢帧逻辑和FIR处理等方面。同时，在QOS的码率分配上，我们也做了大量优化，可以在保障抗弱网能力的同时，将有限的带宽更多地分配到编码器的码率上，提升视频清晰度。
在视频编码算法方面，我们利用云渲染场景深度优化的窄带高清技术来提升清晰度。通过云端GPU与客户端CPU的联动，进行内容自适应的纹理和色彩增强处理，有效提升了视频画质，且算法的性能和成本都大幅降低，对全链路延时和客户端功耗的增加都达到可以忽略的程度。而图像处理算法与编码算法的有机结合优化，可在保证画质的同时，显著降低了视频码率大小和码率波动。
最终的效果呈现如上图所示，左侧仅仅采用GPU进行编码，色彩相对暗淡、文字相对模糊，画面饱和度、对比度相对较差；右侧通过我们的GPU+CPU联合优化的窄带高清处理，在码率降低5%的情况下，VMAF提高10%，主观的画面纹理细节和色彩效果也有提升。
面向未来，云渲染串流技术发展方向已经明晰，一方面通过与AR、VR、XR进行结合，打造沉浸式的云渲染体验。而其中关键的20ms以下的MotiontoPhoto延时，则是突出的技术挑战，可以考虑采用异步渲染的方式进行延时优化。
另一方面通过与虚拟社交、音视频通话与直播进行结合，向交互式、综合式的应用方向发展。云渲染串流与AI算法、直播技术、RTC音视频通话技术的结合，是未来技术的演进方向。我们的RMS云渲染引擎支持多种AI特效、直播旁路直播与RTC云合流，为未来云渲染的技术综合性要求打下了基础。