【我们之言】是《播送与电视技能》杂志为职业闻名专家学者开设的专栏，旨在为广电科技的研讨使用和立异展开建言献计。本文由《播送与电视技能》杂志独家授权，刊发于2020年第6期。

  本文针对超高清和后超高清年代的媒体网络技能展开趋势，提出了MC2广义智能媒体网络服务模型。介绍了模型中媒体内容、通讯网络和媒体核算等要害因素的协同展开联系以及为处理高实在、高通量、低延时等技能问题所需求的一系列要害技能，最终给出了一些代表性的智能媒体网络使用场景。

  媒体服务是一种经过记载、处理和传达等方法来协助人们感知和衔接国际的技能手段。跟着信息技能的高速展开，媒体网络不断迭代演进，以满意人类日益添加的精力文明需求。为进一步了解媒体网络的技能展开趋势，有必要从视觉感知复古动身，考虑媒体网络复古首要要素间的动态联系，探究构建一种媒体、网络、核算协同展开的研讨模型。

  人类首要经过视、听、嗅、味、触等感官对刺激物的反响来构成对外部国际的认知。视觉感知是其间最为具象的出现方法，占有了人类逾越90%的信息来历。由人眼的结构和视觉特性可知，视网膜是人们感知光线的首要介质。视网膜上的视锥细胞和视杆细胞决议了光谱、空间、时刻和亮度等人眼感知规划，这些感知规划与明暗习惯、视觉暂留、连带集中和心理学等人眼视觉特性一同组成了人类视觉感知复古。

  视频媒体是以人类视觉感知复古为根底，以不断满意视觉感知为方针展开起来的。电视的诞生第一次用电信号方法完成了动态图画的长途传送，将次序静止图画序列变成了动态电视视频。电视视频技能的展开阅历了从是非到五颜六色，模仿到数字，标清到高清，隔行到逐行的前史进程。分辨率、帧率、色域、视场等技能参数由低到高的进步带动了用户视觉感知质量不断迫临实在水平。

  超高清视频技能的到来将视觉感知质量带到了新的高度。国际和国内首要超高清技能规范（ITU-R BT.2020《超高清晰度电视复古节目制造和国际交流用参数值》和GY/T 307-2017《超高清晰度电视复古节目制造和交流参数值》）将视频技能扩展到了一个多维度目标复古。复古中不只规则了空间特性（有用像素数7,680×4,320和3,840×2,160、幅型比16：9），更清晰了时刻特性（帧率24/1.001至120Hz、逐行扫描）、色域掩盖规划（三基域掩盖率57.3%）和量化比特深度（10比特和12比特）等一系列目标。在家庭、移动及手持等使用场景和高规范8K超高清晰度视频规范（7,680×4,320、100/120fps、HDR、WCG、10比特）之下，用户已调查不到静态图画的像素点和动态图画的卡顿颤动，还能够看到全面的明暗及色彩掩盖。能够以为在高规范8K超高清晰度视频规范下，用户视觉感知质量现已根本到达了实在水平。

  二维平面的视觉感知到达实在之后，用户需求寻求更高层次的交互性、实时性和自在性需求。这些需求将促进视频媒体技能向强化用户参加的视觉通讯和互动媒体方向展开。在后超高清年代里，媒体内容技能点评目标将从二维平面展开到三维立体、从单角度展开到多角度，从零自在度、三自在度展开到六自在度，从三维建模展开到实时烘托，从高延时展开到超低延时，从真假结合展开到数字孪生。这些新一代智能媒体网络技能将带来使用场景和商业形式的重构，然后发明出一种极具用户粘性、逾越实在水平的媒体服务。媒体服务感知和衔接线智能媒体网络年代的界说及要害技能

  媒体内容在质量和数量上的迸发式添加促进了通讯网络和媒体核算的快速添加，然后催生了“E=MC2”这一广义的智能媒体网络模型。

  “E=MC2”模型中的“E”指媒体服务功率（Efficiency），包含在不同使用场景下用户视觉感知质量、服务分发速率和获取内容时延等服务体会；“M”指媒体内容（Media），代表由内容质量和数量添加带来的数据规划的改变；第一个“C”指通讯网络（Communication），代表不同节点经过协议有机相连后构成的媒体内容分发复古架构；第二个“C”指媒体核算（Computing），代表选用各种高功能智能化的算法和引擎对各类媒体数据进行剖析、了解和处理的才能。

  要完成视觉感知质量进步必定带来数据负荷的添加，不断添加的数据负荷会给网络带宽带来巨大压力。为了进步网络分发速率和下降服务时延，需求新式通讯网络复古架构和分发机制来感知、了解和猜测媒体内容、网络模态和用户行为，对内容进行聚合和分流以缓解宽带压力。要完成任何时刻、任何地址、任何终端的各种媒体使用场景就需求高功能、低功耗、高集成度的媒体核算渠道。由此构成了“内容驱动通讯网络媒体核算、通讯网络感知媒体内容分流媒体核算、媒体核算丰厚使用场景优化通讯网络”的相互促进、协同展开的“E=MC2”智能媒体网络模型见图2所示。

  要进步“E=MC2”中媒体服务功率的要害在于处理复古运转所触及的高实在、高通量和低延时三大难题，要处理这三大应战需求进一步讨论和研讨智能媒体网络范畴的一系列要害技能。

  高实在性的媒体制造首要需求建立交融主客观的二元点评复古。客观点评首要聚集亮度、比照度、显现均匀性、动态清晰度、静态清晰度等各类硬件测验数据，片面点评首要包含面向用户感知的肤色显现、MEMC运动补偿、分区控光、高动态规划、三基域等一系列感知目标，两者有机结合能够有用地引导内容制造及出现终端的功能改进。一同，高实在性媒体制造从收集、存储、修改、调色、编码及输出等全链路流程都需求一致性操控，以及对多格局视频编码规范制造的继续兼容（国内外现有视频编码规范AVC、HEVC、AVS/+/2、VP9和AV1等和新一代视频编码规范AVS3、VVC、EVC和LCEVC等，我国新一代AVS3视频编码规范经过根底块区分、帧间帧内编码和滤波器等架构规划完成了进一步的编码功率进步，是未来8K超高清晰度视频编码首要技能计划之一）。再次，除了传统音视频媒体内容制造，根据新式AI实时烘托引擎的内容制造更将重建媒体内容制造流程，构成使用机器学习对视频内容和用户行为进行侦测、剖析、了解、分类、猜测和输出的真假结合实时烘托的新式内容生成方法。

  高实在性的媒体制造必定带来海量数据。8K120fps超高清视频内容未紧缩码率逾越40Gbps，紧缩后码率也高达200Mbps，3D点云编码则包含三维平面的很多差异化、稀少化和不规则的无序特征数据。这些指数级添加的内容数据都将耗费很多的网络带宽和媒体核算资源，然后对媒体服务功率发生严重影响。为了进步网络服务功率，需求新式的云边端协同化网络架构来确保网络分发功能。云边端架构经过将本来坐落媒体数据源一侧的杂乱媒体处理分解为简单子单元，聚合分类后动态地分配到边际端，然后使用边际端的核算才能对视频内容和用户行为进行处理，新增的边际端处理才能能够明显地进步网络峰值服务速率、削减转发路由时延、进步核算呼应时刻、节约终端核算能耗和核算存储，将云端的核算压力全面下沉，将用户端的核算压力全面上载，使智能媒体网络高通量、低延时服务成为可能，然后确保用户感知体会的最优化，完成高实在性海量媒体分发和毫秒级编码推迟传送。此外，新式媒体网络还可经过网络感知完成分级编码、并行编码等方法完成联合确保服务功率进步。

  智能媒体网络使用场景的构建离不开用户端本地媒体核算处理渠道的确保，这些媒体处理核算渠道需求具有核算表达、视频解码、核算处理和感知核算才能。核算表达操控着每个媒体内容像素，AI PQ曲线进步着画面的比照度和明暗程度。视频解码用以完成对国际国内干流的高效视频编解码规范。核算处理能够对解码后YUV数据进行亮度、比照度、饱和度、锐利度、噪声按捺处理，为PQ供给参数优化及动态补偿，海量NPU算力用以支撑多样化AI人脸辨认、场景检测等很多丰厚使用场景。感知核算将成为衔接物理国际和智能国际的要害纽带，以拓宽用户与家庭、城市、轿车各种才智化场景广泛衔接。这些核算才能别离经过多核CPU、GPU、AI NPU、高功能多格局解码引擎和AI PQ视频图画处理核得以完成并构成高功能、高集成度、低功耗的全场景高功能芯片计划，为智能媒体网络复古进步服务功率和发明灵敏使用场景供给强壮的运算支撑。

  跟着2021年东京奥运会和2022年北京冬奥会的接近，8K技能行将迎来新一轮推广使用高潮。现在，日本8K播送信号现已上星，国内中心播送电视总台为代表的电视台及制造组织已展开了8K超高清视频制造分发测验。以数字电视国家工程研讨中心为代表的相关单位也展开了活跃实践，完成了国内首个8K 120fps超高清晰度高帧率演示片制造，短片支撑7680×4320、120fps、10比特、BT.2020色域和HDR规范，别离用“极速棒球”、“芭蕾修建”和“淬火铸剑”为主题制造了高速运动场景、人物皮肤及修建纹路比照和高动态规划细节出现等不同场景，如图3至图8所示。上海海思在2019年9月荷兰阿姆斯特丹欧洲播送影视设备展IBC上成功发布了全球首颗支撑8K 120fps的SoC芯片Hi3796C V300并经过实时解码的方法演示了该段8K 120fps码流，完整地表现出了超高清晰度及高帧率的顺滑感。AVS数字音视频编解码技能规范作业组也同期完成了AVS3视频编码规范的研制作业。上述内容、芯片和规范的开展也标志着我国在高质量8K技能上现已处于国际领跑的位置。

  经过高功能的媒体核算渠道完成了8K解码、AI核算和AR出现结合，构成了丰厚多样的超高清晰度智能增强实际的使用形式。在家庭文娱方面，用户能够经过多人连线同步欣赏体育竞赛或同一部体育竞赛多个视角同步出现，还能够与远在千里之外的亲人一同连线互动体感游戏，畅享高实在、准实时的各种零距离交流体会，还能够经过AI摄像头收集超高清视频并同步进行智能化动作捕捉、骨骼辨认、运动剖析及姿态纠正，用新式媒体网络服务供给全新居家健身体会，见图9、图10所示。在户外旅行方面，也能够经过5G网络衔接云端AI服务器将全景或多视角视频即时共享给亲朋老友，让老友足不出户即可体会国际各地风景美景。

  根据点云编码的全新一代视觉互动媒体是未来媒体交互体会的重要使用。使用经过多个传感器获取目标的色彩、深度、纹路等信息，选用3D点云编码烘托传输表达出物体、场景的会演结构和特色特征，构建出真假结合的逼线所示。经过多自在度多角度感知、高空间和时刻分辨率、低视觉通讯延时的特色，进一步完成与目标的长途实时实在交互。这些新式视觉互动媒体能够广泛地使用于真假交融的立体会议复古、圆桌论坛、竞赛直播、长途教育和医疗确诊等丰厚的智能媒体网络使用场景，见图12所示。创造根据人工智能的实时烘托引擎、深度学习算法及海量云边端服务，能够联合供给改换无量的视觉使用和信息交互场景。

  在“E=MC2”的智能媒体网络的架构下，跟着媒体内容、通讯网络和媒体核算要害技能的不断打破和相互促进，媒体网络的服务功率将明显进步，各种新式的使用场景将继续昌盛。现在，智能媒体网络年代仍处于新一轮工业鼓起与迸发的前期，不只是播送电视职业，未来更多新式职业都将受惠于智能媒体网络复古技能展开，经过媒体服务的感知与衔接带动各个职业进入全新展开阶段。未来的智能媒体网络将不只引领各个范畴的技能立异还将承当承当更多的社会职责，为用户供给愈加夸姣的日子体会和为社会进步展开奉献更多的效果。

  ［1］ 工业和信息化部 国家播送电视总局 中心播送电视总台: 超高清视频工业展开行动计划（2019-2022年）[N].2019.

  2003年获浙江大学信息与电子工程系博士学位。现任上海交通大学研讨员（教授），数字电视国家工程研讨中心主任，全国播送电影电视规范化技能委员会-无线传输与掩盖分技能委员会（SAC/TC239/SC2）委员，全国音频、视频及多媒复古统与设备规范化技能委员会委员。首要从事数字电视复古，蜂窝无线通讯复古以及无线接入复古的研讨，是我国GB20600-2006《数字电视地上播送传输复古帧结构、信道编码和调制》等首要数字电视规范的起草人。掌管开发了我国地上数字电视、卫星数字电视、多格局音视频解码SoC 系列芯片，荣获2008年国家科技进步二等奖、2010年上海市启明星、2014年上海市优异技能带头人、2017年上海市科技进步一等奖、2018年国家科技进步二等奖、国庆70周年纪念章获得者。

  现任上海海思技能有限公司总裁。上海海思是全球抢先的半导体规划公司，聚集AI+IoT为才智家庭、才智轿车、才智城市供给数字化转型的才能，掩盖了感知、联接、智能、以及多样化的出现才能，被广泛使用于高清Camera、4K/8K电视、AR/VR、全系列有线和无线联接等, 供给多种业界最佳物联网芯片。熊伟在华为作业服务20余年，在ICT职业的多个范畴积累了丰厚的经历。早前在华为从事研制作业，后出任全球GSM/UMTS销售部总裁，历任东北欧区域部副总裁、巴西CEO、LTE产品线总裁等职，有多年的海外作业阅历、深沉的技能与管理经历以及宽广的视界。

  第9、10艘055大驱发明开工，电磁炮、一坑四弹、红旗16FE悉数上舰

  半岛聚集丨钟南山最新发声，超11亿人已感染！6月底或迎第二波顶峰？打疫苗能防“二阳”吗？最新回应→

  苹果WWDC 2023前瞻：混合头显、iOS 17、15英寸MacBook Air都要来了？

  命名大改，英特尔 14 代酷睿 Ultra 7 1003H 移动处理器现身