SDK支持在推流端进行视频自采集,声网的新算法在高丢包率、低延迟情况下

摘要声网SDK 2.3.2版于2019年01月17日发布。声网 Agora.io 是为 App
开发者提供全球范围实时音视频通信服务的云服务商.1、简介以下是来自声网官方网站的介绍:声网
Agora.io 是首家为 App
开发者提供全球范围实时音视频通信服务的服务商,在全球部署了近 100
个数据中心,搭建 SD-RTN™(Software Defined Real Time
Network)这个专为「实时」所设计的虚拟通信网,来极大优化全球范围内的实时传输。声网Agora.io
为开发者提供有质量保证 QoE 的实时云服务。声网 Agora.io 于 2014
年成立,隶属于上海兆言网络科技有限公司,总部位于硅谷,研发中心位于上海。团队
90% 均为全球技术工程师,包括苹果Apple 视频算法架构师、Vidyo
产品负责人、Polycom 工程总监等,平均行业经验 10
年以上,团队有年服务数千亿分钟音视频通话经验和千万级并发的互联网直播经验。2、更新内容声网
Agora SDK 2.3.2
已经正式上线,开发者们可以在官网「下载」中找到各系统、平台对应的版本。我们在这次版本中有多项新增功能及优化,可全行业场景的实时互动体验带来提升,尤其针对在线教育的多个场景进行了优化。本次升级针对音视频处理增加了多个新接口。随着新版本的上线,我们也在网络抗丢包、动态自适应、抗抖动策略等网络层方面进行了优化,针对全行业场景的网络传输质量均得到了提升。在抗丢包方面,优化的前向纠错,丢包边界提升了约10%。我们还提升
iOS 低端设备和Windows设备上的 SDK 性能,优化比率约20% –
30%。接下来,我们详细看一下本次的新增接口、功能改进。新增功能1.Windows
新增视频自采集为方便开发者在通话或直播中使用外部视频数据,此次新增两个接口:setExternalVideoSource:配置外部视频源pushVideoFrame:
它会通过ExternalVideoFrame推送外部视频帧给 Agora
SDK支持在推流端进行视频自采集。启用后,应用程序将外部的视频帧数据推送给
Agora SDK
进行编码和传输。该方法适用于用户在发送端自己做采集、渲染,然后把视频帧发送给
Agora SDK
进行编码和传输的场景。开发者可以拿到裸数据后做前处理。2.移动端前置摄像头曝光与对焦当用户在视频通话或直播连麦时,可以通过点击屏幕来调整对焦、曝光,可以带来更好的体验。2.3.2版本新增如下接口,支持对兴趣点自动曝光功能。开发者可以将需要自动曝光的区域位置发送给
Agora
SDK,摄像头会基于该区域自动曝光。isCameraExposurePositionSupported:检查设备前置摄像头是否支持手动调整曝光位置setCameraExposurePosition:设置手动曝光的位置,会通过positionXinView和positionYinView两个参数分别表示触摸点相对于视图的横、纵坐标onCameraExposureAreaChanged:摄像头曝光区域已更改时会有回调3.Windows
与 Mac
端新增自定义视频源画质为了提升自定义视频源的画质,并可以更好地满足多种需要调整画面大小的场景,新版本引入了setVideoEncoderConfiguration可用来替换原setVideoProfile接口,设置视频编码属性。该新接口中的VideoEncoderConfiguration类对应一套视频参数,包含视频的分辨率、帧率、码率、最低编码码率
以及视频方向。原接口 setVideoProfile 仍可使用。4. Windows
端支持音频自渲染为了给开发者灵活的开发体验,Windows SDK
新版本开始支持音频自渲染。启用后,应用程序会采用主动拉取的方式从音频引擎拉取远端已解码混音后的音频帧,用于外部音频播放。setExternalAudioSink:
设置外部音频自渲染,可以将采样率设置为 8KHz、16KHz、32KHz、44.1KHz 或
48KHz。pullAudioFrame:拉取音频帧用于外部播放5.新增虚拟声卡采集新版本在enableLoopbackRecording接口中新增参数
deviceName,支持用户使用虚拟声卡进行采集,相对之前版本,能让人声与背景音乐合成后的音质效果更好。请注意,当该参数
NULL
时默认使用当前声卡采集。如需使用虚拟声卡,直接使用虚拟声卡的产品名传参即可。6.控制音乐文件的播放音量为方便用户控制混音音乐文件的播放音量,新版本在已有adjustAudioMixingVolume的基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。该版本梳理了用户在音频采集到播放过程中可能会需要调整音量的场景,及各场景对应的
API,供用户参考使用。详见官网文档「调整通话音量」部分。网络传输质量优化与此同时,我们在这段时间,还进一步优化了网络传输质量,例如在抗丢包方面,优化的前向纠错与自动重传特性,丢包边界提升了约10%。我们还在原基础上优化了动态自适应算法,进一步降低视频卡顿的发生几率。针对音频传输,本阶段还优化了抗抖动策略,改进音频的延迟与质量。更多改进与优化音乐文件音量控制:在adjustAudioMixingVolume接口基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。改进网络连接状态生成策略:新增getConnectionState和onConnectionStateChanged接口,用以获取
SDK
的网络连接状态,以及连接状态发生改变的原因。废弃了原有的onConnectionInterrupted和onConnectionBanned回调。改进音频质量数据统计:增加onRemoteAudioStats,替换onAudioQuality接口,可提供分段统计音频
E2E

摘要2019年1月8号消息,微软收购 GitHub
后,官方宣布了一项重大更新:免费开放私有代码库,即 GitHub
用户现在可以免费创建无限量的私有存储库。1月8号消息,微软收购 GitHub
后,官方宣布了一项重大更新:免费开放私有代码库,即 GitHub
用户现在可以免费创建无限量的私有存储库。同时还有另一项更新——GitHub
Enterprise,结合了企业云(原GitHub Business Cloud)和企业服务器(原GitHub
Enterprise),对企业和组织来说更简单统一。GitHub
是一个面向开源及私有软件项目的托管平台,目前,其注册用户已经超过350万,托管版本数量也是非常之多,其中不乏知名开源项目
Ruby on Rails、jQuery、python
等。在2018年6月4日,微软宣布,通过75亿美元的股票交易收购代码托管平台
GitHub。TechCrunch
在推特上发表评论称,这次更新代表着微软对开发者社区的善意。开发者们围观热度高涨,达到8.2K点赞,4.8K转发。之前每个月最少需要支付7美元,现在
GitHub
开发者可以免费创建无限量的私人储存库,但要主要的是,每个代码库最多有三名协作者。如果想要添加更多的协作者,就需要付费
进行了更新,今后开发者将能够免费在这些或更多的场景中使用GitHub。微软完成对
GitHub 的收购后,部分开发者不满,表示要转向 GitLab
等其他平台,面对微软送出的福利不得不表示:真香。此外 GitHub Enterprise
结合了企业云(原GitHub Business Cloud)和企业服务器(原GitHub
Enterprise)的所有内容,每月费用为21美元。

摘要2018年11月21日,“声网Agora”正式宣布完成7000万美元C轮融资,由全球科技股对冲基金Coatue
Management领投,SIG海纳亚洲、Morningside晨兴资本和顺为资本跟投。从YY到声网声网Agora成立于2014年,由前YY语音CTO赵斌在硅谷创立,定位全球实时通信云服务商,其核心技术为RTC。实时通信(Real-time
Communication,
简称RTC),即允许两人或多人使用网络实时的传递文字消息、文件、语音与视频交流,也就是现在很多应用内都会有的聊天、语音、视频功能。通过调用声网的API,开发者可以快速创建这些功能,实现例如视频社交、互动直播、游戏开黑、AR远程协作、视频报警、视频客服、机器人视频陪伴等场景。自研算法优化底层技术音视频传输,通常需要经过“采集—预处理—编码—传输—端处理—解码”等一系列流程,不同服务商会在每一个环节进行优化,从而提高传输速率、质量。例如,声网的预处理已经不仅包括美颜、瘦脸等基础功能,还加入了“人机交互”——在直播中,用户用手势比一个心型,那么系统就会自动识别出来,发几个颗心给对方。再比如,对音视频传输质量影响很大的编、解码环节。编、解码可以理解为压缩、解压缩,原则上,在网络传输出现问题时压缩包会丢失,丢的越多,出现的卡顿就越多。在这方面,声网首席科学家、国际编解码专家钟声曾表示:“视频编码,声网的新算法在高丢包率、低延迟情况下,能体现更多优势。相同质量下只需要一半的码率,比如延迟只有4帧情况下,丢包率是60%,基本上码率只有原来的一半,同时编码的质量和复杂性没有本质变化。如果拿到很模糊的图像,需要在低码率、低分辨率情况下还原,基于传统多像位滤波、三次发差值等方法还原出来的图像,总体上比较模糊。用了深度学习算法之后,细节明显提升,即使在较差网络条件、带宽受限的情况下,依旧可以还原清晰画质。但深度学习有一个大问题,就是需要在大模型、大数据、大平台上实现,可用户基本都在使用移动端,对于算法的实现是一个挑战。声网在这方面也做了很多优化,比如在iPhone6上把一个放大9倍算力支持到每秒200帧,已经达到实时。在音频方面,声网自研的抗丢包音频编码
Agora Solo™ 已发布进化版Solo X™,具有抗丢包特性,即使是在 50%
的丢包下,用户都可以听清对方所讲的内容。同时,自研的分组信号互补技术,兼容Opus和WebRTC。”音视频普及带动场景延伸据悉,除了硅谷,声网已于上海、北京、广州、伦敦、班加罗尔、东京等地有分布式协作团队。目前已在全球自建200多个数据节点的SD-RTN™
软件定义实时网,服务了全球超20万开发者,覆盖全球超过20亿终端用户,每日支持通话分钟数超过3亿,客户包括社交、直播、游戏、教育等、民生、政务、医疗、金融、物联网等行业,同时与小米、陌陌、中国移动在线、The
Meet Group、Hike
Messenger、Badoo、Musical.ly、V-cube、好未来、招商银行等建立了战略合作关系。列举一个应用场景,目前重庆市已推出急救视频
120 自救互救服务,在拨打 120
或下载相关App后,医生可通过视频对话,指导现场人员进行自救或互救,若用户此前并未下载
App,拨打120后,手机会收到一条包含 URL 的短信,用户可通过 Web
端与急救医生视频对话。该场景的实时视频通话就是通过声网SDK实现的。再比如,郑州铁路警方用AI警务眼镜筛查网上在逃人员的新闻中,采用的是亮亮视野推出的搭载VPU的AR眼镜,其中内嵌了声网的语音通话技术。谈及未来,声网CEO赵斌表示,目前看来,RTC技术服务平台市场规模超80亿美金,亚洲和欧美市场使用量最大,中东、俄罗斯、非洲等市场增长较快。随着语音聊天室、视频社交、互动课堂等成熟使用场景的普及,音视频互动已成为用户最为主流的使用习惯,未来更多线下的真实互动场景将被搬到线上,构建新的线上世界。声网Agora官网

时延,便于开发者查询。提供更精准的质量报告:优化了onNetworkQuality接口的算法。优化打分反馈机制:rate接口的打分范围缩小到了1

5,方便终端用户为本次通话、直播连麦打分和反馈。音乐教学场景的音质优化:针对音乐教学等高音质需求场景,进行了音质改进。通过调用setAudioProfile,将
Profile 设置为 MUSIC_HIGH_QUALITY(4),Scenario设置为
GAME_STREAMING(3)
实现。3、声网链接下载地址:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章

CopyRight © 2015-2020 新萄京娱乐3730-娱乐场官网app下载 All Rights Reserved.
网站地图xml地图