- 2024年度最佳录音室设备评选:续写技术传奇激发音乐创作新灵感
- 音视频信息处理方法、装置和电子设备与流程
- 视频、音频播放设备不包括()。A电视机B音响器材C摄像机D投影仪
- 录音室的设备有哪些
- 星空体育平台:轻设防护MIJIA智能音频眼镜2引领科技潮流!
- 中国音视频设备行业市场情况研究及竞争格局分析报告
邮箱:522100236@qq.com
手机:13699652033
电话:0752-6817996
地址:博罗县石湾镇中岗叶屋工业区
音视频信息处理方法、装置和电子设备与流程
本公开涉及移动终端技术领域,尤其涉及一种音视频信息处理方法、装置和电子设备。
随着移动终端和互联网技术的发展,直播形式越来越多,包含语音直播和视频直播,为了防止通过直播传播不良信息,需要对直播内容进行审核,而在审核之前,需要根据直播内容获取相应的直播间信息,依据直播间信息对直播内容进行处理,获取识别信息。
相关技术中,直播内容被切分为多个片段,每获取到一个直播片段,需要查询数据库获取对应的直播间信息,而这种方式,需要频繁的访问数据库,造成数据库查询速度较慢,导致直播片段的处理效率较低。
为此,本公开提出一种音视频信息处理方法,以实现通过设置缓存存储目标直播间对应的音视频类型,提高了查询的速度,进而提高了对音视频片段的处理效率。
接收第一处理请求,所述第一处理请求用于指示待处理的目标音视频片段,以及展示所述目标音视频片段的目标直播间;
在缓存中,查询所述目标直播间对应的音视频类型;其中,所述缓存,存储有根据在所述第一处理请求之前接收到的第二处理请求,对数据库进行查询得到的音视频类型与所述第二处理请求指示的直播间之间的对应关系;
若查询到所述目标直播间对应的音视频类型为预设类型,向服务器发送所述目标音视频片段,其中,所述服务器用于对所述目标音视频片段进行处理。
接收模块,用于接收第一处理请求,所述第一处理请求用于指示待处理的目标音视频片段,以及展示所述目标音视频片段的目标直播间;
查询模块,用于在缓存中,查询所述目标直播间对应的音视频类型;其中,所述缓存,存储有根据在所述第一处理请求之前接收到的第二处理请求,对数据库进行查询得到的音视频类型与所述第二处理请求指示的直播间之间的对应关系;
发送模块,用于若查询到所述目标直播间对应的音视频类型为预设类型,向服务器发送所述目标音视频片段,其中,所述服务器用于对所述目标音视频片段进行处理。
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被设置为用于执行前述一方面所述的音视频信息处理方法。
本公开又一方面实施例提出了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于执行前述一方面所述的音视频信息处理方法。
接收第一处理请求,第一处理请求用于指示待处理的目标音视频片段,以及展示目标音视频片段的目标直播间,在缓存中,查询目标直播间对应的音视频类型,其中,缓存,存储有根据在第一处理请求之前接收到的第二处理请求,对数据库进行查询得到的音视频类型与第二处理请求指示的直播间之间的对应关系,若查询到目标直播间对应的音视频类型为预设类型,向服务器发送目标音视频片段。通过设置缓存存储目标直播间对应的音视频类型,提高了查询的速度,进而提高了对音视频片段的处理效率。
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。
步骤101,接收第一处理请求,第一处理请求用于指示待处理的目标音视频片段,以及展示目标音视频片段的目标直播间。
本公开实施例中,目标直播间中生成的音视频可以按照预设的规则切分为多个音视频片段,对此,本实施例中不作限定。每个音视频片段对应生成一个处理请求,为了便于区分,将当前接收到的处理请求称为第一处理请求,将在第一处理请求之前接收到的各处理请求均称为第二处理请求。
其中,缓存,存储有根据在第一处理请求之前接收到的第二处理请求,对数据库进行查询得到的音视频类型与第二处理请求指示的直播间之间的对应关系。
具体地,在接收到第一处理请求之前,已经接收到第二处理请求,在接收到第二处理请求后,根据第二处理请求指示的待处理的目标音视频片段,以及展示目标音视频片段的目标直播间,对数据库进行查询得到目标直播间对应的音视频类型,并将该对应关系存储至缓存中,当接收到第一处理请求时,直接查询缓存中的数据,得到第一处理请求指示的展示音视频片段的目标直播间对应的音视频类型,通过设置缓存存储目标直播间对应的音视频类型,提高了数据读取的速度。
需要理解的是,在接收到第二处理请求时,如缓存中未存储有音视频类型与第二处理请求指示的直播间之间的对应关系,会对数据库进行查询,以得到音视频类型与第二处理请求指示的直播间之间的对应关系,并将该对应关系存储至缓存中,以使得对应同一个直播间的后续处理请求,可以直接访问缓存查询数据,提高数据查询的速度。
步骤103,若查询到目标直播间对应的音视频类型为预设类型,向服务器发送目标音视频片段,其中,服务器用于对目标音视频片段进行处理。
具体地,若在缓存中查询到目标直播间对应的音视频类型为预设类型,其中,预设类型为音频类型或视频类型,将目标音视频片段发送至服务器,服务器对目标音视频片段进行处理。
本公开实施例的音视频信息处理方法,接收第一处理请求,第一处理请求用于指示待处理的目标音视频片段,以及展示目标音视频片段的目标直播间,在缓存中,查询目标直播间对应的音视频类型,其中,缓存,存储有根据在第一处理请求之前接收到的第二处理请求,对数据库进行查询得到的音视频类型与第二处理请求指示的直播间之间的对应关系,若查询到目标直播间对应的音视频类型为预设类型,向服务器发送目标音视频片段。通过设置缓存存储目标直播间对应的音视频类型,缓解了对数据库的频繁查询,提高了对音视频片段的处理效率,解决了现有技术中,对于接收到的处理请求,需要频繁查询数据库,使得数据库查询速度较慢,导致音视频片段的处理效率较低的问题。
上述实施例中,说明了通过设置缓存存储目标直播间对应的音视频类型,以缓解频繁读取数据库造成的数据库访问速度较低的问题,而在确定直播间对应的音视频类型为预设类型后,还可以对服务器已发送音视频片段的数量进行查询,以减轻服务器对数据处理的压力,提高处理效率。因此,基于上一实施例,本实施例提供了另一种音视频信息处理方法的可能的实现方式,图2为本公开实施例所提供的另一种音视频信息处理方法的流程示意图。
步骤201,接收第一处理请求,第一处理请求用于指示待处理的目标音视频片段,以及展示目标音视频片段的目标直播间。
本公开实施例中,第一处理请求用于指示待处理的目标音视频片段,该目标音视频片段在对应的目标直播间展示,作为一种可能的实现方式,第一处理请求,可以以实时消息平台nsq的实时消息的形式传递。
步骤202,在缓存中,查询是否存在目标直播间对应的音视频类型,若是,执行步骤205,若否,执行步骤203。
具体地,设置缓存,存储根据在第一处理请求之前接收到的第二处理请求,对数据库进行查询得到的音视频类型与第二处理请求指示的直播间之间的对应关系。当接受到第一处理请求后,就直接到缓存中查询是否存在第一处理请求指示的展示目标音视频片段的目标直播间对应的音视频类型,若存在,执行步骤205,若不存在,执行步骤203。
具体地,若在缓存中无法查询到第一处理请求指示的展示目标音视频片段的目标直播间对应的音视频类型,则到数据库中查询,以得到目标直播间对应的音视频类型。
步骤204,将目标直播间与查询到的音视频类型之间的对应关系存储至缓存中。
具体地,将目标直播间与查询到的音视频类型之间的对应关系存储至缓存中,以使得再次接收到其他处理请求时,例如,第三处理请求、第四处理请求等,可以直接在缓存中查询得到目标直播间对应的音视频类型,以提高数据访问的速度,进而提高音视频数据的处理效率。
步骤205,判断目标直播间对应的音视频类型是否为预设类型,若是,执行步骤207,若否,执行步骤206。
本公开实施例,以语音直播的审核场景为例,预设类型则为音频类型,对获取到的目标音视频片段的音视频类型进行判断,若展示该目标音视频片段的目标直播间对应的音视频类型为音频类型,则符合该场景设定的预设音频类型,执行步骤207,若不是,执行步骤206。
具体地,在语音直播的审核场景下,若展示该目标音视频片段的目标直播间对应的音视频类型为视频类型,则视频类型不为预设的音频类型,不需要对该视频片段进行处理,可将该第一处理请求进行抛弃。
同理,若预设类型为视频类型,当目标直播间对应的音视频类型为音频类型时,也会对指示该待处理的目标音频片段的第一处理请求进行抛弃。
步骤207,查询最近预设时长内,向服务器已发送的音视频片段的数量是否大于限流阈值,若是,执行步骤208,若否,执行步骤209。
具体地,若目标直播间对应的音视频类型为预设类型,则需要获取该目标直播间中的音视频片段,并对该音视频片段进行进一步处理,在进一步处理之前,需要先查询最近预设时长内,向服务器已发送的音视频片段的数量是否大于限流阈值,从而判断,当前处理器的处理数据是否已超负荷,需要进行限流,若是,执行步骤208,若否,执行步骤209。
步骤208,判断查询到的目标直播间对应主播的内容健康度是否高于阈值健康度,若是,执行步骤206,若否,执行步骤209。
本公开实施例中,当向服务器已发送的音视频片段的数量大于限流阈值时,星空体育平台说明服务器当前处理的数据量较大,处理能力和速度受到限制,需要进行数据限流,可选地,确定当前的目标直播间对应主播的内容健康度是否高于或等于阈值健康度,若高于或等于阈值健康度,则说明该主播为内容健康的优质主播,在限流时,可以对该主播对应的直播间的第一处理请求不予审核处理,进行抛弃,即执行步骤206。若确定主播的内容健康度不高于阈值健康度,即低于或等于阈值健康度,则说明该主播为非优质主播,可能传播违禁信息,即使限流时,仍需要对该主播对应的直播间的第一处理请求进行审核处理,即需要执行步骤209,以使得大部分风险较高的音视频片段可以在限流时被处理,提高了音视频片段的处理效率、保证处理质量。
具体地,针对需要发送至服务器进行处理的第一处理请求,获取该第一处理请求中携带的目标音视频片段的存储地址。
步骤210,根据存储地址,下载得到目标音视频片段,并对目标音视频片段进行切割和/或格式转换。
具体地,根据该存储地址,下载得到目标音视频片段,并对目标音视频片段进行切割和/或格式转换,例如,在语音直播审核场景中,将目标音视频片段转换为10s长度的音频片段,通过将目标音视频片段切割为较小的音频片段,可以提高数据传输的效率,从而提高后续接收到该音频片段的服务器的处理效率,而将目标音视频片段进行格式转换,以使得后续接收到该音频片段的服务器可识别语音片段的格式,提高处理效率。
步骤211,向服务器发送目标音视频片段,以使得服务器对目标音视频片段进行处理。
本公开实施例中,在语音直播审核场景中,将转换后的目标音频片段发送至服务器,以使得服务器对该目标音频片段进行处理,作为一种可能的实现方式,可将音频片段识别为对应的文本信息,通过对文本信息审核,可实现多个文本信息的并行审核,提高了对应的音频片段的审核效率。
步骤212,从服务器获取目标音视频片段的识别信息,并将识别信息存储至数据库中。
具体地,获取服务器对目标音视频片段进行处理后生成的识别信息,该识别信息可用于更新目标直播间对应主播的内容健康度。这是因为,识别信息是根据目标音视频片段的内容识别得到的,指示了对应的直播间的主播直播内容是否包含违禁信息,直播内容是否有益于社会,从而可以用于更新对应主播的内容健康度。
本公开实施例的音视频信息处理方法中,通过设置缓存,存储目标直播间对应的音视频类型,以使得在接收到第一处理请求后,直接查询缓存中的数据,以快速查询到目标直播间对应的音视频类型,以避免频繁访问数据库造成的数据库访问速度受限,进而导致的音视频处理数据效率差的问题,同时,在向服务器发送获取得到的目标音视频片段之前,查询最近预设时长内,向服务器已发送的音视频片段的数量是否大于限流阈值,并根据目标直播间对应主播的内容健康度,确定第一处理请求是否进行抛弃,以缓解服务器数据处理的压力,以使得音视频片段能尽快得到处理,提高音视频片段处理的效率。
接收模块31,用于接收第一处理请求,第一处理请求用于指示待处理的目标音视频片段,以及展示目标音视频片段的目标直播间。
查询模块32,用于在缓存中,查询目标直播间对应的音视频类型,其中,缓存,存储有根据在第一处理请求之前接收到的第二处理请求,对数据库进行查询得到的音视频类型与第二处理请求指示的直播间之间的对应关系。
发送模块33,用于若查询到目标直播间对应的音视频类型为预设类型,向服务器发送目标音视频片段,其中,服务器用于对目标音视频片段进行处理。
需要说明的是,前述对方法实施例的解释说明也适用于该实施例的装置,此处不再赘述。
本公开实施例的音视频信息处理装置,接收第一处理请求,第一处理请求用于指示待处理的目标音视频片段,以及展示目标音视频片段的目标直播间,在缓存中,查询目标直播间对应的音视频类型,其中,缓存,存储有根据在第一处理请求之前接收到的第二处理请求,对数据库进行查询得到的音视频类型与第二处理请求指示的直播间之间的对应关系,若查询到目标直播间对应的音视频类型为预设类型,向服务器发送目标音视频片段。通过设置缓存存储目标直播间对应的音视频类型,星空体育平台缓解了对数据库的频繁查询,提高了对音视频片段的处理效率
基于上述实施例,本公开实施例还提供了一种音视频信息处理装置的可能的实现方式,图4为本公开实施例所提供的另一种音视频信息处理装置的结构示意图,在上一实施例的基础上,该装置还包括:查询判断模块41、查询存储模块42、抛弃模块43、确定模块44、获取模块45、下载模块46、转换模块47和识别存储模块48。
查询判断模块41,用于查询最近预设时长内,向服务器已发送的音视频片段的数量;若查询到的数量大于限流阈值,查询目标直播间对应主播的内容健康度。
查询存储模块42,用于若在缓存中未查询到目标直播间对应的音视频类型,在数据库中查询,以得到目标直播间对应的音视频类型;将目标直播间与查询到的音视频类型之间的对应关系存储至缓存中。
抛弃模块43,用于在主播的内容健康度高于阈值健康度时,对第一处理请求进行抛弃。
识别存储模块48,用于从服务器获取目标音视频片段的识别信息;识别信息用于更新目标直播间对应主播的内容健康度;将识别信息存储至数据库中。
需要说明的是,前述对方法实施例的解释说明也适用于该实施例的装置,此处不再赘述。
本公开实施例的音视频信息处理装置中,通过设置缓存,存储目标直播间对应的音视频类型,以使得在接收到第一处理请求后,直接查询缓存中的数据,以快速查询到目标直播间对应的音视频类型,以避免频繁访问数据库造成的数据库访问速度受限,进而导致的音视频处理数据效率差的问题,同时,在向服务器发送获取得到的目标音视频片段之前,查询最近预设时长内,向服务器已发送的音视频片段的数量是否大于限流阈值,并根据目标直播间对应主播的内容健康度,确定第一处理请求是否进行抛弃,以缓解服务器数据处理的压力,以使得音视频片段能尽快得到处理,提高音视频片段处理的效率。
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被设置为用于执行前述方法实施例所述的音视频信息处理方法。
图5是图示根据本公开实施例的电子设备的硬件结构示意图。电子设备可以以各种形式来实施,本公开中的电子设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置、车载电子设备、车载显示电子、车载电子后视镜等等的移动电子设备以及诸如数字tv、台式计算机等等的固定电子设备。
如图5所示,电子设备1100可以包括无线、a/v(音频/视频)输入单元1120、用户输入单元1130、感测单元1140、输出单元1150、存储器1160、接口单元1170、控制器1180和电源单元1190等等。图5示出了具有各种组件的电子设备,但是应理解的是,并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。
其中,无线与无线通信系统或网络之间的无线电通信。a/v输入单元1120用于接收音频或视频信号。用户输入单元1130可以根据用户输入的命令生成键输入数据以控制电子设备的各种操作。感测单元1140检测电子设备1100的当前状态、电子设备1100的位置、用户对于电子设备1100的触摸输入的有无、电子设备1100的取向、电子设备1100的加速或减速移动和方向等等,并且生成用于控制电子设备1100的操作的命令或信号。接口单元1170用作至少一个外部装置与电子设备1100连接可以通过的接口。输出单元1150被构造为以视觉、音频和/或触觉方式提供输出信号。存储器1160可以存储由控制器1180执行的处理和控制操作的软件程序等等,或者可以暂时地存储己经输出或将要输出的数据。存储器1160可以包括至少一种类型的存储介质。而且,电子设备1100可以与通过网络连接执行存储器1160的存储功能的网络存储装置协作。控制器1180通常控制电子设备的总体操作。另外,控制器1180可以包括用于再现或回放多媒体数据的多媒体模块。控制器1180可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元1190在控制器1180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
本公开提出的音视频信息处理方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,本公开提出的音视频信息处理方法的各种实施方式可以通过使用特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,本公开提出的音视频信息处理方法的各种实施方式可以在控制器1180中实施。对于软件实施,本公开提出的音视频信息处理方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器1160中并且由控制器1180执行。
为了实现上述实施例,本公开实施例还提出了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于执行前述方法实施例所述的音视频信息处理方法。
图6是图示根据本公开的实施例的非暂态计算机可读存储介质的示意图。如图6所示,根据本公开实施例的非暂态计算机可读存储介质300,其上存储有计算机指令301。当该计算机指令301由处理器运行时,执行前述的本公开各实施例的音视频信息处理方法的全部或部分步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在非暂态存储介质中,如磁碟、光盘、只读存储记忆体(rom)或随机存储记忆体(ram)等等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。