CN104620588A - 利用像素重复带宽组合视频流和音频流 - Google Patents

利用像素重复带宽组合视频流和音频流 Download PDF

Info

Publication number
CN104620588A
CN104620588A CN201380047347.5A CN201380047347A CN104620588A CN 104620588 A CN104620588 A CN 104620588A CN 201380047347 A CN201380047347 A CN 201380047347A CN 104620588 A CN104620588 A CN 104620588A
Authority
CN
China
Prior art keywords
data
video data
data stream
pixel
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380047347.5A
Other languages
English (en)
Other versions
CN104620588B (zh
Inventor
W·C·阿尔特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lattice Semiconductor Corp
Original Assignee
Silicon Image Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Image Inc filed Critical Silicon Image Inc
Publication of CN104620588A publication Critical patent/CN104620588A/zh
Application granted granted Critical
Publication of CN104620588B publication Critical patent/CN104620588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Abstract

本发明的各实施例一般针对利用像素重复带宽组合多个视频流和音频流。一装置的实施例包括：缓冲器，用于接收第一视频数据流的像素数据和第一视频数据流的时钟；以及多路复用器，用于移除第二视频数据流的像素重复并且将第一视频数据流的像素数据和第二视频数据流的像素数据组合以生成合并的数据流，此多路复用器在合并的数据流中在第一视频数据流的像素数据和第二视频数据流的像素数据之间交替。此合并的数据流包括在一行数据中的第一视频数据流的像素数据和第二视频数据流的像素数据，此行数据包括控制信息，此控制信息标识第一视频数据流的像素数据和第二视频数据流的像素数据。

Description

利用像素重复带宽组合视频流和音频流
技术领域
本发明的各实施例一般涉及数据传输领域，并且更具体地涉及利用像素重复带宽组合多个视频流和音频流。
背景
在设备或元件之间的信号的传输(诸如视听数据流的传输)中，某些技术可能需要多个不同类型的数据流的传输。例如，消费电子产品和其它系统可在单个编码的互连内发送和接收一个或多个视频流和一个或多个其它数据流。
消费电子设备和系统以及其它系统可诸如在一个编码的互连内发送和接收包含一个或多个视频流和一个或多个数据流的内容流。此连接的接收侧随后需要将一个视频内容流与另一视频内容流，以及一个数据流与另一数据流区分开，以便将各内容流适当地呈现为可用的形式，诸如显示的视频、呈现的音频和其它数据用途。
常规的系统可利用特定的分组(诸如以CEA-861进行定义的信息帧(InfoFrame))和标准(诸如HDMITM(高清晰度多媒体接口)和MHLTM(移动高清晰度链路))以标识视频内容流和数据内容流。进一步，诸如HDMI和MHL之类的标准进一步包括编码字符，诸如是在视频内容或数据内容之前或之后以在这些类型的内容之间进行区分的保护带和前同步码。
然而，这些现有的方法在某些方面是受限的。第一，这些方法未提供在多个视频内容流或多个数据流之中进行区分的手段，因为它们仅覆盖运送单个视频流和单个数据流的互连。第二，现有的方法未利用内容标识符标记视频流的每一部分，而是每一帧仅发送一次信息帧分组。第三，如果视频内容流利用HDCP(高带宽数字内容保护)进行加密，则标识标记中的一些同样被加密，这防止了当从一个标准(诸如MHL)翻译成另一标准(诸如HDMI)时，经编码的内容标识符被修改而没有首先解密此流并在内容标记的修改之后接着重新加密此流。
附图说明
本发明的各实施例在各附图中作为示例而非限制方式示出的，在附图中相似的附图标记指代相似的要素。
图1是用于利用像素重复带宽组合视频数据流的装置或系统的实施例的图示；
图2是利用像素重复带宽合并多级视频的系统或装置的实施例的图示；
图3是用于合并3D视频数据流的通道的装置或系统的图示；
图4示出了用于组合多个相机的视频的系统或装置的实施例；
图5示出了用于利用单个缆线组合视频数据的装置或系统；
图6是由接收装置或系统的实施例后处理数据的图示；
图7是包括多个数据源和显示器的装置或系统的图示；
图8是示出用于利用像素重复带宽合并视频数据流的方法的实施例的流程图；以及
图9是用于利用像素重复带宽合并视频数据或用于处理包括多个视频数据流的数据的合并数据流的装置或系统的图示。
发明内容
本发明的各实施例一般针对利用像素重复带宽组合多个视频流和音频流。
在本发明的第一方面，装置的实施例包括：缓冲器，用于接收第一视频数据流的像素数据和第一视频数据流的时钟；以及多路复用器，用于移除第二视频数据流的像素重复并且将第一视频数据流的像素数据和第二视频数据流的像素数据组合以生成合并的数据流，此多路复用器在合并的数据流中在第一视频数据流的像素数据和第二视频数据流的像素数据之间交替。此合并的数据流包括在一行数据中的第一视频数据流的像素数据和第二视频数据流的像素数据，此行数据包括控制信息，该控制信息标识第一视频数据流的像素数据和第二视频数据流的像素数据。
在本发明的第二方面，方法的实施例包括将第一视频数据流的像素数据和时钟存储在缓冲器中；移除第二视频数据流的像素重复；以及通过将第一视频数据流的像素数据与第二视频数据流的像素数据组合来生成合并的数据流。生成合并的数据流包括在合并的数据流中在第一视频数据流的像素数据和第二视频数据流的像素数据之间交替，并且包括将第一视频数据流的像素数据和第二视频数据流的像素数据置于单行数据中，控制结构标识第一视频数据流的像素数据和第二视频数据流的像素数据。
在本发明的第三方面，装置的实施例包括：接收器，用于接收合并的数据流，此合并的数据流包括在一行数据中的多个视频数据流的像素数据，此合并的数据流在多个视频数据流中的每一个的像素数据之间交替，其中合并的数据流中的控制结构标识多个视频数据流中的每一个的像素数据在一行数据中的位置；以及处理器，至少部分地基于多个视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将合并的数据流的像素数据分成相应的数据流。
在本发明的第四方面，方法的实施例包括：接收合并的数据流，此合并的数据流包括在一行数据中的多个视频数据流的像素数据，此合并的数据流在多个视频数据流中的每一个的像素数据之间交替，其中合并的数据流中的控制结构标识多个视频数据流中的每一个的像素数据在一行数据中的位置；以及至少部分地基于多个视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将合并的数据流的像素数据分成相应的视频数据流。
详细描述
本发明的各实施例一般针对利用像素重复带宽组合多个视频流和音频流。
在某些实施例中，方法、装置或系统提供利用像素重复带宽组合多个视频数据流，其中视频数据流可包括附加数据，诸如音频数据。在某些实施例中，提供一机制以用于将多个视频数据流组合成单个流，此单个流接着被从发送器转移到接收器，其中合并流可被分成原始的各个数据流。
如在诸如HDMI和MHL之类的规范中进行定义的像素重复被用于利用较快的时钟发送视频数据，从而使得在非视频时间中存在足够的时钟周期来运送必要的音频内容。然而，此机制不止一次地发送原始流中的每一像素值。例如，480p/60流每条线具有720个像素。在2倍重复模式下，像素中的每一个被发送两次，每一视频线总共1440个数据值。第二重复(在此示例中)不传达新的信息。
在某些实施例中，装置、系统或方法提供重新定时第一视频数据流的像素重复的数据以恢复由像素重复所创建的浪费的空间。在某些实施例中，来自第二视频数据流的内容接着被插入到第一流的恢复的空间中以生成合并流。在某些实施例中，当与多值的前同步码结合使用时，诸如在美国专利申请序列No.13/269,450(Identification and Handling of DataStreams Using Coded Preambles(利用编码的前同步码标识并处理数据流))中所描述的那样，两个视频数据周期可从一个像素重复的视频数据周期中进行创建。
在某些实施例中，装置、系统或方法通过在非视频数据周期时间中移动来自主流(第一流)的数据岛的定时以创建用于来自副流(第二流)的数据岛的空间来处理诸如数据岛(其中数据岛数据包括音频数据分组和辅助数据(诸如信息帧或其它构造)并且在水平和垂直消隐间隔期间出现)之类的数据。利用用于主流和副流的数据岛内容的唯一的前同步码，于是发送器可单独地标记这些数据岛。在某些实施例中，装备成识别多个前同步码值的接收器将数据岛分开回至单独的流，并且将视频数据周期分开回至相应的单独的流。
在某些实施例中，在主流和副流使用相同的视频模式，其中在仅主流运送音频的情况中，发送器的任务可被简化。在这些情况下，不需要发送器复制来自副流的数据岛，而仅需要发送器发送来自主流的数据岛。在此示例中，不需要附加的带宽来组合数据岛。在某些实施例中，对于使用相同的视频模式，其中仅主流运送音频的主流和副流的组合，可从进入的副流中丢弃AVI(辅助视频信息)、音频和其它信息帧，以及诸如ACP之类的其它控制分组，并且随后当接收器重建完整的副流以用于其接收器输出时，由接收器将它们重新插入在适当的地方。
在示例中，480p/60视频数据流包括重复的像素值，诸如"P1P1P2P2P3P3P4P4"，指示重复的第一像素，紧跟重复的第二像素等等。然而，每一流的像素数据的仅一个副本需要被插入组合流中。在某些实施例中，替代具有"P1P1P2P2P3P3P4P4"的一个流，此流变为流‘P’和‘Q’的"P1Q1P2Q2P3Q3P4Q4"。在某些实施例中，编码字符(诸如保护带和前同步码)未被复制。例如，在每一活动的视频数据周期的开始或结束处发送每一保护带和前同步码的仅一个副本。在某些实施例中，通过利用FIFO(或类似元件)的缓冲在可用的消隐时间中组合数据岛(如果存在来自两个流的数据岛并且内容是不同的话)。
尽管在此说明书中的此示例和其它示例一般涉及在组合流中的像素的交替，然而各实施例不限于在各个像素之间的交替，并且可例如包括像素组之间的交替。在第一示例中，实现方式可包括被转换至在2倍重复像素之间交替的4倍像素重复，诸如将包括“P1P1P1P1P2P2P2P2”的第一视频数据流与第二视频数据流组合以生成提供“P1P1Q1Q1P2P2Q2Q2”的合并流。在第二示例中，实现方式可包括被转换至在每一视频数据流的像素组之间交替的2倍像素重复，诸如将包括“P1P1P2P2P3P3P4P4”的第一视频数据流与第二视频数据流组合以生成提供“P1P2Q1Q2P3P4Q3Q4”的合并流。
在某些实施例中，通过编码主流和副流的唯一的前同步码，内容可被分开回至两个流而没有例如解码回至24位值。在某些实施例中，系统可根据需要提供重新计算TMDS字符的DC平衡。在某些实施例中，未跨链路传送垂直同步。例如，主流的帧的第一行可被发送(例如利用‘第一行’+‘主流’前同步码)，紧接着副流的帧的行‘N’(利用‘非第一行’+‘副流’前同步码)等等，而不考虑匹配第一或最后元素或在主流和副流之间的任何帧定位。
在某些实施例中，由于主流和副流的垂直同步定时可能不匹配，并且进一步来自多个输入源的时钟频率可能不匹配，因而到达内容被延迟以将其水平地同步到可用的空间中。在某些实施例中，利用诸如线缓冲器或其它延迟元件之类的元件来提供延迟。在某些实施例中，系统或装置在没有关于垂直同步的各流的完全同步的情况下操作，其中装置或系统允许针对每一特定帧的第一或最后视频数据周期的唯一的前同步码编码，从而使得接收器可标识每一流中的每一帧的第一(或最后)行。在某些实施例中，利用此信息，接收器可在接收器重新格式化各个流以用于其接收器输出时重新插入垂直同步脉冲。
尽管为了便于解释，这里所提供的示例一般涉及两个流，然而各实施例不限于任何特定数量的数据流。在某些实施例中，装置、系统或方法可被扩展至N个流，其中N仅受可通过恢复重复的像素数据进行释放的带宽限制。在示例中，不具有音频(并因此不固有地需要像素重复)的四个480p/60流可利用4倍重复进行发送，其中四个流的视频数据周期在通过发送器的每一行数据的视频数据周期中按序进行交替，并且在接收器中进行恢复，所有均利用27MHz的四倍或108MHz的链路时钟。在某些实施例中，像素数据在每一视频数据周期内交替，并且因此前同步码和保护带不需要被复制。
在某些实施例中，各实施例的应用可包括：
(1)监视装备：在某些实施例中，装置或系统将来自多个相机的视频流组合到一个TMDS流中，在有线或无线链路上发送组合流，其中组合流在接收器侧处被分成单独的流以用于显示、分析或存储。
(2)多显示设置：在某些实施例中，单个源生成单个大图像，将此大图像编码到单独的流中以用于多个屏幕，并且在链路上以组合的形式发送各流，该组合的形式包括使用前同步码编码来标识视频数据。在某些实施例中，在远端处的组合流被分成多个流以用于显示中的每一个。在某些实施例中，装置或系统提供具有多个监视器的桌面设置、多个显示被平铺在一起的“视频墙”、或其中几个显示可被单独地定位但携带源自一个源的图像的广告。
(3)视频切换器：在某些实施例中，结合来自监视装备和多显示器示例的概念，发送装置或系统如开关进行操作，组合多个流并且在单条线上输送组合的多个流，同时接收装置或系统的实施例操作用以将组合流分开。在某些实施例中，此开关可根据目的地或发起者的身份选择前同步码。
(4)单独的视频和音频：在某些实施例中，装置或系统提供将音频数据流与源自不同系统的音频数据流组合。在此示例中，音频流可被载入“视频时钟载体”(黑屏)上的发送器中并且接着与发送器中的视频流进行组合。在某些实施例中，接收器操作用以将视频数据流和音频数据流再次分开。在某些实施例中，视频和音频可源自一个系统，但被定向至分开的呈现系统，诸如用于音频的第一呈现系统和用于视频的第二呈现系统。在某些实施例中，这些流以其编码形式进行传达直到在各个接收器中解码这些流的时间点。
在某些实施例中，装置或系统可提供从一个组合流内区别各视频数据流，诸如均在一个3D视频数据流内的左眼帧流和右眼帧流。在某些实施例中，装置或系统可分开视频数据流，并且呈现或以其它方式利用分开的视频数据流。
在某些实施例中，可利用像素重复带宽实现多个应用而无需创建与基于HDMI或基于MHL运输链路不兼容的编码流。在示例中，多相机系统可利用组合的数据流。
图1是用于利用像素重复带宽组合视频数据流的装置或系统的实施例的图示。在此图示中，相机数据与先前流组合以生成合并流。在某些实施例中，装置或系统生成单个相机输出并且接收先前的视频流，以及利用像素重复带宽来创建相机视频和所接收的视频的组合流。在某些实施例中，此组合流包括在一行数据的单个视频周期中交替来自视频数据流的像素数据，利用此组合流因此不需要针对每一数据流的单独的保护带和前同步码。
在此图示中，装置或系统100包括相机102，其中相机提供相机数据输出(视频数据)104和相机时钟输出106，其中这些输出被提供至FIFO(先进先出)存储器或其它存储元件，其在本文中通常被称为FIFO 110。在某些实施例中，装置或系统100进一步接收先前数据流140，其中先前数据流可被提供至数据和时钟提取元件150以生成先前流数据152和先前流时钟154，其中先前流时钟被FIFO 110接收以生成重新定时的相机流112。
在某些实施例中，通过利用相机时钟106，相机视频被时钟控制(clock)到FIFO 110中。装置或系统100利用先前流时钟154将视频数据时钟控制出FIFO 110，该先前流时钟154可从进入的先前流中被提取出。重新定时的数据112随后被格式化(诸如格式化成TMDS字符)并且被多路复用至像素重复视频流中的适当的位置。在此图示中，重新定时的相机流被提供至格式化器120，该格式化器120还接收先前流时钟154以生成由先前流时钟154进行时钟控制的重新格式化和重新定时的相机流。在某些实施例中，多路复用器(mux)130接收重新格式化和重新定时的相机流和先前流数据152，其中来自各自的数据由先前流时钟154交替地进行选择以生成合并流160。如所示，先前流145(A-A-A-A)的重复的像素(被指定为‘A’)在合并流165(A-B-0-0)的数据中由交替有相机数据(‘B’)的先前流数据进行替代。在某些实施例中，像素重复的‘A’数据的单个流变为具有‘A’数据和‘B’数据的单个流。在某些实施例中，剩余的像素重复周期用零来填充，其中这种零空间可被用于合并附加的流。
在某些实施例中，可修改控制分组以指示合并流的性质。例如，修改AVI信息帧(或其它控制分组)以标记出像素重复格式中的两个周期用第一周期中的‘A’数据和第二周期中的‘B’数据来填充，并且在第三和第四周期中没有数据。
传入的先前流可以不是像素重复格式的。在某些实施例中，像素重复可由图1中所示的格式化器120来执行。在此示例中，像素重复可以不是4倍像素重复格式的。例如，输出流可以是2倍重复流而不是4倍重复流，且没有未使用的“第三和第四周期”。在某些实施例中，从非重复的到重复的格式化的修改利用对AVI信息帧的改变。
图2是利用像素重复带宽合并多级视频的系统或装置的实施例的图示。在图2中，系统或装置200包括多级相机和合并逻辑，该多级相机和合并逻辑被用于利用4倍像素重复使用来自四个相机的数据创建单个流。在此图示中，每一级利用图1中所示和以上所描述的过程。为了说明清楚，各级的所有的元件在图2中未提供。
在图2中，第一相机可产生4倍像素重复格式下的视频215，被示为‘A’数据重复了四次。利用图1中所示的元件，视频215的数据和时钟可被提取出并且此视频与第二相机220的视频合并，其中第一mux(多路复用器)230使数据交替以产生被示为在第一位置中的‘A’数据、在第二位置中的来自相机220的‘B’数据和在第三和第四位置中的零(或空)数据的第一合并流235。
在下一级，来自第三相机240的数据利用第二mux 250与第一合并流235进行合并以生成具有在第一位置中的‘A’数据、在第二位置中的‘B’数据、在第三位置中的来自第三时钟240的‘C’数据和在第四位置中的零数据的第二合并流255。
在最后级，来自第四相机160的数据利用第三mux 270与第二合并流255进行合并以生成具有在第一位置中的‘A’数据、在第二位置中的‘B’数据、在第三位置中的‘C’数据和在第三位置中的来自第四相机260的‘D’数据的第三并且最终的合并流275。
尽管此示例包括在视频数据的所有位置中插入像素数据，然而各实施例不限于此实现方式。在示例中，相机260可能不存在，或者mux 270可排除来自相机260的数据从而使得对于合并数据流的视频数据的位置中的至少一个不包括内容数据，而相反包括零或空数据。在某些实施例中，信息帧可包括一位置包括零数据以及接收设备可操作以在分开合并数据流时忽略此零数据这一指示。
在某些实施例中，诸如用于多个独立的相机的以上所描述的系统之类的系统还可被用于将立体(3D)流发送通过单个缆线。这两个流可被逐行地多路复用至一个视频数据周期中，并且跨常规的基于HDMI或MHL的链路进行发送。
图3是用于合并3D视频数据流的通道的装置或系统的图示。在某些实施例中，第一相机310可生成第一数据流315，诸如左或右3D视频通道，被示为数据‘A’。第二相机320可生成第二数据流325，诸如另一个左或右3D视频通道，被示为数据‘B’，其中两数据流均是4倍像素重复的。利用图1中所示的元件，利用像素重复，第一数据流315和第二数据流325被合并，mux 330使像素数据交替以生成合并数据流335，该合并数据流335提供A-B数据的2倍像素重复。在某些实施例中，合并数据流可被接收以用于格式化340并呈现在3D电视显示350上。
在此图示中，数据可在显示器中进行后处理。在不知道视频数据周期不是常规的2倍像素重复的情况下，中间系统(诸如A/V接收器)可接受此立体流作为HDMI或MHL、呈现音频并接着将立体流发送到显示单元上。
在某些实施例中，装置、系统或方法提供视频数据流的合并而不需要重复的控制结构。在某些实施例中，装置、系统或方法利用像素重复流的带宽而不添加诸如保护带字符、前同步码字符和信息帧之类的控制结构。
在某些实施例中，尽管运送来自不同来源的像素数据，但合并流仍与HDMI或其它格式兼容以用于传输。尽管因为，例如，HDMI未定义运送多个流并且需要像素的所有重复是相同的像素数据，此合并流可能不与格式充分地顺应，但此合并流可穿过HDMI开关而无需修改。进一步，不存在重复的和不同的AVI信息帧或其它信息帧。
在某些实施例中，合并流可被容易地多路分解回至多个普通的HDMI流。这允许多个相机组合它们的流，沿着一个缆线发送经组合的流，并且接着将这些流单独地显示在多个屏上。
图4例示了装置或系统的待机控制块的实施例。多个相机(诸如一组所示的相机410-460)的数据可在头单元470处被接收。在某些实施例中，头单元470可包括图1和2中所示以用于将多个数据流合并到单个数据流中的元件。
尽管图4示出了具有在每一相机和头单元470之间的单独的缆线的特定实现方式，各实施例不限于此结构。系统可包括单个缆线，而不是利用从每一相机到头单元的单独的缆线配置为星形(如图4所示)。图5示出了用于利用单个缆线组合视频数据的装置或系统。在此图示中，系统500包括跟随单个缆线的一系列级。如所示，第一相机512可将数据提供至包括相机522和合并逻辑524的第一级520，其中合并逻辑524利用图1中所示和以上所描述的元件提供相机512和相机522的数据的合并。附加的各级可提供附加的数据合并，诸如包括相机532和合并逻辑534的第二级530、包括相机542和合并逻辑544的第三级540、包括相机552和合并逻辑554的第四级550和包括相机562和合并逻辑564的第五级560，其中第五级560与头单元570耦合。
在某些实施例中，合并流可被后处理以利用此流的数据，例如，通过在每一行中四处移动像素数据以创建多个相机图像的平铺视图。图6是由接收装置或系统的实施例后处理数据的图示。在此图示中，行A示出了来自相机‘a’、‘b’、‘c’和‘d’的四个原始流。示出了来自每一图像的一行的四个像素，对于每一流，用1、2、3和4进行索引。
在行B中，多个像素通过合并装置、系统或方法的实施例被合并到单个缆线上的像素重复流中，其中来自四个流中的每一个的像素#1占据活动数据线中的前四个周期，并且继续通过每一下面的像素。在操作中，此组合流到达显示处理器处。
在某些实施例中，显示处理器中的逻辑可操作以在一行时间内拌和数据序列而不添加周期，从而示出由横跨屏幕的相干图像B、图像C和图像D跟随的在左边缘处的图像A，而没有边界或缺失的像素。在某些实施例总，显示逻辑中的定标器可被用于将每行N*M像素(其中N是相机的数量并且M是每一相机的活跃行时间中的原始像素的数量)转换成用于显示器的分辨率的活跃行时间的适当数量的像素。
图7是包括多个数据源和显示器的装置或系统700的图示。在此图示中，第一相机712可将数据提供至包括相机722和合并逻辑724的第一合并级720，其中合并逻辑724利用图1中所示和以上所描述的元件提供相机712和相机722的数据的合并。附加的各级可提供附加的数据合并，诸如包括相机732和合并逻辑734的第二合并级730以及包括相机742和合并逻辑744的第三合并级740。
在某些实施例中，最后合并级740与第一显示级750耦合，级750包括显示逻辑754和显示器752。附加显示级可跟随第一显示级，诸如包括显示逻辑764和显示器762的第二显示级760以及包括显示逻辑774和显示器772的第三显示级770。
图7仅示出了用于4个流的3个显示器。在某些实施例中，未包括中央控制器，其中每一显示器的逻辑可操作用以发现适当的原始流数据并将此数据转换回至顺应的HDMI流以发送给标准显示器。在某些实施例中，对到显示器的流的选择可由用户作出，并且显示器中的任何一个可显示任何原始流。
图8是示出用于利用像素重复带宽合并视频数据流的方法的实施例的流程图。在某些实施例中，关于第一视频数据流的操作至少部分地重叠于关于第二视频数据流的操作。在某些实施例中，装置或系统可生成或接收第一视频数据流的第一视频数据和第一视频时钟信号805，其中第一视频数据和第一视频时钟可被存储在缓冲器或可包括FIFO存储器(诸如图1中所示的FIFO 110)的其它存储器中810。
在某些实施例中，装置或系统可进一步生成或接收包含第二视频数据和第二视频时钟的第二视频数据流830，并且可提供从第二视频数据流中提取第二视频数据和第二视频时钟835。在某些实施例中，此装置提供提取出的视频时钟以用于重新定时并重新格式化第一视频数据流840。
在某些实施例中，此装置或系统基于第二视频数据流的提取出的视频时钟来重新定时第一视频数据流815，并且利用第二视频数据流的视频时钟将第一视频数据流重新格式化成与第二视频数据流兼容820。
在某些实施例中，此装置或系统使第一视频数据流和第二视频数据流的像素数据交替以生成合并的或组合的视频流。在某些实施例中，第一视频流和第二视频流的像素状态在一行数据的视频数据周期中是交替的。在某些实施例中，完成第一和第二视频数据流的合并而无需针对视频数据流复制诸如保护带或前同步码之类的控制结构。
图9是用于利用像素重复带宽合并视频数据或用于处理包括多个视频数据流的数据的合并数据流的装置或系统的图示。在某些实施例中，此装置或系统提供利用像素重复带宽合并一个或多个视频数据流。在某些实施例中，此装置或系统提供将合并的视频数据流的数据分成原始视频数据流。
在某些实施例中，装置或系统900(这里通常被称为装置)包括互连或交叉开关902或用于数据传输的其它通信装置。装置900可包括处理装置，诸如与互连902耦合以用于处理信息的一个或多个处理器904。处理器904可包括一个或多个物理处理器以及一个或多个逻辑处理器。出于简化起见，互连902被示为单个互连，但可表示多个不同的互连或总线，并且至这些互连的组件连接可以变化。图9中所示的互连902是一抽象概念，其表示任何一个或多个分开的物理总线、点对点连接或由适当的桥接器、适配器或控制器连接的两者。
在某些实施例中，此装置900进一步包括随机存取存储器(RAM)或其它如主存储器912的动态存储设备或元件，用以存储由处理器904执行的信息和指令。在某些实施例中，主存储器可包括包含浏览器应用的活动的存储应用程序，该浏览器应用用于用在经由装置900的用户的网络浏览活动中。在某些实施例中，此装置的存储器可包括特定寄存器或其它专用存储器。
装置900还可包括只读存储器(ROM)916或其它静态存储设备以用于存储处理器904的静态信息和指令。装置900可包括用于特定元件存储的一个或多个非易失性存储元件918，包括例如，闪存和硬盘或固态驱动器。
一个或多个发送器或接收器920也可被耦合至互连902。在某些实施例中，发送器或接收器920可包括用于其它装置(诸如所示的950)的连接的一个或多个端口922。例如，相机950或其它设备955可被耦合至此一个或多个端口922中的一个端口。在某些实施例中，相机950可生成视频数据流，其中此装置可操作以利用像素重复带宽将此视频数据流与另一视频数据流组合以生成合并的数据流，诸如在图1中所示和以上所描述的那样。在某些实施例中，其它设备955可生成合并的数据流并且装置900可操作用以将合并的数据流的数据分成多个构成的视频数据流，如以上所描述的。
装置900还可经由互连902被耦合至输出显示器926。在某些实施例中，显示器926可包括用于向用户显示信息或内容的液晶显示器(LCD)或任何其它显示技术，包括三维(3D)显示器。在某些实施例中，显示器926可包括触摸屏，该触摸屏也被用作输入设备的至少一部分。在某些实施例中，显示器926可以是或可包括音频设备，诸如用于提供音频信息的扬声器。
装置900还可包括功率设备或装置930，该功率设备或装置930可包括电源、电池、太阳能电池、燃料电池或其它用于提供或生成功率的系统或设备。由功率设备或系统930所提供的功率可根据需要分配给装置900的各元件。
在以上描述中，出于说明目的阐述了众多具体细节以便提供对本发明的全面理解。然而，对本领域技术人员将显而易见的是，没有这些具体细节中的一些也可实践本发明。在其他情况下，公知结构和设备以框图的形式示出。在所示部件之间可以存在中间结构。本文中所描述或示出的部件可以具有未示出或未描述的附加输入或输出。所示元件或组件还能以不同的排列或次序来安排，包括对任何字段重新排序或修改字段大小。
本发明可包括各种过程。本发明的过程可由硬件组件来执行或可以用计算机可执行指令来包含，这可被用于使得用这些指令编程的通用或专用处理器或逻辑电路执行这些过程。或者，这些过程可由硬件和软件的组合来执行。
本发明的各部分可以作为计算机程序产品来提供，计算机程序产品可包括其上存储有计算机程序指令的计算机可读非瞬态存储介质，计算机程序指令可被用来对计算机(或其他电子设备)进行编程来执行根据本发明的过程。计算机可读介质可包括，但不限于，软盘、光盘、CD-ROM(压缩盘只读存储器)、以及磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储电子指令的其它类型的介质/计算机可读介质。此外，本发明还可作为计算机程序产品来下载，其中该程序可以从远程计算机传送到作出请求的计算机。
许多方法是以其最基本的形式来描述的，但可以向这些方法中的任一个添加或从中删除过程，并且可以向所描述的消息中的任一个添加或从中减去信息，而不背离本发明的基本范围。对本领域技术人员而言显而易见的是，还可以作出许多修改和改编。各具体实施例不是为了限制本发明而是为了说明本发明来提供的。
如果说要素“A”耦合至或耦合于要素“B”，则要素A可直接耦合于要素B或例如通过要素C间接耦合。当说明书和权利要求书声称某一组件、特征、结构、过程或特性A“致使”某一组件、特征、结构、过程或特性B，这表示“A”是“B”的至少部分成因但也可以有至少一个其它组件、特征、结构、过程或特性帮助致使“B”。如果说明书指出“可”、“可以”或“能够”包含某一组件、特征、结构、过程或特性，则不是必须包括该具体组件、特征、结构、过程或特性。”如果说明书述及“一”或“一个”元件，则这不意味着仅有单个所描述的元件。”
实施例是本发明的实现或示例。说明书中对“实施例”、“一个实施例”、“某些实施例”或“其它实施例”的引用表示结合实施例所描述的特定特征、结构或特性包括在至少某些实施例中，但不一定包括在所有实施例中。“实施例”、“一个实施例”或“某些实施例”的多次出现不一定都指示同样的实施例。应当理解，在对本发明的示例性实施例的以上描述中，出于流水线化本发明以及帮助理解各发明性方面中的一个或多个的目的，本发明的各个特征有时被一起分组在单个实施例、附图、或对实施例或附图的描述中。
在某些实施例中，一装置包括：缓冲器，用于接收第一视频数据流的像素数据和第一视频数据流的时钟；以及多路复用器，用于移除第二视频数据流的像素重复并且将第一视频数据流的像素数据和第二视频数据流的像素数据组合以生成合并的数据流，此多路复用器在合并的数据流中在第一视频数据流的像素数据和第二视频数据流的像素数据之间交替。在某些实施例中，合并的数据流包括在一行数据中的第一视频数据流的像素数据和第二视频数据流的像素数据，其中控制结构标识第一视频数据流的像素数据和第二视频数据流的像素数据。
在某些实施例中，控制结构包括第一视频数据流的像素数据和第二视频数据流的像素数据在此行数据中的位置的标识。在某些实施例中，控制结构包括信息帧。
在某些实施例中，此装置将第一视频数据流和第二视频数据流组合成合并的数据流而没有保护带或前同步码的重复。
在某些实施例中，多路复用器进一步在将第一视频数据流的像素数据与第二视频数据流的像素数据组合以生成合并的数据流中移除第一视频数据流的像素重复。
在某些实施例中，此装置进一步包括从第二视频数据流中提取第二视频数据流的像素数据和第二视频数据流的时钟的提取部件。在某些实施例中，此缓冲器基于第二视频数据流的时钟重新定时第一视频数据流的像素数据。
在某些实施例中，此装置进一步包括格式化器，此格式化器将第一视频数据流重新格式化成与第二视频数据流兼容。在某些实施例中，第一视频数据流的格式化包括移动第一视频数据流的数据岛数据以创建用于第二视频数据流的数据岛数据的空间。
在某些实施例中，此装置的缓冲器是先进先出(FIFO)存储缓冲器。
在某些实施例中，第一视频数据流包括来自第一相机的视频并且第二视频数据流包括来自第二相机的视频。在某些实施例中，此装置是监视系统的至少一部分。
在某些实施例中，此装置是视频开关的至少一部分，此视频开关将多个视频数据流组合至合并的数据流中以用于在单条线上传输。在某些实施例中，此视频开关基于视频数据流的目的地或视频数据流的发起者的身份来选择合并的数据流的前同步码。
在某些实施例中，一方法包括：将第一视频数据流的像素数据和时钟存储在缓冲器中；移除第二视频数据流的像素重复；以及通过将第一视频数据流的像素数据与第二视频数据流的像素数据组合来生成合并的数据流。在某些实施例中，生成合并的数据流包括在合并的数据流中在第一视频数据流的像素数据和第二视频数据流的像素数据之间交替，并且其中生成合并的数据流包括将第一视频数据流的像素数据和第二视频数据流的像素数据置于单行数据中，控制结构标识第一视频数据流的像素数据和第二视频数据流的像素数据。
在某些实施例中，标识第一视频数据流的像素数据和第二视频数据流的像素数据包括标识第一视频数据流的像素数据和第二视频数据流的像素数据在一行数据中的位置。
在某些实施例中，合并的数据流的生成发生而没有复制前同步码或保护带。
在某些实施例中，此方法进一步包括从第二视频数据流中提取第二视频数据流的像素数据和第二视频数据流的时钟。在某些实施例中，此方法进一步包括基于第二视频数据流的时钟来重新定时第一视频数据流的像素数据。
在某些实施例中，此方法进一步包括将第一视频数据流重新格式化成与第二视频数据流兼容。在某些实施例中，第一视频数据流的格式化包括移动第一视频数据流的数据岛数据以创建用于第二视频数据流的数据岛数据的空间。
在某些实施例中，缓冲器是先进先出(FIFO)存储缓冲器。
在某些实施例中，一装置包括：接收器，用于接收合并的数据流，此合并的数据流包括在一行数据中的多个视频数据流的像素数据，此合并的数据流在此多个视频数据流中的每一个的像素数据之间交替，其中合并的数据流中的控制结构标识此多个视频数据流中的每一个的像素数据在一行数据中的位置；以及处理器，用于至少部分地基于多个视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将合并的数据流的像素数据分成多个相应的数据流。
在某些实施例中，控制结构包括信息帧。在某些实施例中，合并的数据流组合各视频数据流而没有保护带或前同步码的重复。
在某些实施例中，控制结构包括用于此行数据中的至少一个位置的零或空值。在某些实施例中，处理器忽略此行数据的零或空值。
在某些实施例中，处理器将合并的数据流的数据岛分成多个视频数据流。
在某些实施例中，此装置将此多个视频数据流提供给多个分开的视频监视器。
在某些实施例中，一方法包括：接收合并的数据流，此合并的数据流包括在一行数据中的多个视频数据流的像素数据，此合并的数据流在此多个视频数据流中的每一个的像素数据之间交替，其中合并的数据流中的控制结构标识此多个视频数据流中的每一个的像素数据在一行数据中的位置；以及至少部分地基于多个视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将合并的数据流的像素数据分成多个相应的视频数据流。
在某些实施例中，控制结构包括用于此行数据中的至少一个位置的零或空值，并且此方法进一步包括忽略此行数据的零或空值。
在某些实施例中，此方法进一步包括将合并的数据流的数据岛分成多个视频数据流。
在某些实施例中，一种其上存储有表示指令序列的数据的非瞬态计算机可读存储介质，所述指令序列在由处理器执行时导致所述处理器执行包括以下各项的操作：将第一视频数据流的像素数据和时钟存储在缓冲器中；移除第二视频数据流的像素重复；以及通过将第一视频数据流的像素数据与第二视频数据流的像素数据组合来生成合并的数据流。在某些实施例中，生成合并的数据流包括在合并的数据流中在第一视频数据流的像素数据和第二视频数据流的像素数据之间交替。在某些实施例中，生成合并的数据流包括将第一视频数据流的像素数据和第二视频数据流的像素数据置于单行数据中，控制结构标识第一视频数据流的像素数据和第二视频数据流的像素数据。
在某些实施例中，一种其上存储有表示指令序列的数据的非瞬态计算机可读存储介质，所述指令序列在由处理器执行时导致所述处理器执行包括以下各项的操作：接收合并的数据流，此合并的数据流包括在一行数据中的多个视频数据流的像素数据，此合并的数据流在此多个视频数据流中的每一个的像素数据之间交替，其中合并的数据流中的控制结构标识此多个视频数据流中的每一个的像素数据在一行数据中的位置；以及至少部分地基于多个视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将合并的数据流的像素数据分成多个相应的数据流。

Claims (34)

1.一种装置，包括：
缓冲器，用于接收第一视频数据流的像素数据和所述第一视频数据流的时钟；以及
多路复用器，用于移除第二视频数据流的像素重复并且将所述第一视频数据流的像素数据和所述第二视频数据流的像素数据组合以生成合并的数据流，所述多路复用器用于在所述合并的数据流中在所述第一视频数据流的像素数据和所述第二视频数据流的像素数据之间交替；
其中所述合并的数据流包括在一行数据中的所述第一视频数据流的像素数据和所述第二视频数据流的像素数据，其中控制结构标识所述第一视频数据流的像素数据和所述第二视频数据流的像素数据。
2.如权利要求1所述的装置，其特征在于，所述控制结构包括所述第一视频数据流的像素数据和所述第二视频数据流的像素数据在此行数据中的位置的标识。
3.如权利要求1所述的装置，其特征在于，所述控制结构包括信息帧。
4.如权利要求1所述的装置，其特征在于，所述装置将所述第一视频数据流和所述第二视频数据流组合成所述合并的数据流而没有保护带或前同步码的重复。
5.如权利要求1所述的装置，其特征在于，所述多路复用器进一步用于在将所述第一视频数据流的像素数据与所述第二视频数据流的像素数据组合以生成所述合并的数据流中移除所述第一视频数据流的像素重复。
6.如权利要求1所述的装置，其特征在于，进一步包括用于从所述第二视频数据流中提取所述第二视频数据流的像素数据和所述第二视频数据流的时钟的提取部件。
7.如权利要求6所述的装置，其特征在于，所述缓冲器基于所述第二视频数据流的时钟重新定时所述第一视频数据流的像素数据。
8.如权利要求1所述的装置，其特征在于，进一步包括格式化器，所述格式化器用于将所述第一视频数据流重新格式化成与所述第二视频数据流兼容。
9.如权利要求8所述的装置，其特征在于，所述第一视频数据流的格式化包括移动所述第一视频数据流的数据岛数据以创建用于所述第二视频数据流的数据岛数据的空间。
10.如权利要求1所述的装置，其特征在于，所述缓冲器是先进先出(FIFO)存储缓冲器。
11.如权利要求1所述的装置，其特征在于，所述第一视频数据流包括来自第一相机的视频并且所述第二视频数据流包括来自第二相机的视频。
12.如权利要求11所述的装置，其特征在于，所述装置是监视系统的至少一部分。
13.如权利要求1所述的装置，其特征在于，所述装置是视频开关的至少一部分，所述视频开关用于将多个视频数据流组合成所述合并的数据流以用于在单条线上传输。
14.如权利要求13所述的装置，其特征在于，所述视频开关基于视频数据流的目的地或所述视频数据流的发起者的身份来选择所述合并的数据流的前同步码。
15.一种方法，包括：
将第一视频数据流的像素数据和时钟存储在缓冲器中；
移除第二视频数据流的像素重复；以及
通过将所述第一视频数据流的像素数据与所述第二视频数据流的像素数据组合来生成合并的数据流；
其中生成所述合并的数据流包括在所述合并的数据流中在所述第一视频数据流的像素数据和所述第二视频数据流的像素数据之间交替；以及
其中生成所述合并的数据流包括将所述第一视频数据流的像素数据和所述第二视频数据流的像素数据置于单行数据中，控制结构标识所述第一视频数据流的像素数据和所述第二视频数据流的像素数据。
16.如权利要求15所述的方法，其特征在于，标识所述第一视频数据流的像素数据和所述第二视频数据流的像素数据包括标识所述第一视频数据流的像素数据和所述第二视频数据流的像素数据在一行数据中的位置。
17.如权利要求15所述的方法，其特征在于，所述合并的数据流的生成发生而没有复制前同步码或保护带。
18.如权利要求15所述的方法，其特征在于，进一步包括从所述第二视频数据流中提取所述第二视频数据流的像素数据和所述第二视频数据流的时钟。
19.如权利要求18所述的方法，其特征在于，进一步包括基于所述第二视频数据流的时钟来重新定时所述第一视频数据流的像素数据。
20.如权利要求15所述的方法，其特征在于，进一步包括将所述第一视频数据流重新格式化成与所述第二视频数据流兼容。
21.如权利要求20所述的方法，其特征在于，所述第一视频数据流的格式化包括移动所述第一视频数据流的数据岛数据以创建用于所述第二视频数据流的数据岛数据的空间。
22.如权利要求15所述的方法，其特征在于，所述缓冲器是先进先出(FIFO)存储缓冲器。
23.一种装置，包括：
接收器，用于接收合并的数据流，所述合并的数据流包括在一行数据中的多个视频数据流的像素数据，所述合并的数据流在所述多个视频数据流中的每一个的像素数据之间交替，其中所述合并的数据流中的控制结构标识所述多个视频数据流中的每一个的像素数据在一行数据中的位置；以及
处理器，用于至少部分地基于所述视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将所述合并的数据流的像素数据分成多个相应的数据流。
24.如权利要求23所述的装置，其特征在于，所述控制结构包括信息帧。
25.如权利要求23所述的装置，其特征在于，所述合并的数据流组合多个视频数据流而没有保护带或前同步码的重复。
26.如权利要求23所述的装置，其特征在于，所述控制结构包括用于此行数据中的至少一个位置的零或空值。
27.如权利要求26所述的装置，其特征在于，所述处理器忽略此行数据的零或空值。
28.如权利要求23所述的装置，其特征在于，所述处理器将所述合并的数据流的数据岛分成所述多个视频数据流。
29.如权利要求23所述的装置，其特征在于，所述装置将所述多个视频数据流提供给多个分开的视频监视器。
30.一种方法，包括：
接收合并的数据流，所述合并的数据流包括在一行数据中的多个视频数据流的像素数据，所述合并的数据流在所述多个视频数据流中的每一个的像素数据之间交替，其中所述合并的数据流中的控制结构标识所述多个视频数据流中的每一个的像素数据在一行数据中的位置；以及
至少部分地基于所述视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将所述合并的数据流的像素数据分成多个相应的视频数据流。
31.如权利要求30所述的方法，其特征在于，所述控制结构包括用于此行数据中的至少一个位置的零或空值，并且进一步包括忽略此行数据的零或空值。
32.如权利要求30所述的方法，其特征在于，进一步包括将所述合并的数据流的数据岛分成所述多个视频数据流。
33.一种其上存储有表示指令序列的数据的非瞬态计算机可读存储介质，所述指令序列在由处理器执行时导致所述处理器执行包括以下各项的操作：
将第一视频数据流的像素数据和时钟存储在缓冲器中；
移除第二视频数据流的像素重复；以及
通过将所述第一视频数据流的像素数据与所述第二视频数据流的像素数据组合来生成合并的数据流；
其中生成所述合并的数据流包括在所述合并的数据流中在所述第一视频数据流的像素数据和所述第二视频数据流的像素数据之间交替；以及
其中生成所述合并的数据流包括将所述第一视频数据流的像素数据和所述第二视频数据流的像素数据置于单行数据中，控制结构标识所述第一视频数据流的像素数据和所述第二视频数据流的像素数据。
34.一种其上存储有表示指令序列的数据的非瞬态计算机可读存储介质，所述指令序列在由处理器执行时导致所述处理器执行包括以下各项的操作：
接收合并的数据流，所述合并的数据流包括在一行数据中的多个视频数据流的像素数据，所述合并的数据流在所述多个视频数据流中的每一个的像素数据之间交替，其中所述合并的数据流中的控制结构标识所述多个视频数据流中的每一个的像素数据在一行数据中的位置；以及
至少部分地基于所述视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将所述合并的数据流的像素数据分成多个相应的数据流。
CN201380047347.5A 2012-09-12 2013-07-22 利用像素重复带宽组合视频流和音频流 Active CN104620588B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/611,786 2012-09-12
US13/611,786 US9413985B2 (en) 2012-09-12 2012-09-12 Combining video and audio streams utilizing pixel repetition bandwidth
PCT/US2013/051538 WO2014042766A1 (en) 2012-09-12 2013-07-22 Combining video and audio streams utilizing pixel repetition bandwidth

Publications (2)

Publication Number Publication Date
CN104620588A true CN104620588A (zh) 2015-05-13
CN104620588B CN104620588B (zh) 2018-04-27

Family

ID=50232895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047347.5A Active CN104620588B (zh) 2012-09-12 2013-07-22 利用像素重复带宽组合视频流和音频流

Country Status (7)

Country Link
US (1) US9413985B2 (zh)
EP (1) EP2896208A4 (zh)
JP (1) JP6045705B2 (zh)
KR (1) KR101677223B1 (zh)
CN (1) CN104620588B (zh)
TW (1) TWI561088B (zh)
WO (1) WO2014042766A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104968675B (zh) * 2012-09-14 2021-09-24 美国政府卫生与公众服务部 识别mhc ii类限制性mage-a3的t细胞受体
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
JP2016019708A (ja) * 2014-07-16 2016-02-04 浜松ホトニクス株式会社 固体撮像装置、ｘ線撮像システムおよび固体撮像装置駆動方法
JP6993323B2 (ja) * 2016-04-22 2022-01-13 興和株式会社 マルチプレクサ、及び該マルチプレクサを備えた撮影装置
US10291952B2 (en) * 2017-02-24 2019-05-14 Google Llc Multiple-device media swap
US11372823B2 (en) * 2019-02-06 2022-06-28 President And Fellows Of Harvard College File management with log-structured merge bush
CN112583853B (zh) * 2020-12-28 2023-02-21 深圳数字电视国家工程实验室股份有限公司 内容流保护方法、系统及计算机可读存储介质
WO2024011293A1 (en) * 2022-07-14 2024-01-18 Harvest Technology Pty Ltd Systems, methods, and storage media for transmitting multiple data streams over a communications network for remote inspection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268514A (zh) * 2005-07-29 2008-09-17 Lg电子株式会社 记录介质、再现数据的方法和装置、以及记录数据的方法和装置
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
US20110211639A1 (en) * 2010-03-01 2011-09-01 Telefonaktiebolaget Lm Ericsson (Publ) Compression coding and compression decoding of video signals
US20120092450A1 (en) * 2010-10-18 2012-04-19 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4517669A (en) 1983-07-11 1985-05-14 Motorola, Inc. Method and apparatus for coding messages communicated between a primary station and remote stations of a data communications system
JP2597362B2 (ja) * 1987-04-02 1997-04-02 日本電信電話株式会社 画面合成分配装置
US5241382A (en) 1992-04-25 1993-08-31 General Instrument Corporation Digital HDTV data packet format and receiver therefor
US5541662A (en) 1994-09-30 1996-07-30 Intel Corporation Content programmer control of video and data display using associated data
CA2683230C (en) 1995-02-13 2013-08-27 Intertrust Technologies Corporation Systems and methods for secure transaction management and electronic rights protection
US6191822B1 (en) 1997-06-20 2001-02-20 Sony Corporation Method of and apparatus for separating audio and video data from a combined audio/video stream of data
US6141691A (en) 1998-04-03 2000-10-31 Avid Technology, Inc. Apparatus and method for controlling transfer of data between and processing of data by interconnected data processing elements
US7162642B2 (en) 1999-01-06 2007-01-09 Digital Video Express, L.P. Digital content distribution system and method
KR100320183B1 (ko) 1999-03-17 2002-01-10 구자홍 디지탈데이터 플레이어의 파일 암호화 장치
KR20010062821A (ko) 1999-12-28 2001-07-07 은승표 인터넷 상에서 출판물 및 전자서적의 암호화 방법 및 시스템
US6906687B2 (en) 2000-07-31 2005-06-14 Texas Instruments Incorporated Digital formatter for 3-dimensional display applications
US7224837B2 (en) 2000-10-11 2007-05-29 Screenpeaks Ltd. Digital video broadcasting
US7151831B2 (en) 2001-06-06 2006-12-19 Sony Corporation Partial encryption and PID mapping
JP4027647B2 (ja) 2001-11-22 2007-12-26 株式会社エヌ・ティ・ティ・ドコモ 通信制御方法、通信制御システム、移動機及び基地局
US7088398B1 (en) * 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
US20030159143A1 (en) * 2002-02-21 2003-08-21 Peter Chan Systems and methods for generating a real-time video program guide through video access of multiple channels
US7158542B1 (en) 2002-05-03 2007-01-02 Atheros Communications, Inc. Dynamic preamble detection
US20050144468A1 (en) 2003-01-13 2005-06-30 Northcutt J. D. Method and apparatus for content protection in a personal digital network environment
US20070009232A1 (en) 2003-08-26 2007-01-11 Kenji Muraki Information processing system, information processing method, computer program executed in information processing system
JP4976135B2 (ja) 2003-11-13 2012-07-18 イルデト アイントホーフェン ベー フェー 限定アクセス方法及び限定アクセス装置
EP1693999A4 (en) 2003-12-11 2011-09-14 Panasonic Corp PACK STATION DEVICE
GB2414882A (en) * 2004-06-02 2005-12-07 Sharp Kk Interlacing/deinterlacing by mapping pixels according to a pattern
KR101092438B1 (ko) * 2004-08-05 2011-12-13 엘지전자 주식회사 케이블 방송 수신기 및 그의 진단 방법
US7228154B2 (en) 2004-11-03 2007-06-05 Sony Corporation Method and system for processing wireless digital multimedia
KR100908028B1 (ko) * 2004-12-23 2009-07-15 노키아 코포레이션 전자 장치들을 위한 멀티 카메라 솔루션
US7558537B2 (en) 2005-06-07 2009-07-07 Broadcom Corporation Modified preamble for programmable transmitter
US7894535B2 (en) 2005-08-23 2011-02-22 Sony Ericsson Mobile Communications Ab Systems and methods for distributing and/or playing multicasted video signals in multiple display formats
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US8253859B2 (en) * 2006-05-16 2012-08-28 Sony Corporation Transmission system, transmission apparatus, and transmission method for transmitting video data
CN101578884B (zh) * 2007-01-08 2015-03-04 诺基亚公司 提供和使用译码的媒体流的互操作点的预定信令的系统和方法
US20090060182A1 (en) 2007-09-04 2009-03-05 Thomas Killian Apparatus and method for enhancing the protection of media content
GB2452765A (en) * 2007-09-14 2009-03-18 Dooworks Fz Co Combining multiple image streams by reducing the colour depth of each bit stream combining them onto a single stream
US7995575B2 (en) * 2008-01-02 2011-08-09 Cisco Technology, Inc. Packet error handling
US7788428B2 (en) * 2008-03-27 2010-08-31 Sony Ericsson Mobile Communications Ab Multiplex mobile high-definition link (MHL) and USB 3.0
US8156565B2 (en) 2008-04-28 2012-04-10 Microsoft Corporation Hardware-based protection of secure data
JP4752865B2 (ja) 2008-05-12 2011-08-17 ソニー株式会社 インターフェース回路
JP5089493B2 (ja) * 2008-06-03 2012-12-05 三菱電機株式会社 デジタル映像データ送信装置、デジタル映像データ受信装置、デジタル映像データ伝送システム、デジタル映像データ送信方法、デジタル映像データ受信方法、およびデジタル映像データ伝送方法
EP2292068A4 (en) 2008-06-23 2017-04-19 Nokia Technologies Oy Method and apparatus for performing random access procedure using soft-dedicated preambles
US8139699B2 (en) 2008-08-04 2012-03-20 Redpine Signals, Inc. Process for preamble detection in a multi-stream 802.16E receiver
US8189681B1 (en) * 2008-09-24 2012-05-29 Matrox Graphics Inc. Displaying multiple compressed video streams on display devices
US9003512B2 (en) 2009-01-16 2015-04-07 Cox Communications, Inc. Content protection management system
AU2010207508B2 (en) 2009-01-20 2016-03-03 Koninklijke Philips Electronics N.V. Transferring of 3D image data
EP2228985A1 (en) 2009-03-13 2010-09-15 Advanced Digital Broadcast S.A. Combined television data stream, method for displaying television channel and method for generating combined television data stream
US9041772B2 (en) * 2009-04-07 2015-05-26 Lg Electronics Inc. Broadcast transmitter, broadcast receiver, and 3D video data processing method thereof
US20110088056A1 (en) 2009-10-12 2011-04-14 At&T Intellectual Property I, L.P. Portable wireless accessory for a wireless communication system
KR20110053160A (ko) 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
US20110149032A1 (en) 2009-12-17 2011-06-23 Silicon Image, Inc. Transmission and handling of three-dimensional video content
US20110157473A1 (en) * 2009-12-30 2011-06-30 Hoon Choi Method, apparatus, and system for simultaneously previewing contents from multiple protected sources
US10084993B2 (en) * 2010-01-14 2018-09-25 Verint Systems Ltd. Systems and methods for managing and displaying video sources
EP2362653A1 (en) 2010-02-26 2011-08-31 Panasonic Corporation Transport stream packet header compression
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9654810B2 (en) 2010-07-23 2017-05-16 Lattice Semiconductor Corporation Mechanism for partial encryption of data streams
EP2605514B1 (en) * 2010-08-09 2017-07-12 Panasonic Corporation Image encoding method, image decoding method, image encoding device, and image decoding device
US20120044324A1 (en) * 2010-08-23 2012-02-23 Lg Electronics Inc. Method for providing 3d video in a 3dtv
US8675865B2 (en) 2010-09-24 2014-03-18 Intel Corporation Method and apparatus for a high bandwidth stream cipher
KR20120069795A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 디지털 케이블 방송 시스템에서 부가 데이터 전송 방법 및 장치
US8964979B2 (en) 2011-10-07 2015-02-24 Silicon Image, Inc. Identification and handling of data streams using coded preambles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268514A (zh) * 2005-07-29 2008-09-17 Lg电子株式会社 记录介质、再现数据的方法和装置、以及记录数据的方法和装置
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
US20110211639A1 (en) * 2010-03-01 2011-09-01 Telefonaktiebolaget Lm Ericsson (Publ) Compression coding and compression decoding of video signals
US20120092450A1 (en) * 2010-10-18 2012-04-19 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display

Also Published As

Publication number Publication date
TWI561088B (en) 2016-12-01
JP6045705B2 (ja) 2016-12-14
EP2896208A1 (en) 2015-07-22
KR20150055032A (ko) 2015-05-20
JP2015532065A (ja) 2015-11-05
TW201412117A (zh) 2014-03-16
WO2014042766A1 (en) 2014-03-20
US9413985B2 (en) 2016-08-09
KR101677223B1 (ko) 2016-11-29
CN104620588B (zh) 2018-04-27
EP2896208A4 (en) 2016-06-29
US20140071271A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
CN104620588A (zh) 利用像素重复带宽组合视频流和音频流
EP2687009B1 (en) Conversion of multimedia data streams for use by connected devices
CN101076130B (zh) 通信方法及系统、传送方法及设备、接收方法及设备
CN101388992B (zh) 信息处理装置和信息处理方法
CN102349100B (zh) 多监视器显示器
US20090094658A1 (en) Methods and systems for driving multiple displays
CN103875230A (zh) 使用编码的前同步码对数据流的标识和处理
CN103782604B (zh) 发送装置、发送方法、接收装置、接收方法和发送/接收系统
CN106105186B (zh) 通过多媒体通信连结通信的传送装置、接收装置及非暂态电脑可读媒体
JP2013514742A (ja) ３次元ビデオコンテンツの送信及び処理
TW201310973A (zh) 處理立體顯示用之資料框的系統及方法
CN102656851B (zh) 将数据流去封装进入多个链路中的方法、装置及系统
CN102377990A (zh) 传送和接收设备以及传送和接收方法
US20090189910A1 (en) Delivering pixels received at a lower data transfer rate over an interface that operates at a higher data transfer rate
CN113271392B (zh) 一种视频图像同步处理方法、设备、系统以及存储介质
CN105430296A (zh) 一种高清视频多画面分割裂屏显示的解决方法
CN107567710A (zh) 用于处理视频数据的系统和方法
US9131215B2 (en) Method and apparatus for transmitting and receiving uncompressed three-dimensional video data via digital data interface
CN105007444A (zh) 一种单像素视频显示装置及显示方法
CN105549931B (zh) Usb视频拼接播放系统
CN108766386A (zh) 用于从源设备接收信号的设备
CN116915965B (zh) 一种不同格式3d视频同屏显示的系统、方法及电子设备
CN103201770B (zh) 数据广播显示装置、数据广播显示方法
KR20190067531A (ko) Hdmi 영상신호처리를 위한 동기화 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151109

Address after: oregon

Applicant after: LATTICE SEMICONDUCTOR CORPORATION

Address before: American California

Applicant before: Silicon Image Inc. A. Delaware C.

GR01 Patent grant
GR01 Patent grant