CN1320806C - 提供基于情绪的虚拟相册的方法和系统 - Google Patents

提供基于情绪的虚拟相册的方法和系统 Download PDF

Info

Publication number
CN1320806C
CN1320806C CNB028246632A CN02824663A CN1320806C CN 1320806 C CN1320806 C CN 1320806C CN B028246632 A CNB028246632 A CN B028246632A CN 02824663 A CN02824663 A CN 02824663A CN 1320806 C CN1320806 C CN 1320806C
Authority
CN
China
Prior art keywords
beholder
image
facial expression
mood
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028246632A
Other languages
English (en)
Other versions
CN1602620A (zh
Inventor
A·J·科梅纳雷兹
M·特拉科维
S·V·R·古特塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1602620A publication Critical patent/CN1602620A/zh
Application granted granted Critical
Publication of CN1320806C publication Critical patent/CN1320806C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99934—Query formulation, input preparation, or translation

Abstract

用于提供基于情绪的虚拟相册的方法和系统，该相册基于观看者的被识别的情绪提供照片。该方法可以包括以下步骤：用照相机捕捉观看者面部表情的第一图像，将该图像提供给处理器的模式识别模块，通过将该面部表情与多个以前存储的面部表情的图像相比较确定观看者的情绪，所述多个以前存储的图像都具有相关的情绪标识符来表示多个以前存储的图像中的每一个图像的情绪，基于与已经确定的情绪相关的情绪标识符从存储器中检索出用于传送给观看者的一个照片集，以及将该照片集以电子相册的形式传送。系统包括照相机，用于传送以该照相机捕捉的观看者面部表情的第一图像的用户界面，用于接收通过用户界面传送来的图像的处理器，该处理器还包括模式识别模块，该模块用于将由处理器接收的图像与来自存储区的多个面部表情的图像相比较，从而确定观看者的情绪。检索单元检索对应于观看者情绪的一个电子照片集，并且传送该电子照片集作为虚拟相册用于展示。

Description

提供基于情绪的虚拟相册的方法和系统
本发明涉及与反馈系统有关的观看者界面。更明确地，本发明涉及与反馈系统有关的光学观看者界面。
当希望回忆过去的特定的事件或者人时，人们经常观看相册。然而，标准的相册不能考虑到当观看者翻阅图片时的情绪。
本发明的一个方面是用于提供虚拟相册的方法，该相册能够展示符合观看者被识别的情绪的照片集。这包括以下步骤：用照相机捕捉观看者面部表情的第一图像，将该图像提供给处理器的模式识别模块，通过将该面部表情与多个以前存储的面部表情的图像相比较确定观看者的情绪，所述多个以前存储的图像都具有相关的情绪标识符来表示多个以前存储的图像的每一个图像的情绪，基于与已经确定的情绪相关的情绪标识符从存储器中检索出用于传送给观看者的一个照片集，以及将该照片集以电子相册的形式传送给观看者。
本发明的另一方面，用于基于情绪的虚拟相册的系统包括：照相机，用于传送以该照相机捕捉的观看者面部表情的第一图像的用户界面装置，用于接收通过用户界面装置传送来的图像的处理器，该处理器还包括模式识别模块，该模块用于将由处理器接收的图像与来自存储区的多个面部表情的图像相比较，从而根据由照相机捕捉的第一图像确定观看者的情绪，用于检索对应于观看者情绪的一个电子照片集并将该电子照片集发送给观看者的检索装置，以及用于展示作为虚拟相册的该照片集的显示器。
图1A是一个流程图，该流程图给出了一个根据本发明的提供基于情绪的虚拟相册的方法的概述。
图1B是一个流程图，该流程图给出了图1A中所示概述的附加细节。
图2是一个根据本发明的用于提供虚拟相册的系统的图解。
图1A图示了一个根据本发明的提供虚拟相册的方法的概述。
步骤105中，通过照相机捕捉观看者的第一图像。该图像可以依据任何已知协议，包括但不限于JPEG、TIFF、BMP、PCX等等。该图像也可能是一个视频序列，例如MPEG、MPEG-1、MPEG-2、MEPG-3或者任何它们的变型。也可以是用于视频序列的另一种格式。
步骤115中，将观看者的面部表情的图像提供给处理器的模式识别模块。尽管处理器可以是一个本地相联的计算机，但是本发明的一个方面包括基于网络的处理器，而且观看者将启动互联网网站上的虚拟相册。该网站可以要求一个标识符和密码，或者在每次访问该网站时，可以存储和/或更新观看者界面上的甜饼(cookie)。也可能使用不同于万维网的其他类型的网络，例如LAN、WAN等等。
步骤125中，通过模式识别确定观看者的情绪。通过将该面部表情与多个以前存储的面部表情的图像相比较来做出该确定，所述多个以前存储的面部图像都具有相关的情绪标识符来表示多个以前存储的图像中的每一个图像的情绪。
步骤135中，从存储区中检索一个照片集，该照片对应于步骤125中检测出的情绪类型。例如，如果观看者被检测出的情绪是悲伤，该照片集可以包括爱人的图像。该照片集也可以包括预先确定的使得大多数以前的观看者快乐的照片。
步骤145中，将该照片集传送给观看者作为虚拟的基于情绪的相册显示。照片可以连续地显示，每张照片显示确定的时间。可选择地，观看者可以确定观看每张照片的时间长度，或者通过主动敲击键盘、操纵杆或者鼠标来指示观看下一张照片的请求。照片可以首先显示在屏幕上，例如，包括但不限于行和列的格式。用户可以通过指示设备或键盘敲击或指示或输入某个数字来单独观看特定的照片。
图1B给出了关于反馈系统的更多的细节，在将照片集中的至少一张照片展示给观看者之后，该反馈系统用于后续的面部表情图像。应该注意的是，图1B中的步骤是可选的。
步骤155中，通过照相机捕捉观看者的面部表情的第二图像。该第二图像在被观看者观看的所述照片集中的至少一张之后。该面部表情的附加的监视是一种反馈系统，该系统能够在显示至少一张照片之后，根据观看者目前的情绪评价关于照片的反应。
步骤165中，通过重复步骤125、135和145更新照片集从而得到用于虚拟相册的修改的照片集。
图2图示了根据本发明的、用于提供虚拟相册的系统。
观看者界面(UI)205包括照相机206，该界面与处理器210通信，包括但不限于个人电脑。该照相机可以是模拟的，也可以是数字的，能够提供一个或者几个观看者的快速静止照片或者视频序列。该静止照片可以应用任何已知的传统的数字表示协议，例如JPEG、TIFF、BMP、PCX等等。该视频序列也可以应用任何已知的协议，例如MPEG、MPEG-1、MPEG-2、MEPG-3等等。照相机可以以任何方式与处理器通信，例如通过USB(通用串行总线)端口、并口或串口、光纤连接、或者甚至无线连接。
处理器210可以放置在远离用户界面和观看者的地方，视频序列可以通过互联网传送到主机地点，该主机地点可以包括多张根据情绪分类的照片，至少其中之一可以作为虚拟相册传送给观看者。对于在关于任何特定的观看和/或观看者的虚拟相册中提供什么类型的照片而言，观看者的情绪是主要的决定因素。
放置照相机使得能够准确地聚焦到观看者的表情。面部表情，例如微笑、皱眉、傻笑、咬嘴唇、流泪仅是几个作为观看者情绪标志的标准，可以由照相机记录并传送给处理器。作为例子但不是限定，授予Kawamoto等人的U.S.专利5,367,454被包括于此文作为背景资料参考，其中公开了不同的人类情绪，包括害怕、惊奇、厌恶、愤怒、期待、欢乐和赞同。
该处理器可以包括面部表情识别数据库和识别模块215或者在存储区的程序。该数据库包括多个面部表情，每个面部表情都有一个相关的情绪类别，例如快乐、悲伤、害怕、厌恶、生气、焦虑等等。模式识别模块辨别观看者面部表情特征，以及通过比较器模块将该表情与以前存储的面部表情相比较来确定观看者的情绪。
例如，观看者的嘴部特征与来自存储区中面部表情况别数据库和识别模块215的图像的比较可以用于检测是否该人在笑。例如，如果嘴唇的末端向上弯曲，或者其位置比嘴唇中部高，就可以被识别为快乐的图像。嘴唇末端比嘴唇中部低的嘴可以作为皱眉的标记。紧闭嘴唇和抿嘴一起可以作为悲哀的标记。
由于嘴唇通常都有一致的色调和相对地椭圆形，像素的色调可以用于确定嘴的位置和脸的周边区域。像素的改变将用于识别眼泪，这样确定观看者是悲伤的。
模式识别工作的一种方法是观看者从附属照相机中发送快照，将这些照片标记为当快乐、悲伤、生气、焦虑、害怕、厌恶等时观看者的表情。该表情作为基础用于面部表情的后续图像的比较230。然后该模式识别模块将观看者目前的面部表情与在存储区中的观看者的面部表情相比较，并且确定该观看者的主要情绪。
可替换地，在存储区中面部表情识别数据库和识别模块215中的面部图像的分类的情绪可以包括相应的观看者的图像。在将一系列通常会导致某些面部表情的照片展示给观看者之后，捕捉这些图像。例如，当由照相机捕捉观看者的面部表情时，危险动物的照片，诸如正要攻击的北极熊，或者鲨鱼，将会被展示给观看者。无论观看者经历了什么情绪，例如，来自一张照片的恐惧都是倾向于受个人感情支配的，这一点说明了情绪的最初标记可能是检测一个人情绪的更准确的方法的原因。
另外，模式识别模块可以用并非观看者的人的面部表情来预编程序，这样将不再需要观看者提供关于他们与特定面部表情相联系的特定情绪的最初反馈。在该领域的普通技术人员应该注意的是，需要一个更加复杂的模式识别模块，用于将被预编程序到数据库的来自其他人的多个样本的面部表情，例如愤怒，与目前观看者的面部表情建立关联。
模式识别模块将关于已确定的情绪的信息提供给检索模块220。检索模块将使用已确定的情绪作为过滤器来屏蔽所有照片，除了将会根据已确定情绪的类型改变已确定的情绪或可能保持它的现状的那些照片之外。从数据库225中检索出用于传送和展示给观看者的照片，这些照片至少通过情绪被分类。
例如，当已经确定目前观看者的情绪是悲哀，可以将虚拟相册中的图像传送给观看者，从而将其情绪改变为快乐。然而，如果目前的情绪是快乐，检索到的图像可能是那些以前被确定的，或者通过直接相关，或者通过观看者以前观看虚拟相册的启发式的重复，从而保留该快乐的情绪。对观看者目前的面部表情可以有一个持续的监视，在虚拟相册中的照片集可以根据观看者面部表情的改变而进行更新。
该模式识别是启发式的，在其中，来自基于情绪的照片的反馈根据表情的变化分出等级。以后的用于明确的观看者的虚拟相册能够提供照片，这些照片给出，例如，以前的虚拟相册期间来自该观看者的最开心的笑容。被认为可以抚慰焦虑或不安的观看者的照片在以后的观看过程中将不会激发出相同的反应。然而，可以引起微笑甚至大笑的照片可能在第一次观看时最为有趣，而在以后的观看时将带来较少的快乐。这些反应将会被跟踪以用于以后的观察者，在其中，例如，很有可能当观看者第一次观看某张照片时将会微笑。如果以前的观看者在后续的观看中表现出较少的快乐，则那张照片最好只展示给观看者一次。例如，也可以通过由网站在观看者的电脑里置入甜饼进行跟踪，从而使得在将来的虚拟相册中是否看到一些相同的照片取决于观看之间的时间量。
当然，应该考虑到普通表情的变化。例如，某些人当焦虑的时候将会微笑，但那不是快乐的表示。通常在焦虑的微笑中有一个可分辨的特征，这一点不同于喜剧的微笑，或者当人们看到爱人时的微笑。这样相同面部表情的不同类别将包括子类，因此模式识别模块可以区分快乐的微笑和焦虑的微笑，而检索模块能够发送虚拟相册中适当的照片集。
另外，当看到孩子或者配偶的照片时，人们通常会感觉到快乐，但是也有可能观看者看到照片中的人时表现出不安，正常的情绪可能由愤怒或焦虑的感情代替。而且，例如，现在已经死亡的爱人的照片将会带来悲伤而不是以前快乐的反应。如果以前令人快乐的照片现在却在不只一个的场景中引起负面的反应，模式识别模块将会记录该照片，并将其从呈现给观看者的可能的照片组合中除去。
在本发明的另一方面，观看者可以提供一些识别信息，或者从网站中提取该信息。该识别信息可以是观看者的邮政编码或者其他的地理位置。一个相关模块能够，例如，检查观看者的识别邮政编码对应地区的天气/温度。如果该地理位置现在很冷并且在下雪，虚拟相册将传送壁炉，或者一杯热巧克力，或者与雪有关的运动例如滑雪和摩托雪撬等的照片。如果天气非常热，海滩或者夏天正常的户外运动的照片将成为虚拟相册的一部分。如果正在下雨，照片将包括晴朗的户外照片、彩虹、鲜花等等。在每种情况下，都将有观看者面部表情的反馈，用来观看的图片可以被相应地调整。
另外，照相机探测到的一天内的时间、日期、天气、房间里人的数量、和背景照明条件，也能够作为修改照片检索的要素。而且，观看者可以选择或者最初设定最喜欢的活动，作为用于被检索和展示的照片的类型和顺序的修改因子。每一个修改检索的要素都应该具有相应的可识别的标准来标记存储器中的图片。例如，棒球运动员的照片可以有独特的标识符，如果观看者表达了对棒球的喜爱，将会检索该照片用于显示。
在本发明的另一方面，对于某一特定的面部表情，观看者可能指示应该被显示的目标的偏爱。例如，如果确定的情绪是悲伤，喜欢狗的人可能暗示最希望小狗的照片使其变得快乐。另一个人可能更偏爱小猫的照片。类别可以被个人化从而包括，例如，汽车、运动、艺术、手工艺、爱好等等的照片。在每种情况下，检索模块将会基于从模式识别模块确定的情绪和当一个特定的情绪被确定时由观看者指示的偏爱，来选择某一个图像集。
该模式识别模块可以被置于存储区内。该存储区可以位于ROM/RAM、闪速存储器等中，或者它可以是网络中的服务器。
在本发明的精神和附加的权利要求书的范围内，本领域的普通技术人员可以做出各种各样的修改。例如，情绪标识符可以包括更多的情绪或更少的情绪，对于每一类特定的面部表情根据表情的相对程度，在一个类别(例如微笑)中的表情可以被区分等级。

Claims (18)

1.用于提供基于情绪的虚拟相册的方法，所述的方法包括以下步骤：
(a)用照相机捕捉观看者面部表情的第一图像(105)；
(b)将所述面部表情的图像提供给处理器的模式识别模块(115)；
(c)通过将该面部表情与多个以前存储的面部表情的图像相比较来确定具有相关的情绪标识符的观看者的情绪(125)，所述多个以前存储的面部表情的图像都具有相关的情绪标识符，用于表示所述多个以前存储的图像中的每一个的情绪；
(d)基于与在步骤(c)中确定的情绪相关的情绪标识符从存储器中检索要被传送给所述观看者的照片集(135)；并且
(e)将在步骤(d)中检索出的该照片集以电子相册的形式传送给所述观看者以用于显示(145)。
2.根据权利要求1所述的方法，其中步骤(e)中的照片集通过互联网传送给所述观看者，并且所述的电子相册包括虚拟相册。
3.根据权利要求1所述的方法，其中步骤(b)中的模式识别模块是本地相联的计算机。
4.根据权利要求2所述的方法，其中步骤(b)中的模式识别模块是基于网络的处理器。
5.根据权利要求1所述的方法，其中步骤(c)中的以前存储的图像是观看者的面部表情。
6.根据权利要求4所述的方法，还包括给以前存储的观看者的面部表情的图像提供情绪标识符。
7.根据权利要求6所述的方法，其中情绪标识符由观看者提供，从而为所述多个以前存储的图像中的每一个相应图像的面部表情指定特定的情绪。
8.根据权利要求4所述的方法，其中步骤(c)中的以前存储的图像是观看者的面部表情。
9.根据权利要求8所述的方法，还包括给以前存储的观看者的面部表情的图像提供情绪标识符。
10.根据权利要求9所述的方法，其中情绪标识符由观看者提供，从而为所述多个以前存储的图像中的每一个相应图像的面部表情指定特定的情绪。
11.根据权利要求4所述的方法，还包括：
(f)在所述观看者观看了在步骤(e)中被传送的所述照片集中的至少一张照片后，捕捉观看者的面部表情的第二图像；
(g)根据在步骤(f)中捕捉的面部表情的第二图像，通过重复步骤(c)、(d)和(e)来更新在步骤(e)中被传送的照片集。
12.根据权利要求4所述的方法，其中以JPEG图像、TIFF图像、BMP图像和PCX图像中的一种来捕捉面部表情的图像。
13.根据权利要求4所述的方法，其中面部表情的图像是视频序列。
14.根据权利要求13所述的方法，其中所述视频序列包括MPEG序列。
15.根据权利要求4所述的方法，其中步骤(c)包括：(1)根据下述因素中的至少一个修改与观看者的情绪有关的情绪标识符：
(i)本地天气；
(ii)靠近观看者的其他人；
(iii)该观看者附近的照明情况；
(iv)一天内的时间；
(v)日期；和
(vi)观看者喜爱的活动。
16.根据权利要求15所述的方法，其中步骤(d)包括：根据在步骤(c)(1)中对于情绪标识符的修改来顺序传送照片集。
17.用于基于情绪的虚拟相册的系统，包括：
照相机(206)；
用户界面装置(205)，该装置用于传送用所述照相机捕捉的观看者面部表情的第一图像；
处理器(210)，该处理器用于接收被传送来的所述观看者的面部表情的图像；
所述的处理器包括面部表情识别数据库和识别模块(215)，该模块用于将由所述处理器接收的图像与存储在存储区的多个面部表情的图像相比较，并且用于根据由所述照相机捕捉的面部表情的第一图像确定观看者的情绪；
检索装置(220)，用于检索对应于根据面部表情的第一图像确定的观看者情绪的电子照片集(225)，以将所述的电子照片集传送给所述的观看者；和
显示器(205)，用于将所述照片集作为虚拟相册展示给观看者。
18.根据权利要求17所述的系统，其中所述的用户界面装置(205)用于在显示所述照片集中的至少一张照片之后，传送所述观看者的面部表情的后续图像；
其中所述处理器的所述面部表情识别数据库和识别模块(215)比较所述观看者的面部表情的所述后续图像，用于根据所述后续图像确定观看者的情绪；并且
所述检索装置(220)检索与根据观看者的面部表情的所述后续图像中的每一张确定的观看者的情绪相对应的电子照片集。
CNB028246632A 2001-12-11 2002-11-20 提供基于情绪的虚拟相册的方法和系统 Expired - Fee Related CN1320806C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/014,231 2001-12-11
US10/014,231 US6931147B2 (en) 2001-12-11 2001-12-11 Mood based virtual photo album

Publications (2)

Publication Number Publication Date
CN1602620A CN1602620A (zh) 2005-03-30
CN1320806C true CN1320806C (zh) 2007-06-06

Family

ID=21764251

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028246632A Expired - Fee Related CN1320806C (zh) 2001-12-11 2002-11-20 提供基于情绪的虚拟相册的方法和系统

Country Status (7)

Country Link
US (1) US6931147B2 (zh)
EP (1) EP1459515A1 (zh)
JP (1) JP2005512248A (zh)
KR (1) KR20040068210A (zh)
CN (1) CN1320806C (zh)
AU (1) AU2002366670A1 (zh)
WO (1) WO2003051033A1 (zh)

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450734B2 (en) * 2000-01-13 2008-11-11 Digimarc Corporation Digital asset management, targeted searching and desktop searching using digital watermarks
US20040205493A1 (en) * 2001-08-08 2004-10-14 Simpson Shell S. Web based imaging application that creates customized content based on user selections
US7286692B2 (en) * 2001-12-27 2007-10-23 Amnart Kanarat Automatic celebrity face matching and attractiveness rating machine
US6850247B1 (en) * 2002-01-06 2005-02-01 Apple Computer, Inc. Method and apparatus for image acquisition, organization, manipulation, and publication
US7289132B1 (en) 2003-12-19 2007-10-30 Apple Inc. Method and apparatus for image acquisition, organization, manipulation, and publication
US7327505B2 (en) * 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system
US7003139B2 (en) * 2002-02-19 2006-02-21 Eastman Kodak Company Method for using facial expression to determine affective information in an imaging system
JP2004000341A (ja) * 2002-05-31 2004-01-08 Omron Corp 相性判定方法、相性判定サーバ、相性判定プログラム、および該プログラムを記録した記録媒体
WO2005113099A2 (en) * 2003-05-30 2005-12-01 America Online, Inc. Personalizing content
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US20050060166A1 (en) * 2003-09-15 2005-03-17 Durham Jon A. Method of providing funeral products and services
EP1528775A1 (en) * 2003-10-31 2005-05-04 Sony Ericsson Mobile Communications AB Call alerting using call relevance flags
US8418067B2 (en) * 2004-01-15 2013-04-09 Microsoft Corporation Rich profile communication with notifications
US20060010167A1 (en) * 2004-01-21 2006-01-12 Grace James R Apparatus for navigation of multimedia content in a vehicle multimedia system
EP1582965A1 (en) * 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
JP2007534235A (ja) * 2004-04-15 2007-11-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザに対する特定の感情的影響を有するコンテンツアイテムを生成する方法
US20050244798A1 (en) * 2004-04-30 2005-11-03 Christine Zernzach Method for improving the emotional quotient in infants and children
JP4423131B2 (ja) 2004-08-02 2010-03-03 キヤノン株式会社 情報管理装置
FR2879323B1 (fr) 2004-12-13 2008-05-16 Sagem Procede de recherche d'informations dans une base de donnees
US7921369B2 (en) * 2004-12-30 2011-04-05 Aol Inc. Mood-based organization and display of instant messenger buddy lists
US8024658B1 (en) 2005-01-09 2011-09-20 Apple Inc. Application for designing photo albums
WO2006075902A1 (en) * 2005-01-14 2006-07-20 Samsung Electronics Co., Ltd. Method and apparatus for category-based clustering using photographic region templates of digital photo
KR100790867B1 (ko) * 2005-01-14 2008-01-03 삼성전자주식회사 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치
EP1844411A2 (en) * 2005-01-28 2007-10-17 Koninklijke Philips Electronics N.V. Dynamic photo collage
JP2006293985A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293986A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US8570586B2 (en) * 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
JP2007036874A (ja) * 2005-07-28 2007-02-08 Univ Of Tokyo 視聴者情報測定システム及びこれを用いたマッチングシステム
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
KR100664954B1 (ko) * 2005-10-25 2007-01-04 삼성전자주식회사 감정모드 설정 및 이미지 변환 장치, 감정모드 설정 및이미지 변환 방법
CN101297292A (zh) * 2005-10-27 2008-10-29 皇家飞利浦电子股份有限公司 用于向电子日记本加入内容或从中获取内容的方法和系统
KR100647337B1 (ko) * 2005-11-17 2006-11-23 삼성전자주식회사 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 시스템
JP4829012B2 (ja) * 2006-06-14 2011-11-30 富士フイルム株式会社 人物撮像装置，その制御方法およびその制御プログラム
US8726195B2 (en) 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
KR100828371B1 (ko) 2006-10-27 2008-05-08 삼성전자주식회사 컨텐츠의 메타 데이터 생성 방법 및 장치
JP5023663B2 (ja) 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
KR100849844B1 (ko) * 2006-12-22 2008-08-01 삼성전자주식회사 자동 앨범 구성 장치 및 방법과 앨범의 커버 이미지 관리장치 및 방법
US20080163282A1 (en) * 2006-12-29 2008-07-03 Nokia Corporation Apparatus and system for multimedia meditation
TWI397024B (zh) * 2007-01-16 2013-05-21 Asustek Comp Inc 影像畫面自動選取方法及其電腦系統
JP2008225550A (ja) * 2007-03-08 2008-09-25 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP4453721B2 (ja) * 2007-06-13 2010-04-21 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP5823694B2 (ja) * 2007-12-20 2015-11-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 入力に基づいて電子イメージを自動的に選択するシステム及び方法
CN101271528B (zh) * 2008-04-11 2012-06-27 北京中星微电子有限公司 一种输出图像的方法及装置
US8184869B2 (en) * 2008-05-30 2012-05-22 Hewlett-Packard Development Company, L.P. Digital image enhancement
US8237742B2 (en) * 2008-06-12 2012-08-07 International Business Machines Corporation Simulation method and system
US8259992B2 (en) * 2008-06-13 2012-09-04 International Business Machines Corporation Multiple audio/video data stream simulation method and system
JP5294318B2 (ja) * 2009-01-21 2013-09-18 任天堂株式会社 情報処理プログラムおよび情報処理装置
US8154615B2 (en) 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
CN101604491B (zh) * 2009-07-06 2011-12-07 北京派瑞根科技开发有限公司 随环境和表情变化的电子画
US8806331B2 (en) 2009-07-20 2014-08-12 Interactive Memories, Inc. System and methods for creating and editing photo-based projects on a digital network
JP4900739B2 (ja) * 2009-09-04 2012-03-21 カシオ計算機株式会社 電子写真立て、その制御方法及びプログラム
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
JP4768846B2 (ja) * 2009-11-06 2011-09-07 株式会社東芝 電子機器及び画像表示方法
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US20110243397A1 (en) * 2010-03-30 2011-10-06 Christopher Watkins Searching digital image collections using face recognition
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
EP2402867B1 (en) * 2010-07-02 2018-08-22 Accenture Global Services Limited A computer-implemented method, a computer program product and a computer system for image processing
WO2012070430A1 (ja) * 2010-11-24 2012-05-31 日本電気株式会社 感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラム
US9183632B2 (en) * 2010-11-24 2015-11-10 Nec Corporation Feeling-expressing-word processing device, feeling-expressing-word processing method, and feeling-expressing-word processing program
JPWO2012070428A1 (ja) * 2010-11-24 2014-05-19 日本電気株式会社 感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラム
GB2499385A (en) * 2012-02-09 2013-08-21 Nokia Corp Automated notification of images with changed appearance in common content
GB2511668A (en) * 2012-04-12 2014-09-10 Supercell Oy System and method for controlling technical processes
US9313344B2 (en) 2012-06-01 2016-04-12 Blackberry Limited Methods and apparatus for use in mapping identified visual features of visual images to location areas
US20130346920A1 (en) * 2012-06-20 2013-12-26 Margaret E. Morris Multi-sensorial emotional expression
US9678948B2 (en) * 2012-06-26 2017-06-13 International Business Machines Corporation Real-time message sentiment awareness
JP6075982B2 (ja) * 2012-07-03 2017-02-08 大和ハウス工業株式会社 顔しかめ検出システム及び顔しかめ検出方法
CN102833918B (zh) * 2012-08-30 2015-07-15 四川长虹电器股份有限公司 基于情绪识别的智能照明交互方法
US9413906B2 (en) 2012-09-28 2016-08-09 Interactive Memories Inc. Method for making relevant content proposals based on information gleaned from an image-based project created in an electronic interface
US8799756B2 (en) 2012-09-28 2014-08-05 Interactive Memories, Inc. Systems and methods for generating autoflow of content based on image and user analysis as well as use case data for a media-based printable product
US8799829B2 (en) 2012-09-28 2014-08-05 Interactive Memories, Inc. Methods and systems for background uploading of media files for improved user experience in production of media-based products
CN102946491B (zh) * 2012-11-23 2014-11-05 广东欧珀移动通信有限公司 一种根据用户心情自动调整壁纸的方法及系统
CN103309449A (zh) * 2012-12-17 2013-09-18 广东欧珀移动通信有限公司 基于面部表情识别自动切换壁纸的移动终端及其方法
US9460083B2 (en) 2012-12-27 2016-10-04 International Business Machines Corporation Interactive dashboard based on real-time sentiment analysis for synchronous communication
US9690775B2 (en) 2012-12-27 2017-06-27 International Business Machines Corporation Real-time sentiment analysis for synchronous communication
CN103929460A (zh) * 2013-01-16 2014-07-16 三星电子（中国）研发中心 获取联系人状态信息的方法及移动设备
CN105359166B (zh) * 2013-02-08 2018-11-09 埃莫蒂安特公司 收集用于表情识别的机器学习训练数据
JP6132335B2 (ja) * 2013-03-15 2017-05-24 Ｎｅｃソリューションイノベータ株式会社 感情推定装置及び感情推定方法
EP2797011A1 (en) * 2013-04-25 2014-10-29 Thomson Licensing Method of and apparatus for providing access to content in a database based on environment-derived contextual information
US9516259B2 (en) * 2013-10-22 2016-12-06 Google Inc. Capturing media content in accordance with a viewer expression
CN103593650B (zh) * 2013-10-28 2017-01-25 浙江大学 一种基于表情识别系统生成艺术图像的方法
CN103632165B (zh) * 2013-11-28 2017-07-04 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
US8923551B1 (en) 2014-07-16 2014-12-30 Interactive Memories, Inc. Systems and methods for automatically creating a photo-based project based on photo analysis and image metadata
US8935322B1 (en) 2014-07-16 2015-01-13 Interactive Memories, Inc. Methods and systems for improved uploading of media files for use in media-rich projects
US8958662B1 (en) 2014-08-20 2015-02-17 Interactive Memories, Inc. Methods and systems for automating insertion of content into media-based projects
US8990672B1 (en) 2014-08-25 2015-03-24 Interactive Memories, Inc. Flexible design architecture for designing media-based projects in a network-based platform
US9219830B1 (en) 2014-10-31 2015-12-22 Interactive Memories, Inc. Methods and systems for page and spread arrangement in photo-based projects
US9507506B2 (en) 2014-11-13 2016-11-29 Interactive Memories, Inc. Automatic target box in methods and systems for editing content-rich layouts in media-based projects
US9077823B1 (en) 2014-10-31 2015-07-07 Interactive Memories, Inc. Systems and methods for automatically generating a photo-based project having a flush photo montage on the front cover
US10069971B1 (en) * 2014-12-16 2018-09-04 Amazon Technologies, Inc. Automated conversation feedback
JP6522779B2 (ja) * 2015-03-27 2019-05-29 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 電子写真を表示する方法及び装置並びにモバイルデバイス
US9329762B1 (en) 2015-06-02 2016-05-03 Interactive Memories, Inc. Methods and systems for reversing editing operations in media-rich projects
CN104864354B (zh) * 2015-06-08 2017-05-10 浙江农林大学 一种led心情传递灯具及方法
CN106331586A (zh) * 2015-06-16 2017-01-11 杭州萤石网络有限公司 一种智能家居视频监控方法和系统
CN106454060A (zh) * 2015-08-10 2017-02-22 宏达国际电子股份有限公司 影音管理方法及其系统
US9781392B2 (en) * 2015-09-16 2017-10-03 Intel Corporation Facilitating personal assistance for curation of multimedia and generation of stories at computing devices
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
CN106228145B (zh) * 2016-08-04 2019-09-03 网易有道信息技术（北京）有限公司 一种人脸表情识别方法和设备
CN106339103A (zh) * 2016-08-15 2017-01-18 珠海市魅族科技有限公司 图像查询方法和装置
US10657718B1 (en) * 2016-10-31 2020-05-19 Wells Fargo Bank, N.A. Facial expression tracking during augmented and virtual reality sessions
US10255549B2 (en) 2017-01-27 2019-04-09 International Business Machines Corporation Context-based photography and captions
US10567844B2 (en) * 2017-02-24 2020-02-18 Facebook, Inc. Camera with reaction integration
JP6919260B2 (ja) * 2017-03-23 2021-08-18 富士フイルムビジネスイノベーション株式会社 情報変換装置及びプログラム
US10740823B1 (en) * 2017-04-28 2020-08-11 Wells Fargo Bank, N.A. Financial alert system based on image of user spending behavior
CN107193571A (zh) 2017-05-31 2017-09-22 广东欧珀移动通信有限公司 界面推送的方法、移动终端及存储介质
CN107341006B (zh) * 2017-06-21 2020-04-21 Oppo广东移动通信有限公司 锁屏壁纸推荐方法及相关产品
CN107391997A (zh) * 2017-08-25 2017-11-24 突维科技有限公司 数码相框装置及其控制方法
US10885315B2 (en) 2018-03-19 2021-01-05 Rovi Guides, Inc. Systems and methods for alerting a user to published undesirable images depicting the user
CN108549842B (zh) * 2018-03-21 2020-08-04 珠海格力电器股份有限公司 一种人物图片分类的方法和装置
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US10771573B2 (en) 2018-06-08 2020-09-08 International Business Machines Corporation Automatic modifications to a user image based on cognitive analysis of social media activity
CN110866112A (zh) * 2018-08-14 2020-03-06 阿里巴巴集团控股有限公司 一种响应顺序确定方法、服务器和终端设备
CN113423334A (zh) * 2019-02-22 2021-09-21 索尼集团公司 信息处理设备、信息处理方法和程序
US11157549B2 (en) * 2019-03-06 2021-10-26 International Business Machines Corporation Emotional experience metadata on recorded images
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
CN110177205A (zh) * 2019-05-20 2019-08-27 深圳壹账通智能科技有限公司 终端设备、基于微表情的拍照方法及计算机可读存储介质
DK202070612A1 (en) 2020-02-14 2021-10-26 Apple Inc User interfaces for workout content
US11457730B1 (en) 2020-10-26 2022-10-04 Wells Fargo Bank, N.A. Tactile input device for a touch screen
US11741517B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system for document management
US11397956B1 (en) 2020-10-26 2022-07-26 Wells Fargo Bank, N.A. Two way screen mirroring using a smart table
US11429957B1 (en) * 2020-10-26 2022-08-30 Wells Fargo Bank, N.A. Smart table assisted financial health
US11740853B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system utilizing extended reality
US11727483B1 (en) 2020-10-26 2023-08-15 Wells Fargo Bank, N.A. Smart table assisted financial health
US11572733B1 (en) 2020-10-26 2023-02-07 Wells Fargo Bank, N.A. Smart table with built-in lockers
US20230118312A1 (en) * 2021-10-14 2023-04-20 Mint NFT, Inc. System and method of promoting and validating a non-fungible token

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043345A (ja) * 1999-07-28 2001-02-16 Mitsubishi Electric Corp 表情認識装置、およびそれを用いた投薬制御システム、覚醒レベル評価システム、回復評価システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612401A (ja) * 1992-06-26 1994-01-21 Fuji Xerox Co Ltd 感情模擬装置
US5895464A (en) * 1997-04-30 1999-04-20 Eastman Kodak Company Computer program product and a method for using natural language for the description, search and retrieval of multi-media objects
US6721741B1 (en) * 2000-01-24 2004-04-13 Friskit, Inc. Streaming media search system
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US20030117651A1 (en) * 2001-12-26 2003-06-26 Eastman Kodak Company Method for using affective information recorded with digital images for producing an album page
US7327505B2 (en) * 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043345A (ja) * 1999-07-28 2001-02-16 Mitsubishi Electric Corp 表情認識装置、およびそれを用いた投薬制御システム、覚醒レベル評価システム、回復評価システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Recommender Systems in E-Commerce J. Ben Schafer,Joseph Konstan,John Riedl,Proceedings ACM Conference on Electronic Commerce 1999 *
面部表情图像的分析与识别 高文、金辉，计算机学报，第20卷第9期 1997 *

Also Published As

Publication number Publication date
US6931147B2 (en) 2005-08-16
CN1602620A (zh) 2005-03-30
WO2003051033A1 (en) 2003-06-19
US20030108241A1 (en) 2003-06-12
EP1459515A1 (en) 2004-09-22
JP2005512248A (ja) 2005-04-28
AU2002366670A1 (en) 2003-06-23
KR20040068210A (ko) 2004-07-30

Similar Documents

Publication Publication Date Title
CN1320806C (zh) 提供基于情绪的虚拟相册的方法和系统
CN110740387B (zh) 一种弹幕编辑方法、智能终端及存储介质
CN100430934C (zh) 成像方法与系统
CN109121007B (zh) 基于多人脸识别的影视内容推荐方法、智能电视及系统
CN101421730B (zh) 基于相机用户输入的图像价值指数
US7814061B2 (en) Method for preserving privacy with image capture
CN109635680B (zh) 多任务属性识别方法、装置、电子设备及存储介质
US7885435B2 (en) Image classification and information retrieval over wireless digital networks and the internet
CN109905782B (zh) 一种控制方法及装置
EP2541963A2 (en) Method for identifying video segments and displaying contextually targeted content on a connected television
KR20070108195A (ko) 동적 사진 콜라주
JP5525737B2 (ja) サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
US7302113B2 (en) Displaying digital images
CN110493517A (zh) 图像捕获装置的辅助拍摄方法和图像捕获装置
CN108984657A (zh) 图像推荐方法和装置、终端、可读存储介质
EP1704710A4 (en) METHOD AND DEVICE FOR AUTOMATIC COLLECTION AND MANAGEMENT OF IMAGES
CN110633669A (zh) 家居环境中基于深度学习的移动端人脸属性识别方法
CN113766296B (zh) 直播画面的展示方法和装置
JP6900170B2 (ja) 情報処理システム、情報処理方法、およびプログラム
GB2381615A (en) System and method for facilitating image retrieval
CN111046209B (zh) 图像聚类检索系统
CN112507853A (zh) 一种基于互注意力机制的跨模态行人重识别方法
US20050041103A1 (en) Image processing method, image processing apparatus and image processing program
US20060257003A1 (en) Method for the automatic identification of entities in a digital image
Bagdanov et al. Florence faces: a dataset supporting 2d/3d face recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070606

Termination date: 20121120