DE102004011154B3 - Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans - Google Patents

Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans Download PDF

Info

Publication number
DE102004011154B3
DE102004011154B3 DE102004011154A DE102004011154A DE102004011154B3 DE 102004011154 B3 DE102004011154 B3 DE 102004011154B3 DE 102004011154 A DE102004011154 A DE 102004011154A DE 102004011154 A DE102004011154 A DE 102004011154A DE 102004011154 B3 DE102004011154 B3 DE 102004011154B3
Authority
DE
Germany
Prior art keywords
image data
transformation
combined
central axis
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102004011154A
Other languages
English (en)
Inventor
Martin Dr. Kleen
Marcus Dr. Pfister
Norbert Rahn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102004011154A priority Critical patent/DE102004011154B3/de
Priority to JP2005060106A priority patent/JP4633504B2/ja
Priority to US11/076,536 priority patent/US7480398B2/en
Priority to CN2005100531995A priority patent/CN1666708B/zh
Application granted granted Critical
Publication of DE102004011154B3 publication Critical patent/DE102004011154B3/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G06T3/067—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Registrierung einer Folge von 2-D-Bilddaten (5) eines Hohlraumorgans (2), insbesondere eines Gefäßes, die mit einem bildgebenden, endoluminalen Instrument (1) bei bekannten relativen Verschiebepositionen des Instrumentes (1) in dem Hohlraumorgan (2) erfasst wurden, mit 3-D-Bilddaten (8) des Hohlraumorgans (2). Bei dem Verfahren werden aus den 3-D-Bilddaten (8) ein dreidimensionaler Verlauf einer zentralen Achse (10) eines vorgebbaren Abschnittes des Hohlraumorgans (2) bestimmt, der dreidimensionale Verlauf der zentralen Achse (10) durch eine erste Transformation der 3-D-Bilddaten (8) des vorgebbaren Abschnittes des Hohlraumorgans (2) in einen geraden Verlauf überführt und für die erste Transformation erforderliche Transformationsparameter gespeichert. Aus der Folge von 2-D-Bilddaten (5) wird durch parallele Aneinanderreihung auf einer zentralen Gerade entsprechend der bekannten relativen Verschiebepositionen ein kombinierter 3-D-Bilddatensatz (11) generiert, der durch Gleichsetzen der zentralen Gerade mit dem geraden Verlauf der zentralen Achse (10) und Translation zur Überlagerung eines gemeinsamen Referenzpunktes zunächst mit den transformierten 3-D-Bilddaten (9) registriert wird. Anschließend wird der kombinierte 3-D-Bilddatensatz (11) oder die darin enthaltenen 2-D-Bilddaten (5) unter Berücksichtigung der abgespeicherten Transformationsparameter mit den 3-D-Bilddaten (3) registriert.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans, insbesondere eines Gefäßes, die mit einem bildgebenden endoluminalen Instrument bei bekannten relativen Verschiebepositionen des Instrumentes in dem Hohlraumorgan erfasst wurden, mit 3D-Bilddaten des Hohlraumorgans von 3D-Bildgebungsmodalitäten, wie bspw. Computertomographie (CT), Magnetresonanztomographie (MR), 3D-Angiographie oder 3D-Ultraschall.
  • Mit bildgebenden, endoluminalen Instrumenten lassen sich zweidimensionale Bilder des Inneren eines Hohlraumorgans, insbesondere eines Gefäßes, aufzeichnen. Hierbei werden bildgebende Verfahren wie intravaskulärer Ultraschall (IVUS), optische Kohärenztomographie (OCT) oder Fluoreszenzbildgebung eingesetzt. Die Bildaufzeichnung erfolgt dabei während der kontinuierlichen oder schrittweisen kontrollierten Bewegung des Instrumentes in dem Hohlraumorgan. So lassen sich bspw. mit bildgebenden intravaskulären Kathetern zweidimensionale Schnittbilder aus dem Inneren von Gefäßen, z. B. aus dem Gefäßsystem des Herzens, liefern. 1 zeigt hierzu beispielhaft einen Schnitt durch das Gefäßsystem 3 des Herzens, wobei der in eines der Gefäße 2 eingeführte bildgebende Katheter 1 in der Figur erkennbar ist. Dieser Katheter 1 wird mit einer Bewegungskontrolleinrichtung 4 entweder maschinell oder manuell in dem Gefäß 2 vor- oder zurückgeschoben. Die Zugrichtung des Katheters 1 ist mit dem Pfeil angedeutet. Während der kontinuierlichen, kontrollierten Bewegung des Katheters 1 in dem Gefäß 2 werden regelmäßig zweidimensionale Schnittbilder des Gefäßes aufgezeichnet. Die 1 zeigt im rechten Teil die während der Bewegung des Katheters 1 an verschiedenen Positionen im Gefäß 2 erhaltenen 2D-Schnittbilder 5, die jeweils einen Schnitt quer zur Längsachse des Gefäßes 2 repräsentieren. Der entlang der 2D-Schnittbilder 5 verlau fende Pfeil repräsentiert die Zugrichtung des Katheters 1 während der Bildaufnahme. In den 2-Schnittbildern ist die Gefäßwand 7 sowie die zentrale Achse 10 des Gefäßes innerhalb des Gefäßlumens 6 zu erkennen, auf der der Katheter 1 geführt wird. Da die Längsverschiebung des Katheters 1 zum Zeitpunkt jeder Aufnahme eines 2D-Schnittbildes 5 aufgrund der kontrollierten Katheterbewegung und somit auch die relativen Verschiebepositionen zu jedem 2D-Schnittbild bekannt sind, lassen sich die Bilddaten dieser Bilder durch Berücksichtigung der relativen Verschiebepositionen zu einem dreidimensionalen Bilddatensatz zusammensetzen.
  • Die US 6,248,074 81 beschreibt ein Verfahren zur Gewinnung eines dreidimensionalen Bildes eines Hohlraumorgans, bei dem mit einem bildgebenden, endoluminalen Instrument zweidimensionale Ultraschall-Bilder des Inneren des Hohlraumorgans aufgezeichnet werden. Das endoluminale Instrument ist mit einem die Orientierung und Position des Instrumentes erfassenden Sensor ausgestattet, so dass jedem Bild eine Position zugeordnet werden kann. Aus den aufgezeichneten zweidimensionalen Bildern wird dann unter Berücksichtigung der jeweiligen Orientierung und Position ein dreidimensionales Bild generiert.
  • Aus D. Rotger et al., „Active Vessel: A New Multimedia Workstation for Intravascular Ultrasound and Angiography Fusion", Computers in Cardiology 2003, 30, Seiten 65 bis 68, ist ein Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Gefäßes, die mit einem IVUS-Katheter bei bekannten relativen Verschiebepositionen des Katheters in dem Gefäß erfasst wurden, mit Angiographie-Bilddaten des Gefäßes bekannt. Bei dem Verfahren wird der Katheter aus den während der Katheterbewegung unter unterschiedlichen Projektionen aufgezeichneten Paaren von Angiographie-Bildern segmentiert, um den 3D-Pfad des Katheters und die exakte Zuordnung der IVUS-Bilddaten zu den Angiographie-Bilddaten zu erhalten.
  • Die US 2002/0106116 A1 offenbart ein Verfahren zur Analyse von Gefäßen, bei dem aus 3D-Bilddaten eines Computertomo graphen ein dreidimensionaler Verlauf einer zentralen Achse der Gefäße bestimmt und in einen geraden Verlauf überführt wird.
  • Die WO97/28743 A1 beschreibt ein Verfahren, bei dem mit einem IVUS-Katheter 2D-Bilder eines Gefäßes unter Röntgenangiographie aufgezeichnet werden. Aus den Angiographie-Bildern werden der 3D-Pfad und die Orientierung des Katheters bestimmt, um aus den 2D-Bilddaten einen 3D-Bilddatensatz generieren zu können.
  • Die WO98/32371 A1 offenbart ein Verfahren zur zwei- und dreidimensionalen Bildgebung eines Hohlorgans, bei dem mit einem Computertomographen zweidimensionale Schnittbilder des Hohlorgans aufgezeichnet werden, aus denen durch Nachverarbeitung unterschiedliche Ansichten erzeugt und simultan (anatomisch registriert) dargestellt werden.
  • Weiterhin ist aus der DE 199 19 907 A1 ein Verfahren zur Katheternavigation in dreidimensionalen Gefäßbaum-Aufnahmen bekannt, bei dem die räumliche Position des Katheters detektiert und in eine 3D-Ansicht eines präoperativ aufgenommenen Gefäßbaums eingeblendet wird. Hierfür wird ein Katheter mit einem integrierten Positionssensor eingesetzt, über den die jeweils momentane räumliche Position der Katheterspitze erfasst wird. Eine Registrierung dieses Positionssensors mit den 3D-Bilddaten erfolgt vor Durchführung der Intervention über spezielle Marker, die im 3D-Bild sichtbar sind und mit dem Katheter angefahren werden. Eine derartige Registrierung ist für alle Anwendungen erforderlich, bei denen die aufgezeichneten 2D-Bilddaten mit 3D-Bilddaten kombiniert werden sollen.
    •
  • Ausgehend von diesem Stand der Technik besteht die Aufgabe der vorliegenden Erfindung darin, ein Verfahren zur Registrierung von mit einem bildgebenden, endoluminalen Instrument aufgezeichneten 2D-Bilddaten eines Hohlraumorgans mit 3D- Bilddaten anzugeben, das ohne den Einsatz eines Positionssensors auskommt.
  • Die Aufgabe wird mit dem Verfahren gemäß Patentanspruch 1 gelöst. Vorteilhafte Ausgestaltungen des Verfahrens sind Gegenstand der Unteransprüche oder lassen sich der nachfolgenden Beschreibung sowie den Ausführungsbeispielen entnehmen.
  • Bei dem vorliegenden Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans, insbesondere eines Gefäßes, die mit einem bildgebenden, endoluminalen Instrument bei bekannten relativen Verschiebepositionen des Instrumentes in dem Hohlraumorgan erfasst wurden, mit 3D-Bilddaten des Hohlraumorgans wird zunächst aus den 3D-Bilddaten ein dreidimensionaler Verlauf einer zentralen Achse eines vorgebbaren Abschnittes des Hohlraumorgans bestimmt. Diese Bestimmung des dreidimensionalen Verlaufs der zentralen Achse kann bspw. durch eine Segmentierung der in den 3D-Bilddaten erkennbaren Wand des Hohlraumorgans erfolgen, anhand der die zentrale Achse geometrisch ermittelt wird. Selbstverständlich sind auch andere Bildverarbeitungs-Algorithmen für die Bestimmung des Achsenverlaufs möglich. Anschließend wird dieser dreidimensionale Verlauf der zentralen Achse durch eine längenerhaltende erste Transformation der 3D-Billdaten des vorgebbaren Abschnittes des Hohlraumorgans in einen geradlinigen Verlauf überführt und die für diese Transformation erforderlichen Transformationsparameter für eine spätere Rücktransformation abgespeichert. Aus der Folge von 2D-Bilddaten wird durch parallele deckungsgleiche Aneinanderreihung auf einer zentralen Gerade entsprechend der bekannten relativen Verschiebepositionen ein kombinierter 3D-Bilddatensatz generiert, wie dies auch aus dem Stand der Technik bereits bekannt ist. Der kombinierte 3D-Bilddatensatz wird schließlich durch Gleichsetzen der zentralen Gerade mit dem geraden Verlauf der zentralen Achse des transformierten 3D-Bilddatensatzes und geeignete Translation zur Überlagerung eines gemeinsamen Referenzpunktes mit diesen transformierten 3D-Bilddaten registriert. Eventuelle Auflösungsunterschiede zwischen dem kombinierten 3D-Bilddatensatz und den transformierten 3D-Bilddaten können durch eine Voxel-Interpolation in allen 3 Dimensionen eliminiert werden. Als Referenzpunkt kann bspw. eine Verzweigung des Hohlraumorgans oder ein anderer markanter oder bekannter Punkt herangezogen werden. Auf diese Weise lässt sich die Registrierung durch einfache Translation der beiden 3D-Bilddatensätze gegeneinander erreichen. Nach dieser Registrierung wird der kombinierte 3D-Bilddatensatz oder die darin enthaltenen 2D-Bilddaten unter Berücksichtigung der abgespeicherten Transformationsparameter in die Position der ursprünglichen 3D-Bilddaten zurück transformiert. Dies erfolgt vorzugsweise durch eine direkte zweite Transformation des kombinierten 3D-Bilddatensatzes oder der darin enthaltenen 2D-Bilddaten, die eine Rücktransformation zur ersten Transformation mit Hilfe der abgespeicherten Transformationsparameter darstellt. Wurde der ursprüngliche 3D-Datensatz bei der ersten Transformation nicht gesichert, so wird dieser ebenfalls durch eine Rücktransformation der transformierten 3D-Bilddaten zurück gewonnen. Als Ergebnis des vorliegenden Verfahrens liegen die 2D-Bilddaten des betrachteten Abschnitts des Hohlraumorgans nun registriert mit dem 3D-Bilddatensatz vor. Zusätzlich können diese 2D-Bilddaten entsprechend der echten 3D-Anatomie des Hohlraumorgans angeordnet bzw. rekonstruiert werden. Diese Rekonstruktion ergibt sich automatisch bei der Rücktransformation des kombinierten 3D-Bilddatensatzes.
  • Somit wird ein Verfahren zur Registrierung einer kontinuierlich während der Führung des Instrumentes durch ein Hohlraumorgan aufgenommenen Folge von 2D-Bilddaten mit einem anatomischen 3D-Bilddatensatz bereitgestellt, das ohne den Einsatz eines Positionssensors auskommt. Der Registrierungsschritt wird durch die vorgeschlagene Transformation der 3D-Bilddaten stark vereinfacht, da lediglich eine Translation der beiden 3D-Bilddatensätze zueinander erfolgen muss. Das vorliegende Verfahren eignet sich hierbei insbesondere für den Einsatz mit bildgebenden Verfahren wie IVUS, OCT oder Fluoreszenzbildgebung mit Hilfe eines Katheters oder Endoskops zur Re gistrierung der Bilddaten von Gefäßen mit Bilddaten von 3D-Bildgebungsmodalitäten wie CT, MR, 3D-Angiographie oder 3D-Ultraschall. Durch die einfache Registrierung lassen sich die Bilddaten dann für den Anwender beliebig kombiniert, bspw. überlagert, darstellen. Selbstverständlich kann das vorliegende Verfahren auch auf Bilddaten von Untersuchungen anderer röhrenförmiger Körperteile, wie etwa Darmuntersuchungen oder Bronchioskopien, angewendet werden.
    •
  • Das vorliegende Verfahren wird nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den Zeichnungen nochmals näher erläutert. Hierbei zeigen:
  • 1 eine Darstellung der Verhältnisse bei der Bildaufnahme von 2D-Schnittbildern mit einem Katheter;
  • 2 ein Beispiel für die Transformation von 3D-Bilddaten eines Gefäßabschnittes in eine geradlinige Form;
  • 3 ein Beispiel für die Erzeugung des kombinierten 3D-Bilddatensatzes aus den aufgezeichneten 2D-Bilddaten;
  • 4 eine Veranschaulichung der Rücktransformation des kombinierten 3D-Bilddatensatzes und
  • 5 einen Überblick über den Verfahrensablauf bei der Durchführung des vorliegenden Verfahrens.
  • Im vorliegenden Beispiel wird die Registrierung von 2D-Bilddaten mit 3D-Bilddaten eines Gefäßabschnittes beispielhaft dargelegt. Die Aufzeichnung einer Serie von 2D-Bilddaten mit einem Katheter wurde bereits im einleitenden Teil der Beschreibung anhand der 1 kurz erläutert. Das Ergebnis dieser Bildaufzeichnung ist eine Folge unverbundener 2D- Bilder 5 mit bekannter, zu jedem Bild gehöriger Translation der Gefäßlängsachse.
  • Einen Überblick über die einzelnen Verfahrensschritte des vorliegenden Verfahrens gibt 5.
  • Zunächst wird in den einem Benutzer dargestellten 3D-Bilddaten durch Identifikation eines dreidimensionalen Start- und eines dreidimensionalen Endpunktes ein Abschnitt des zu fusionierenden Gefäßes 2 definiert. Nach der Vorgabe des Gefäßabschnitts erfolgt eine Extraktion des dreidimensionalen Verlaufs der zentralen Achse 10 des Gefäßabschnitts in diesen anatomischen 3D-Bilddaten 8. Hierbei wird der Gefäßabschnitt zunächst segmentiert, um anhand der segmentierten Daten den Verlauf der zentralen Achse 10 geometrisch bestimmen zu können.
  • Auf Basis dieses dreidimensionalen Verlaufs 10 der zentralen Achse wird die 3D-Gefäßstruktur dieses Gefäßabschnitts in eine gerade- bzw. röhrenförmige Form transformiert. Dies ist in der 2 veranschaulicht. Die Parameter der Transformation werden zur späteren Rücktransformation abgespeichert.
  • Aus der Folge von mit dem Instrument aufgezeichneten 2D-Bilddaten 5 wird ebenfalls durch einfache Aneinanderreihung ein gerader, röhrenförmiger 3D-Bilddatensatz 11 erzeugt, wie dies in der 3 veranschaulicht ist. Der Abstand der einzelnen 2D-Bilder 5 in diesem 3D-Datensatz 11 ist durch die bekannte relative Verschiebeposition des Katheters während der Bildaufzeichnung vorgegeben. Die 2D-Bilddaten 5 werden dabei in der Regel bei zeitlich konstanter Katheter-Bewegung aufgenommen. Dies ist durch bekannte motorische Pull-Back-Vorrichtungen möglich. Evtl. Auflösungsunterschiede zwischen dem aus den 2D-Bilddaten 5 erhaltenen 3D-Bilddatensatz 11 und dem 3D-Bilddatensatz 8 der 3D-Modalität können durch Voxel-Interpolation in allen 3 Dimensionen eliminiert werden.
  • Das Ergebnis der letzten Verfahrensschritte sind zwei 3D-Bilddatensätze 9, 11, die jeweils den interessierenden Gefäßabschnitt in geradliniger Ausrichtung zeigen. Diese beiden Datensätze 9, 11 können nun durch einfache Überlagerung der zentralen Achse und gegenseitige Translation anhand eines gemeinsamen bekannten Punktes zugeordnet, d. h. registriert werden. Als gemeinsamer bekannter Punkt kann bspw. eine Gefäßverzweigung in den beiden 3D-Bildern durch den Benutzer erfasst und in Übereinstimmung gebracht werden.
  • Nach dieser Registrierung der beiden geradlinig ausgerichteten 3D-Bilddatensätze 9, 11 erfolgt eine Rücktransformation in die ursprüngliche 3D-Form. Dies ist in der 4 anhand des aus den 2D-Bilddaten 5 erhaltenen kombinierten 3D-Bilddatensatzes 11 veranschaulicht. Zu dieser Rücktransformation des Gefäßabschnittes in die ursprüngliche 3D-Form werden die in dem Transformationsschritt abgespeicherten Transformationsparameter ausgelesen und in inverser Weise angewendet. Bei diesem Schritt werden im vorliegenden Beispiel sämtliche fusionierten Daten, d. h. sowohl die 2D-Bilddaten 5 bzw. der aus diesen gebildete 3D-Bilddatensatz 11 als auch die anatomischen transformierten 3D-Bilddaten 9 rücktransformiert. Das Ergebnis ist die Registrierung der anatomischen 3D-Bilddaten 8 mit der Folge von 2D-Bilddaten 5 des bildgebenden Instrumentes. Diese 2D-Bilddaten 5 des betrachteten Gefäßabschnittes liegen nun registriert vor und können zusätzlich entsprechend der echten 3D-Anatomie angeordnet bzw. rekonstruiert werden.

Claims (9)

  1. Verfahren zur Registrierung einer Folge von 2D-Bilddaten (5) eines Hohlraumorgans (2), die mit einem bildgebenden, endoluminalen Instrument (1) bei bekannten relativen Verschiebepositionen des Instrumentes (1) in dem Hohlraumorgan (2) erfasst wurden, mit 3D-Bilddaten (8) des Hohlraumorgans (2), bei dem – aus den 3D-Bilddaten (8) ein dreidimensionaler Verlauf einer zentralen Achse (10) eines vorgebbaren Abschnittes des Hohlraumorgans (2) bestimmt wird, – der dreidimensionale Verlauf der zentralen Achse (10) durch eine erste Transformation der 3D-Bilddaten (8) des vorgebbaren Abschnittes des Hohlraumorgans (2) in einen geraden Verlauf überführt und für die erste Transformation erforderliche Transformationsparameter gespeichert werden, – aus der Folge von 2D-Bilddaten (5) durch parallele Aneinanderreihung auf einer zentralen Geraden entsprechend der bekannten relativen Verschiebepositionen ein kombinierter 3D-Bilddatensatz (11) generiert wird, – der kombinierte 3D-Bilddatensatz (11) durch Gleichsetzen der zentralen Gerade mit dem geraden Verlauf der zentralen Achse (10) und Translation zur Überlagerung eines gemeinsamen Referenzpunktes zunächst mit den transformierten 3D-Bilddaten (9) registriert wird und – der kombinierte 3D-Bilddatensatz (11) oder die darin enthaltenen 2D-Bilddaten (5) anschließend unter Berücksichtigung der abgespeicherten Transformationsparameter mit den 3D-Bilddaten (8) registriert wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der kombinierte 3D-Bilddatensatz (11) oder die darin enthaltenen 2D-Bilddaten (5) für die Registrierung mit den 3D-Bilddaten (8) einer zweiten Transformation, die eine Rücktransformation zur ersten Transformation darstellt, unterzogen wird oder werden.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Auflösungsunterschiede zwischen den 3D-Bilddaten (8) und dem kombinierten 3D-Bilddatensatz (11) durch Interpolation ausgeglichen werden.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass als Referenzpunkt ein in den 2D-Bilddaten (5) und den 3D-Bilddaten (8) erkennbarer markanter Punkt festgelegt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der dreidimensionale Verlauf der zentralen Achse (10) des Hohlraumorgans (2) durch Segmentierung einer Wand (7) des Hohlraumorgans (2) in den 3D-Bilddaten (8) bestimmt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die 3D-Bilddaten (8) des Hohlraumorgans (2) mit einem Magnetresonanz- oder Röntgenabsorptionsverfahren aufgezeichnet werden.
  7. Verfahren nach einem der Ansprüche 1 bis 6 zur Registrierung von 2D-Bilddaten (5), die mit einem IVUS-Katheter aufgezeichnet wurden.
  8. Verfahren nach einem der Ansprüche 1 bis 6 zur Rekonstruktion von 2D-Bilddaten (5), die mit einem OCT-Katheter aufgezeichnet wurden.
  9. Verfahren nach einem der Ansprüche 1 bis 6 zur Rekonstruktion von 2D-Bilddaten (5), die mittels Fluoreszenz-Bildgebung aufgezeichnet wurden.
DE102004011154A 2004-03-08 2004-03-08 Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans Expired - Fee Related DE102004011154B3 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102004011154A DE102004011154B3 (de) 2004-03-08 2004-03-08 Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans
JP2005060106A JP4633504B2 (ja) 2004-03-08 2005-03-04 中空管の２ｄ画像データを中空管の３ｄ画像データと共に登録する方法
US11/076,536 US7480398B2 (en) 2004-03-08 2005-03-08 Method of registering a sequence of 2D image data with 3D image data
CN2005100531995A CN1666708B (zh) 2004-03-08 2005-03-08 用空腔管道三维图像数据记录其二维图像数据序列的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004011154A DE102004011154B3 (de) 2004-03-08 2004-03-08 Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans

Publications (1)

Publication Number Publication Date
DE102004011154B3 true DE102004011154B3 (de) 2005-11-24

Family

ID=34895014

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004011154A Expired - Fee Related DE102004011154B3 (de) 2004-03-08 2004-03-08 Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans

Country Status (4)

Country Link
US (1) US7480398B2 (de)
JP (1) JP4633504B2 (de)
CN (1) CN1666708B (de)
DE (1) DE102004011154B3 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009043069A1 (de) * 2009-09-25 2011-04-07 Siemens Aktiengesellschaft Visualisierungsverfahren und Bildgebungssystem

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1903944B1 (de) * 2005-06-24 2017-04-19 Volcano Corporation Ko-aufzeichnung grafischer bilddaten mit darstellung dreidimensionaler gefässmerkmale
US8135453B2 (en) * 2005-12-07 2012-03-13 Siemens Corporation Method and apparatus for ear canal surface modeling using optical coherence tomography imaging
KR20070078152A (ko) * 2006-01-26 2007-07-31 주식회사 메디슨 초음파 영상을 디스플레이하는 장치 및 방법
EP1994492B1 (de) * 2006-03-01 2016-01-13 The Brigham and Women's Hospital, Inc. Arterienabbildungssystem
JP2007244746A (ja) * 2006-03-17 2007-09-27 Olympus Medical Systems Corp 観察システム
US9867530B2 (en) 2006-08-14 2018-01-16 Volcano Corporation Telescopic side port catheter device with imaging system and method for accessing side branch occlusions
US20080086051A1 (en) * 2006-09-20 2008-04-10 Ethicon Endo-Surgery, Inc. System, storage medium for a computer program, and method for displaying medical images
US20080147086A1 (en) * 2006-10-05 2008-06-19 Marcus Pfister Integrating 3D images into interventional procedures
US7993274B2 (en) * 2006-11-22 2011-08-09 General Electric Company Method, system, and computer product for automatically extracting and tracking cardiac calcifications and determining a tracking centerline
KR101529333B1 (ko) * 2007-01-19 2015-06-16 써니브룩 헬스 사이언시즈 센터 초음파와 광학 영상 진단 수단이 결합된 영상 탐침 장치
US20080319307A1 (en) * 2007-06-19 2008-12-25 Ethicon Endo-Surgery, Inc. Method for medical imaging using fluorescent nanoparticles
US8457718B2 (en) * 2007-03-21 2013-06-04 Ethicon Endo-Surgery, Inc. Recognizing a real world fiducial in a patient image data
US8155728B2 (en) * 2007-08-22 2012-04-10 Ethicon Endo-Surgery, Inc. Medical system, method, and storage medium concerning a natural orifice transluminal medical procedure
US20080221434A1 (en) * 2007-03-09 2008-09-11 Voegele James W Displaying an internal image of a body lumen of a patient
US20080234544A1 (en) * 2007-03-20 2008-09-25 Ethicon Endo-Sugery, Inc. Displaying images interior and exterior to a body lumen of a patient
US8081810B2 (en) * 2007-03-22 2011-12-20 Ethicon Endo-Surgery, Inc. Recognizing a real world fiducial in image data of a patient
US20080240524A1 (en) * 2007-03-30 2008-10-02 General Electric Company Organ based hanging protocol for a diagnostic reading workstation
JP5524835B2 (ja) 2007-07-12 2014-06-18 ヴォルカノ コーポレイション 生体内撮像用カテーテル
US9596993B2 (en) 2007-07-12 2017-03-21 Volcano Corporation Automatic calibration systems and methods of use
US10219780B2 (en) 2007-07-12 2019-03-05 Volcano Corporation OCT-IVUS catheter for concurrent luminal imaging
US20090198124A1 (en) * 2008-01-31 2009-08-06 Ralf Adamus Workflow to enhance a transjugular intrahepatic portosystemic shunt procedure
US20100061611A1 (en) * 2008-09-11 2010-03-11 Siemens Corporate Research, Inc. Co-registration of coronary artery computed tomography and fluoroscopic sequence
EP2253287B1 (de) * 2009-05-14 2018-08-15 Covidien LP Automatische registriertechnik
US9259290B2 (en) 2009-06-08 2016-02-16 MRI Interventions, Inc. MRI-guided surgical systems with proximity alerts
US8369930B2 (en) 2009-06-16 2013-02-05 MRI Interventions, Inc. MRI-guided devices and MRI-guided interventional systems that can track and generate dynamic visualizations of the devices in near real time
US9456196B2 (en) * 2010-02-23 2016-09-27 Samsung Electronics Co., Ltd. Method and apparatus for providing a multi-view still image service, and method and apparatus for receiving a multi-view still image service
US8565859B2 (en) 2010-06-29 2013-10-22 Siemens Aktiengesellschaft Method and system for image based device tracking for co-registration of angiography and intravascular ultrasound images
US11141063B2 (en) 2010-12-23 2021-10-12 Philips Image Guided Therapy Corporation Integrated system architectures and methods of use
US11040140B2 (en) 2010-12-31 2021-06-22 Philips Image Guided Therapy Corporation Deep vein thrombosis therapeutic methods
JP6214523B2 (ja) * 2011-04-08 2017-10-18 ボルケーノ コーポレイション 患者通信システムおよびその作動方法
JP5809850B2 (ja) * 2011-06-01 2015-11-11 オリンパス株式会社 画像処理装置
WO2013033489A1 (en) 2011-08-31 2013-03-07 Volcano Corporation Optical rotary joint and methods of use
EP2904671B1 (de) 2012-10-05 2022-05-04 David Welford Systeme und verfahren zum verstärken von licht
US9367965B2 (en) 2012-10-05 2016-06-14 Volcano Corporation Systems and methods for generating images of tissue
US11272845B2 (en) 2012-10-05 2022-03-15 Philips Image Guided Therapy Corporation System and method for instant and automatic border detection
US9324141B2 (en) 2012-10-05 2016-04-26 Volcano Corporation Removal of A-scan streaking artifact
US9292918B2 (en) 2012-10-05 2016-03-22 Volcano Corporation Methods and systems for transforming luminal images
US9286673B2 (en) 2012-10-05 2016-03-15 Volcano Corporation Systems for correcting distortions in a medical image and methods of use thereof
US10070827B2 (en) 2012-10-05 2018-09-11 Volcano Corporation Automatic image playback
US9858668B2 (en) 2012-10-05 2018-01-02 Volcano Corporation Guidewire artifact removal in images
US10568586B2 (en) 2012-10-05 2020-02-25 Volcano Corporation Systems for indicating parameters in an imaging data set and methods of use
US9307926B2 (en) 2012-10-05 2016-04-12 Volcano Corporation Automatic stent detection
US9840734B2 (en) 2012-10-22 2017-12-12 Raindance Technologies, Inc. Methods for analyzing DNA
US8836937B2 (en) * 2012-11-19 2014-09-16 General Electric Company Actuatable visual inspection device
WO2014093374A1 (en) 2012-12-13 2014-06-19 Volcano Corporation Devices, systems, and methods for targeted cannulation
US10939826B2 (en) 2012-12-20 2021-03-09 Philips Image Guided Therapy Corporation Aspirating and removing biological material
CA2895770A1 (en) 2012-12-20 2014-07-24 Jeremy Stigall Locating intravascular images
US10942022B2 (en) 2012-12-20 2021-03-09 Philips Image Guided Therapy Corporation Manual calibration of imaging system
JP6785554B2 (ja) 2012-12-20 2020-11-18 ボルケーノ コーポレイション 平滑遷移カテーテル
CA2895989A1 (en) 2012-12-20 2014-07-10 Nathaniel J. Kemp Optical coherence tomography system that is reconfigurable between different imaging modes
US11406498B2 (en) 2012-12-20 2022-08-09 Philips Image Guided Therapy Corporation Implant delivery system and implants
JP2016501623A (ja) 2012-12-21 2016-01-21 アンドリュー ハンコック， 画像信号のマルチ経路処理のためのシステムおよび方法
EP2936241B1 (de) 2012-12-21 2020-10-21 Nathaniel J. Kemp Leistungseffiziente optische pufferung mit einem polarisationserhaltenden optischen schalter
US9612105B2 (en) 2012-12-21 2017-04-04 Volcano Corporation Polarization sensitive optical coherence tomography system
WO2014100530A1 (en) 2012-12-21 2014-06-26 Whiseant Chester System and method for catheter steering and operation
US9486143B2 (en) 2012-12-21 2016-11-08 Volcano Corporation Intravascular forward imaging device
US10993694B2 (en) 2012-12-21 2021-05-04 Philips Image Guided Therapy Corporation Rotational ultrasound imaging catheter with extended catheter body telescope
WO2014099763A1 (en) 2012-12-21 2014-06-26 Jason Spencer System and method for graphical processing of medical data
US10058284B2 (en) 2012-12-21 2018-08-28 Volcano Corporation Simultaneous imaging, monitoring, and therapy
WO2014099896A1 (en) 2012-12-21 2014-06-26 David Welford Systems and methods for narrowing a wavelength emission of light
WO2014099760A1 (en) 2012-12-21 2014-06-26 Mai Jerome Ultrasound imaging with variable line density
US9770172B2 (en) 2013-03-07 2017-09-26 Volcano Corporation Multimodal segmentation in intravascular images
US10226597B2 (en) 2013-03-07 2019-03-12 Volcano Corporation Guidewire with centering mechanism
WO2014164696A1 (en) 2013-03-12 2014-10-09 Collins Donna Systems and methods for diagnosing coronary microvascular disease
US11154313B2 (en) 2013-03-12 2021-10-26 The Volcano Corporation Vibrating guidewire torquer and methods of use
US10758207B2 (en) 2013-03-13 2020-09-01 Philips Image Guided Therapy Corporation Systems and methods for producing an image from a rotational intravascular ultrasound device
US11026591B2 (en) 2013-03-13 2021-06-08 Philips Image Guided Therapy Corporation Intravascular pressure sensor calibration
US9301687B2 (en) 2013-03-13 2016-04-05 Volcano Corporation System and method for OCT depth calibration
US10219887B2 (en) 2013-03-14 2019-03-05 Volcano Corporation Filters with echogenic characteristics
US10292677B2 (en) 2013-03-14 2019-05-21 Volcano Corporation Endoluminal filter having enhanced echogenic properties
EP2967606B1 (de) 2013-03-14 2018-05-16 Volcano Corporation Filter mit echogenen eigenschaften
DE102014201556A1 (de) * 2014-01-29 2015-07-30 Siemens Aktiengesellschaft Verfahren zur Ermittlung eines Gewebeparameters, Röntgeneinrichtung und Computerprogramm
US9208559B1 (en) * 2014-07-25 2015-12-08 Siemens Aktiengesellschaft Method and apparatus for gastric artery chemical embolization
US10453269B2 (en) * 2014-12-08 2019-10-22 Align Technology, Inc. Intraoral scanning using ultrasound and optical scan data
US11596292B2 (en) * 2015-07-23 2023-03-07 Koninklijke Philips N.V. Endoscope guidance from interactive planar slices of a volume image
CN105261052B (zh) * 2015-11-03 2018-09-18 沈阳东软医疗系统有限公司 管腔图像展开绘制方法及装置
EP3520083A4 (de) 2016-09-30 2020-05-06 University Hospitals Cleveland Medical Center Vorrichtung und verfahren zur erzeugung eines virtuellen 3d-modells aus einem 2d-ultraschallvideo
EP3554384B1 (de) * 2016-12-19 2022-09-14 Koninklijke Philips N.V. Fötale ultraschallbildgebung
DE102017221924B3 (de) * 2017-12-05 2019-05-02 Siemens Healthcare Gmbh Verfahren zur Fusionierung eines Analysedatensatzes mit einem Bilddatensatz, Positionierungseinrichtung und Computerprogramm
US11006852B2 (en) 2017-12-11 2021-05-18 Covidien Lp Systems, methods, and computer-readable media of estimating thoracic cavity movement during respiration
JPWO2021199935A1 (de) * 2020-03-30 2021-10-07
CN114343565B (zh) * 2021-11-30 2022-10-11 图湃(北京)医疗科技有限公司 一种光学相干层析视网膜图像校正方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997028743A1 (en) * 1996-02-12 1997-08-14 Cornelis Jacob Slager Catheter for obtaining three-dimensional reconstruction of a vascular lumen and wall, and method of use
WO1998032371A1 (en) * 1997-01-24 1998-07-30 Mayo Foundation For Medical Education And Research System for two-dimensional and three-dimensional imaging of tubular structures in the human body
DE19919907A1 (de) * 1999-04-30 2000-11-09 Siemens Ag Verfahren und Vorrichtung zur Katheter-Navigation in dreidimensionalen Gefäßbaum-Aufnahmen
US6248074B1 (en) * 1997-09-30 2001-06-19 Olympus Optical Co., Ltd. Ultrasonic diagnosis system in which periphery of magnetic sensor included in distal part of ultrasonic endoscope is made of non-conductive material
US20020106116A1 (en) * 2000-11-28 2002-08-08 Knoplioch Jerome F. Method and apparatus for analyzing vessels displayed as unfolded structures

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047080A (en) * 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US6148095A (en) * 1997-09-08 2000-11-14 University Of Iowa Research Foundation Apparatus and method for determining three-dimensional representations of tortuous vessels
US6928314B1 (en) * 1998-01-23 2005-08-09 Mayo Foundation For Medical Education And Research System for two-dimensional and three-dimensional imaging of tubular structures in the human body
US6389104B1 (en) * 2000-06-30 2002-05-14 Siemens Corporate Research, Inc. Fluoroscopy based 3-D neural navigation based on 3-D angiography reconstruction data
US7273469B1 (en) * 2003-12-31 2007-09-25 Advanced Cardiovascular Systems, Inc. Modified needle catheter for directional orientation delivery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997028743A1 (en) * 1996-02-12 1997-08-14 Cornelis Jacob Slager Catheter for obtaining three-dimensional reconstruction of a vascular lumen and wall, and method of use
WO1998032371A1 (en) * 1997-01-24 1998-07-30 Mayo Foundation For Medical Education And Research System for two-dimensional and three-dimensional imaging of tubular structures in the human body
US6248074B1 (en) * 1997-09-30 2001-06-19 Olympus Optical Co., Ltd. Ultrasonic diagnosis system in which periphery of magnetic sensor included in distal part of ultrasonic endoscope is made of non-conductive material
DE19919907A1 (de) * 1999-04-30 2000-11-09 Siemens Ag Verfahren und Vorrichtung zur Katheter-Navigation in dreidimensionalen Gefäßbaum-Aufnahmen
US20020106116A1 (en) * 2000-11-28 2002-08-08 Knoplioch Jerome F. Method and apparatus for analyzing vessels displayed as unfolded structures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROTGER,D., u.a.: ActiveVessel: A New Multimedia Workstation for Intravascular Ultrasound and Angiography Fusion. In: IEEE, Computers in Cardiology, 2003, 21-24 Sept. 2003, S. 65-68 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009043069A1 (de) * 2009-09-25 2011-04-07 Siemens Aktiengesellschaft Visualisierungsverfahren und Bildgebungssystem
US8457375B2 (en) 2009-09-25 2013-06-04 Siemens Aktiengesellschaft Visualization method and imaging system

Also Published As

Publication number Publication date
JP4633504B2 (ja) 2011-02-16
CN1666708A (zh) 2005-09-14
JP2005253963A (ja) 2005-09-22
US20050196028A1 (en) 2005-09-08
US7480398B2 (en) 2009-01-20
CN1666708B (zh) 2010-12-22

Similar Documents

Publication Publication Date Title
DE102004011154B3 (de) Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans
DE602004002939T2 (de) Methode zur dreidimensionalen modellierung von rohrförmigen strukturen
DE102006011242B4 (de) Verfahren zur Rekonstruktion einer 3D-Darstellung
DE102005030646B4 (de) Verfahren zur Kontur-Visualisierung von zumindest einer interessierenden Region in 2D-Durchleuchtungsbildern
DE102004011156A1 (de) Verfahren zur endoluminalen Bildgebung mit Bewegungskorrektur
DE102009043069A1 (de) Visualisierungsverfahren und Bildgebungssystem
DE10358735B4 (de) Kathetereinrichtung umfassend einen Katheter, insbesondere einen intravaskulären Katheter
DE19963440C2 (de) Verfahren und System zur Visualisierung eines Gegenstandes
DE102006012181B4 (de) Verfahren und Vorrichtung zur getrennten dreidimensionalen Darstellung von Arterien und Venen in einem Körperteil
DE60215964T2 (de) Verfahren zur rekonstruktion eines 3d bildes mit hoher auflösung
DE10210650A1 (de) Verfahren zur dreidimensionalen Darstellung eines Untersuchungsbereichs eines Patienten in Form eines 3D-Rekonstruktionsbilds
DE102007046579B3 (de) Verfahren zur Detektion von Bewegungen und Korrektur von Bewegungen in tomographischen und projektiven Aufnahmeserien und Tomographie- beziehungsweise Projektionssystem zur Durchführung dieses Verfahrens
WO2005027765A1 (de) Verfahren und vorrichtung zur visuellen unterstützung einer elektrophysiologischen katheteranwendung im herzen
DE102008030244A1 (de) Verfahren zur Unterstützung von perkutanen Interventionen
DE10247299A1 (de) Bildverarbeitungseinheit und Verfahren für die Zuordnung von gespeicherten zu aktuellen Aufnahmen
EP1659968A1 (de) Verfahren und vorrichtung zur visuellen unterstützung einer elektrophysiologischen katheteranwendung im herzen
DE102004036726A1 (de) Verfahren und Vorrichtung zur Visualisierung von Ablagerungen in Blutgefäßen, insbesondere in Herzkranzgefäßen
DE102005042329A1 (de) Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung am Herzen durch bidirektionalen Informationstransfer
DE102010019421A1 (de) Bildgebendes Verfahren zur Darstellung von Ergebnissen intravaskulärer Bildgebung und CFD-Ergebnissen sowie Medizinsystem zur Durchführung des Verfahrens
DE102012205351A1 (de) Darstellung von Blutgefäßen und Gewebe im Herzen
DE102004022902A1 (de) Verfahren zur medizinischen Bilddarstellung und - verarbeitung, Computertomografiegerät, Arbeitsstation und Computerprogrammprodukt
DE602004009826T2 (de) Dreidimensionale rekonstruktion eines objekts aus projektionsfotografien
DE102007045313B4 (de) Verfahren zur getrennten dreidimensionalen Darstellung von Arterien und Venen in einem Untersuchungsobjekt
DE102010018261B4 (de) Verfahren und Computersystem zur automatischen Vektorisierung eines Gefäßbaumes
DE102007009182B4 (de) Verfahren und Vorrichtung zur Bilddarstellung von sich zyklisch bewegenden Objekten

Legal Events

Date Code Title Description
8100 Publication of patent without earlier publication of application
8320 Willingness to grant licences declared (paragraph 23)
8364 No opposition during term of opposition
R085 Willingness to licence withdrawn
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHCARE GMBH, DE

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee