Was?

Virtual Surgery Intelligence (VSI)

Der Virtual Surgery Intelligence (VSI) ist als Assistent für reale Operationen ausgelegt. Er hilft dem Chirurgen, sich besser zu orientieren, indem virtuelle CT-/MRT- Bilder des Patienten im 3D-Format in der Mixed Reality-Brille darstellt. Die dreidimensionalen CT-/ MRT- Bilder verschmelzen nun mit dem realen OP-Gebiet und der Chirurg kann berührungslos den OP-Situs aus verschiedenen Perspektiven betrachten. Die MR-Brille identifiziert die individuellen anatomischen Grundstrukturen des Patienten durch Landmarkenerkennung.

Zusätzliche Add-ons, die der VSI bietet, sind u. a. Gewebeerkennung, z. B. Lymphknotenmetastasen vs. normaler Lymphknoten, Vergrößerung des Gewebes durch ein integriertes Mikroskop, virtuell abrufbare Patienteninformationen im Bildschirm und jederzeit die Kontaktaufnahme zu anderen Ärzten während der Operation, z. B. zur Beratung, welche ohne Zeitverlust den aktuellen OP-Stand von einem externen Bildschirm beobachten können. Die berührungslose Steuerung sichert das keimfreie Operieren und hilft der Fehlerreduzierung und Qualitätssicherung.

Was?

Virtual Surgery Intelligence (VSI)

Der Virtual Surgery Intelligence (VSI) ist als Assistent für reale Operationen ausgelegt. Er hilft dem Chirurgen, sich besser zu orientieren, indem virtuelle CT-/MRT- Bilder des Patienten im 3D-Format in der Mixed Reality-Brille darstellt. Die dreidimensionalen CT-/ MRT- Bilder verschmelzen nun mit dem realen OP-Gebiet und der Chirurg kann berührungslos den OP-Situs aus verschiedenen Perspektiven betrachten. Die MR-Brille identifiziert die individuellen anatomischen Grundstrukturen des Patienten durch Landmarkenerkennung.

Zusätzliche Add-ons, die der VSI bietet, sind u. a. Gewebeerkennung, z. B. Lymphknotenmetastasen vs. normaler Lymphknoten, Vergrößerung des Gewebes durch ein integriertes Mikroskop, virtuell abrufbare Patienteninformationen im Bildschirm und jederzeit die Kontaktaufnahme zu anderen Ärzten während der Operation, z. B. zur Beratung, welche ohne Zeitverlust den aktuellen OP-Stand von einem externen Bildschirm beobachten können. Die berührungslose Steuerung sichert das keimfreie Operieren und hilft der Fehlerreduzierung und Qualitätssicherung.


Virtuat surgery instructor: mixed reality in surgery room
Warum?

Hintergrund

Der breiten Öffentlichkeit ist kaum bewusst, dass der Chirurg während einer komplizierten Operation in die 2D CT-/ MRT-Aufnahmen einsehen muss, um sein engrammiertes 3D-Bild anzupassen. Dies gelingt nur mit Assistenten oder anderem OP- Personal. Diese Situation birgt Risiken hinsichtlich der Sterilität und unerwartet auftretende Komplikationen, welche bewältigt werden müssen. Die Einschätzung unterschiedlicher anatomischer Gegebenheiten (z. B. Metastasenkonglomerat vs. gesundes Gewebe) muss oft bereits während der Operation erfolgen. Dies erfordert eine hohe Verantwortung des Arztes und ein unkalkulierbares Risiko für den Patienten.

Operationen erfordern viel Erfahrung und eine langwierige Ausbildung. Krankenhäuser klagen über Fachkräftemangel und mangelndes Personal bei gleichzeitig hohem Konkurrenzwettbewerb und Kostendruck.

Um diese Probleme zu entschärfen und eine höhere Qualität zu ermöglichen, wird der Virtual Surgery Intelligence (VSI) entwickelt.

Warum?

Hintergrund

Operationen erfordern viel Erfahrung und eine langwierige Ausbildung. Krankenhäuser klagen über Fachkräftemangel und mangelndes Personal bei gleichzeitig hohem Konkurrenzwettbewerb und Kostendruck.

Der breiten Öffentlichkeit ist kaum bewusst, dass dem Arzt während einer Operation die Einsicht in die CT-/MRT-Aufnahmen und Patientendaten nur mit Hilfe von Assistenten oder OP-Personal möglich ist. Der Wechsel von OP-Tisch zu PC birgt Risiken besonders im Hinblick auf die Sterilität. Zusätzlich müssen unerwartet auftretende Komplikationen bewältigt werden. Die Einschätzung unterschiedlicher anatomischer Gegebenheiten (z. B. Metastasenkonglomerat vs. gesundes Gewebe) muss oft bereits während der Operation erfolgen. Dies erfordert eine hohe Verantwortung des Arztes und ein unkalkulierbares Risiko für den Patienten.

Um diese Probleme zu entschärfen und eine höhere Qualität zu ermöglichen, wird der Virtual Surgery Intelligence (VSI) entwickelt.

Wie?

Technischer Hintergrund

Für die Entwicklung des Virtual Surgery Instructor (VSI) bedienen wir uns der HoloLens-Entwicklungssprache Unity. Damit werden Funktionen wie die Darstellung der CT-/MRT-Bilder und der Patienteninformationen, Expertenanrufe, Mikroskop u.v.m. entwickelt. Die Gewebe- und Landmarkenerkennung bedarf zusätzlicher künstlicher Intelligenz. Dafür kreieren unsere Entwickler spezielle Algorithmen auf der Basis des maschinellen Lernens (Machine Learning). Mit deren Hilfe erkennt der Virtual Surgery Instructor (VSI) Gewebestrukturen und lernt mit jeder Operation kontinuierlich dazu.

Virtuat surgery instructor: mixed reality in surgery room
Die Zukunft der Chirurgie

So funktioniert der VSI:

Übersicht der Funktionen

Das kann der VSI:

Benutzerdemonstration

Wenn Sie den VSI nutzen:

Hamburgs Erster Bürgermeister

Olaf Scholz lernt VSI kennen:

Hamburgs Senatorin probiert VSI aus

Cornelia Prüfer-Storcks:

ARKit

VSI auf dem IPad:

Virtuat surgery instructor: mixed reality in surgery room
Warum?

Hintergrund

Der breiten Öffentlichkeit ist kaum bewusst, dass der Chirurg während einer komplizierten Operation in die 2D CT-/ MRT-Aufnahmen einsehen muss, um sein engrammiertes 3D-Bild anzupassen. Dies gelingt nur mit Assistenten oder anderem OP- Personal. Diese Situation birgt Risiken hinsichtlich der Sterilität und unerwartet auftretende Komplikationen, welche bewältigt werden müssen. Die Einschätzung unterschiedlicher anatomischer Gegebenheiten (z. B. Metastasenkonglomerat vs. gesundes Gewebe) muss oft bereits während der Operation erfolgen. Dies erfordert eine hohe Verantwortung des Arztes und ein unkalkulierbares Risiko für den Patienten.

Operationen erfordern viel Erfahrung und eine langwierige Ausbildung. Krankenhäuser klagen über Fachkräftemangel und mangelndes Personal bei gleichzeitig hohem Konkurrenzwettbewerb und Kostendruck.

Um diese Probleme zu entschärfen und eine höhere Qualität zu ermöglichen, wurde der Virtual Surgery Intelligence (VSI) entwickelt.

Free mode

Der Free Mode dient der OP-Vorbereitung, kann aber auch im Patientengespräch und während der OP genutzt werden. Dabei ist das CT/MRT Bild frei in 3D einsehbar, es lässt sich verschieben, drehen, vergrößern und verkleinern. Die wichtigsten Funktionen sind jedoch der Slide und die Onion-Funktion. Diese ermöglichen ein visuelles Eintauchen in einzelnen Schichten des CT/MRT-Bilds. Die Onion-Funktion nimmt einzelne Schichten von außen nach innen weg. So kann man sich Schicht für Schicht zur behandelten Stelle herantasten. Für die Slide-Funktion gibt es eine virtuelle Box (Cube), mit deren Hilfe man durch die Schichten sliden bzw. hineintauchen und das 3D Bild in allen Varianten aufschneiden kann.

Fix mode

Der Fix Mode ist für die Operation selbst konzipiert. Damit kann der Chirurg das 3-dimensionale CT/MRT auf den Patienten platzieren. Mithilfe von virtuellen Landmarker wird das CT/MRT-Bild genau auf den Kopf projiziert. Auch im Fix Mode kann der Chirurg mithilfe des Sliders in die einzelnen Schichten des CT/MRT eintauchen. Dies ermöglicht ihm einen tiefen Einblick in die Gewebestrukturen des Patienten auch während der Operation. Zusätzlich lässt sich das CT/MRT-Bild heller, dunkler und transparenter einstellen.

Sprachsteuerung

Es lassen sich bereits jetzt etwa 30% der Funktionen durch Sprache steuern. Zukünfig wollen wir alle Funktionen sprachbedienbar machen, damit der Chirurg nicht nur berührungslos, sondern auch komplett freihändig operieren kann.

Virtuat surgery instructor: mixed reality in surgery room
Wie?

Technischer Hintergrund

Für die Entwicklung des Virtual Surgery Intelligence (VSI) bedienen wir uns der HoloLens-Entwicklungssprache Unity. Damit werden Funktionen wie die Darstellung der CT-/MRT-Bilder und der Patienteninformationen, Expertenanrufe, Mikroskop u.v.m. entwickelt. Die Gewebe- und Landmarkenerkennung bedarf zusätzlicher künstlicher Intelligenz. Dafür kreieren unsere Entwickler spezielle Algorithmen auf der Basis des maschinellen Lernens (Machine Learning). Mit deren Hilfe erkennt der Virtual Surgery Intelligence (VSI) Gewebestrukturen und lernt mit jeder Operation kontinuierlich dazu.

mixed reality medicine
Wann?

Timeline

1

01.06.2017 Entwicklungsstart

Virtual Surgery Intelligence
2

24.07.2017 Pretest mit Arzt & Chirurg

Oberarzt Dr. Patrick House, Fachbereich Epilepsie und Neurologie am Evangelischen Krankenhaus Alsterdorf in Hamburg und Dr. Hans-J. von Lücken, Oberarzt für Kopf- und Halschirurgie am Marienkrankenhaus in Hamburg, haben zum ersten Mal die Funktionen „free mode“ und „fix mode“ des VSIs getestet. Free mode beinhaltet die Funktionen „Onion“, „MRT/CT Cut“ und „Slide“. Fix mode ermöglicht die Fixierung des 3D CT/MRTs auf einer echten Person. Mehr Details
3

20.08.2017 Entwicklung von automatischen Funktionen

Ziel ist es die Funktionen der automatischen Landmerkererkennung und das Hochladen des MRTs in die HoloLens fertig zu stellen.
4

06.09.2017 Live-Test im OP-Saal

Oberarzt für Epilepsie und Neurologie plant den VSI während einer echten Operation zu testen. Mit der Erlaubnis des Patienten wollen wir zeigen, dass der VSI das CT/MRT des Patienten auf seinem Kopf fixieren und so den Chirurgen während der Operation unterstützen kann. Mehr Informationen folgen bald.
5

30.09.2017 POC ready

Ziel ist es, den Proof of Concept (POC) der ersten VSI-Version fertig zu stellen, die bei echten Operationen eingesetzt werden kann.
6

01.10.2017 Aufbau medizinischen Beirats

Wir starten mit der Aufnahme und dem Aufbau eines medizinischen Beirates/Advisory Boards für unterschiedliche OP-Gebiete. Bei Interesse, bitte bei uns melden.
7

15.10.2017 Basisversion Algorithmus

Für eine mm-genaue Verschmelzung zwischen dem OP-Situs und dem 3D MRT/CT benötigt es eines stabilen und genauen Algorithmus, dessen Basis wir bis zum 15.10. fertig stellen. Danach kann er ausgeweitet und angepasst werden auf unterschiedliche OP-Gebiete.
8

31.10.2017 Release Sales Package

Erstes Sales Package als Basis- oder Early Bird-Version wird vorgestellt. Es ermöglich den Kliniken und Ärzte den VSI günstiger als im späteren Vertrieb zu erwerben, dadurch die marktreife Entwicklung zu unterstützen und maßgeblich mitzugestalten. Mehr Informationen auf Anfrage.
9

01.11.2017 Ausbreitung auf andere OP-Gebiete

Start der Ausbreitung des VSIs vom Kopf- und Halsbereich auf andere OP-Gebiete, die vorher in Zusammenarbeit mit dem medizinischen Beirat definiert werden.
10

01.01.2018 Go Live erstes OP-Gebiet

Erstes OP-Gebiet wird marktreif und einsatzfertig entwickelt.
11

22.11. Innovators Summit

Treffen Sie uns am 22.11.17 auf dem „Innovators Summit – Digital Health“ in Berlin. Hier treffen große Innovationen der Medizinbranche auf einandern und wir dürfen natürlich auch nicht fehlen.
12

28.11. Bitkom

Am 28.11.17 können Sie uns auf der Bitkom in Berlin besuchen kommen und den VSI live erleben!
13

4. & 5.12. TechCrunch Disrupt Berlin

Wir sind ausgewählt worden als innovatives Startup im Virtual & Augmented Reality- Pavilion auf dem TechCrunch Disrupt Berlin 2017 auszustellen!
Unser medizinischer Beirat

Competence group of excellence

Der Medizinische Beirat besteht aus hochkarätig ausgewählten und erfahrenen Ärzten/innen verschiedener Fachrichtungen. Sie gestalten und treiben die Produktentwicklung und Qualitätssicherung des Virtual Surgery Intelligence in dem jeweiligen OP-Gebiet voran. Dadurch sollen Impulse, Bedürfnisse und Herausforderungen der jeweiligen OP-Gebiete frühzeitig erkannt und umgesetzt werden.

Es ist uns besonders wichtig, dass vom Start weg, unsere VSI-Lösungen unmittelbar aus den einzelnen Anwendungsbereichen vorgegeben werden und damit sofort einen direkten Mehrwert für unsere Kunden generieren. Nicht die Technik ist der Treiber für unsere Lösungen, sondern der Mehrwert unserer Kunden. Genau dies soll der medizinische Beirat sicherstellen.

Kopf- und Halschirurgie
Dr. Hans von Lücken

Dr. Hans-J. von Lücken

Oberarzt für Kopf- und Hals-Chirurgie

• Dr. med. Hans-J. von Lücken, geb. 10.11.1964, Kiel

• Studium der Humanmedizin – UKE- Hamburg

• Assistenzarzt (HNO- Klinik AK- Heidberg, Hamburg/ HNO- Klinik AK- Harburg, Hamburg/ HNO-Klinik Magdeburg – 1996 - 2004)

• Dissertation über Laserchirurgie - Unfallchirurgie UKE – Hamburg (2001)

• Ernennung zum Facharzt für HNO- Heilkunde, Kopf-/Hals- Chirurgie - Marienkrankenhaus Hamburg (2005)

• Berufung zum Oberarzt der Klinik für Kopf-/ Hals- Chirurgie - Marienkrankenhaus Hamburg (2007)

Epileptologie

Dr. Patrick House

Oberarzt für Epileptologie

• Dr. Patrick House, geb. am 7.2.1973 in Erlangen

• 1994 - 2001 Medizinstudium am Universitätsklinikum Hamburg-Eppendorf

• 1997 - 2001 Dissertation über die Designer-Droge Ecstasy/MDMA (``Zusammenhänge zwischen Ecstasy, Persönlichkeit und Persönlichkeitsstörungen, Gedächtnis und Befunden im quantitativen Elektroencephalogramm``, Prof. Thomasius)

• 2007 Erlangung des Facharztes für Neurologie

• seit 2007 Oberarzt im Epilepsiezentrum Hamburg