Nicht

Scientific Reports Band 13, Artikelnummer: 11787 (2023) Diesen Artikel zitieren

739 Zugriffe

3 Altmetrisch

Details zu den Metriken

Bei der Seismokardiographie (SCG) handelt es sich um die nichtinvasive Messung lokaler Vibrationen der Brustwand, die durch die mechanische Aktivität des Herzens erzeugt werden. Sie hat sich bei der Bereitstellung klinischer Informationen für bestimmte Herz-Kreislauf-Erkrankungen, einschließlich Herzinsuffizienz und Ischämie, als vielversprechend erwiesen. Herkömmlicherweise werden SCG-Signale aufgezeichnet, indem ein Beschleunigungsmesser auf der Brust platziert wird. In diesem Artikel schlagen wir eine neuartige kontaktlose SCG-Messmethode vor, um diese aus Brustvideos zu extrahieren, die mit einem Smartphone aufgezeichnet wurden. Unsere Pipeline besteht aus Computer-Vision-Methoden, einschließlich der Lucas-Kanade-Template-Verfolgung, um ein an der Brust befestigtes künstliches Ziel zu verfolgen und dann die SCG-Signale aus den verfolgten Verschiebungen abzuschätzen. Wir haben unsere Pipeline an 14 gesunden Probanden ausgewertet, indem wir die sehbasierten SCG\(^\mathrm{{v}}\)-Schätzungen mit dem Goldstandard SCG\(^\mathrm{{g}}\) verglichen, der gleichzeitig mit Beschleunigungsmessern gemessen wurde an der Brust befestigt. Die Ähnlichkeit zwischen SCG\(^\mathrm{{g}}\) und SCG\(^\mathrm{{v}}\) wurde im Zeit- und Frequenzbereich mithilfe des Pearson-Korrelationskoeffizienten gemessen, einem auf Dynamik basierenden Ähnlichkeitsindex Zeitverzerrung (DTW) und Wavelet-Kohärenz. Der durchschnittliche DTW-basierte Ähnlichkeitsindex zwischen den Signalen betrug 0,94 und 0,95 in der Rechts-nach-Links- bzw. Kopf-Fuß-Richtung. Darüber hinaus wurden SCG\(^\mathrm{{v}}\)-Signale zur Schätzung der Herzfrequenz verwendet und diese Ergebnisse mit der aus EKG-Signalen erhaltenen Goldstandard-Herzfrequenz verglichen. Die Ergebnisse zeigten eine gute Übereinstimmung zwischen den geschätzten Herzfrequenzwerten und den Goldstandardmessungen (Bias = 0,649 Schläge/Minute). Zusammenfassend lässt sich sagen, dass diese Arbeit vielversprechend für die Entwicklung einer kostengünstigen und allgemein verfügbaren Methode zur Fernüberwachung der Herz-Kreislauf-Aktivität mithilfe von Smartphone-Videos ist.

In den Vereinigten Staaten sind Herz-Kreislauf-Erkrankungen (CVDs) die häufigste Todesursache und blieben auch während der COVID-19-Pandemie die häufigste Todesursache; zwischen März 2020 und Oktober 2021 waren sie für 20,1 % aller Todesfälle verantwortlich Nach Angaben der American Heart Association stellen Herz-Kreislauf-Erkrankungen in den Vereinigten Staaten und weltweit eine enorme gesundheitliche und wirtschaftliche Belastung dar2. Diese Sterblichkeitsrate und wirtschaftliche Belastung können reduziert werden, indem die Diagnosemethoden verbessert und zugänglicher gemacht werden, um eine frühere Erkennung von Herzanomalien zu ermöglichen. In dieser Hinsicht kann die routinemäßige Überwachung der Herzaktivität die Möglichkeit einer frühzeitigen Diagnose von Herz-Kreislauf-Erkrankungen erhöhen. Aktuelle Methoden zur Überwachung der Herzaktivität umfassen sowohl invasive (z. B. Pulmonalarterienkatheterisierung3) als auch nicht-invasive Techniken. Die invasiven Techniken werden normalerweise in klinischen Einrichtungen durchgeführt, wodurch ihr Nutzen für die routinemäßige Fernüberwachung der Patienten eingeschränkt ist. Andererseits werden nicht-invasive Methoden wie die Elektrokardiographie (EKG) häufig zur Entwicklung von Fernüberwachungssystemen eingesetzt, die außerhalb von Gesundheitseinrichtungen eingesetzt werden können. Jüngste Studien zur Seismokardiographie (SCG), einer weiteren nicht-invasiven Technik, die Herz-Kreislauf-Schwingungen auf der Brustoberfläche aufzeichnet, deuten darauf hin, dass sie das Potenzial hat, klinisch bedeutsame Parameter genau abzuschätzen4. Diese Vibrationen können in dorsoventraler, rechts-nach-links- und Kopf-Fuß-Richtung gemessen werden und werden durch mechanische Aktivitäten des Herzens wie Öffnen und Schließen der Mitral- und Aortenklappe, isovolumetrische Kontraktion, Auswurf und schnelle Füllung der linken Seite verursacht Ventrikel4,5,6. Da SCG die mechanische Aktivität des Herzens misst, kann es ergänzende diagnostische Informationen zu anderen Modalitäten wie EKG und Pulsoximetrie liefern, die die elektrische Aktivität des Herzens und den Blutsauerstoffgehalt bewerten4,7,8. Als Ergebnis haben mehrere Studien gezeigt, dass SCG-Signale Informationen enthalten, die zur genauen Untersuchung der Herzaktivität genutzt werden können, beispielsweise zum Zeitpunkt des Öffnens und Schließens der Aorten- und Mitralklappe9,10. Außerdem haben sich SCG-Signale als vielversprechend bei der Erkennung und Überwachung einer Vielzahl von Herz-Kreislauf-Erkrankungen erwiesen, wie z. B. koronarer Herzkrankheit, Myokardinfarkt, Ischämie und Blutung11,12,13,14,15,16,17.

SCG-Signale werden herkömmlicherweise mithilfe von Beschleunigungsmessern gemessen, die an der Brustoberfläche angebracht sind. Mit der Weiterentwicklung von Sensoren und Technologie hat das Konzept der berührungslosen Überwachung der Herzaktivität aufgrund seiner zahlreichen Vorteile gegenüber herkömmlichen Techniken zunehmend Beachtung gefunden. Frühere Studien nutzten verschiedene Technologien, darunter Infrarotsensoren18, Radargeräte19 oder sogar WiFi-Geräte20,21 für die berührungslose Überwachung der Vitalfunktionen. Während sich diese Methoden in Laborumgebungen als erfolgreich erwiesen haben, wird ihre praktische Umsetzung für die Herzüberwachung außerhalb von Labors oder klinischen Einrichtungen durch ihre sperrige oder kostspielige Hardware behindert. In den letzten Jahren hat die Forschungsgemeinschaft mit der Verbreitung digitaler Kommunikationsgeräte wie Smartphones und Laptops zunehmend an der computergestützten Fernüberwachung der Herzaktivität interessiert22,23. Die bildbasierte Gesundheitsbeurteilung bietet deutliche Vorteile, z. B. dass sie berührungslos, nichtinvasiv und einfach anzuwenden ist. Diese Methoden wurden in verschiedenen Anwendungen eingesetzt, darunter zur Überwachung der Herz- und Atemfrequenz, zur Beurteilung der Herzfrequenzvariabilität und zur Beurteilung der Blutsauerstoffsättigung24,25,26,27,28. Nach unserem besten Wissen konzentrierten sich die meisten Studien zur computergestützten Herzüberwachung jedoch hauptsächlich auf die Messung der Herzfrequenz und extrahierten keine hochfrequenten Ereignisse mit niedriger Amplitude aus einzelnen Herzschlägen, die für SCG relevant sind29,30,31.

Ziel dieser Studie ist es, die Machbarkeit der Verwendung einer Smartphone-Kamera und Computer Vision zur Erstellung eines Seismokardiogramms zu ermitteln. Unser Hauptziel besteht daher darin, SCG-Signale in der Rechts-Links- und Kopf-Fuß-Richtung aus Videos mithilfe von Computer-Vision-Techniken abzuschätzen, was eine neuartige Methode zur Untersuchung der herzinduzierten Vibrationen auf der Brust und schließlich bieten könnte Schaffen Sie die Grundlage für die Entwicklung eines zugänglichen, kostengünstigen Herzmonitors. Ähnlich wie bei der Datenerfassung mehrerer Beschleunigungsmesser auf der Brustoberfläche haben wir mit einer Smartphone-Kamera mehrere Zielregionen auf der Brustoberfläche verfolgt, um die durch die Herzaktivität induzierten Beschleunigungssignale zu messen. Der Hauptvorteil der in dieser Studie vorgeschlagenen Methode besteht darin, dass zur Datenerfassung eine Smartphone-Kamera verwendet wird, die relativ einfach einzurichten ist und in Notfallsituationen sofort eingesetzt werden kann. Visionbasierte Ansätze bieten auch die Möglichkeit, Mehrpunktmessungen mit einem einzigen Kamerasensor zu überwachen.

Das Studienprotokoll wurde vom Institutional Review Board (IRB) der Mississippi State University genehmigt und alle Forschungsarbeiten wurden in Übereinstimmung mit den im IRB-Protokoll beschriebenen Richtlinien und Vorschriften durchgeführt. Insgesamt wurden 14 Probanden ohne Vorgeschichte von Herz-Kreislauf-Erkrankungen und mit unterschiedlichem Hintergrund rekrutiert (50 % Weiße, 21,5 % Schwarze, 21,5 % Asiaten und 7 % gemischt). Tabelle 1 zeigt Alter, Größe, Gewicht und Body-Mass-Index (BMI) der Studienpopulation. Die Probanden unterzeichneten vor der Studie eine Einverständniserklärung und führten eine kurze Umfrage zu ihrem Gesundheitszustand durch.

Alle Probanden wurden angewiesen, ohne zusätzliche Körperbewegungen auf dem Rücken auf einem Bett zu liegen (Abb. 1a). Um das Atemgeräusch zu minimieren, wurden die Daten während eines 15-sekündigen Atemanhaltens am Ende der Einatmung, gefolgt von einem weiteren 15-sekündigen Atemanhalten am Ende der Ausatmung, erfasst.

Versuchsaufbau: (a) Die Probanden wurden gebeten, sich in Rückenlage hinzulegen. Ein Smartphone wurde von einer Telefonhalterung gehalten, um die Brust des Probanden zu filmen. (b) Die Anordnung der Signal- und Videoerfassungssysteme.

Ein Smartphone (iPhone 13 Pro, Apple Inc, Cupertino, CA) wurde verwendet, um den oberen Brustbereich der Probanden mit einer Aufnahmegeschwindigkeit von 60 Bildern pro Sekunde (fps) und einer Auflösung von \(3840 \times 2160\) zu filmen. Um das Smartphone stationär zu halten, wurde eine Telefonhalterung verwendet, wobei die Rückkamera auf die Brust der Testperson gerichtet war. Um die Telefonvibrationen zu minimieren, wurde eine Bluetooth-Fernbedienung zum Starten und Stoppen der Aufnahme verwendet. Wir platzierten drei QR-Codes mit Texturmuster auf der Brustoberfläche als kontrastreiche künstliche Region von Interesse, die von unserem Computer-Vision-Algorithmus verfolgt werden soll, da die ausreichende Intensitätsvariation in der Zielregion eine zuverlässige Erkennung und Zuordnung bei der Zielverfolgung ermöglicht32.

Um die visionsbasierten SCG-Signale zu validieren, wurde unter jedem QR-Code ein dreiachsiger Beschleunigungsmesser (356A32, PCB Piezotronics, Depew, NY) platziert. Die Beschleunigungsmesser wurden dann an drei Stellen am Brustbein angebracht, darunter am Manubrium, der vierten Rippenkerbe und dem Schwertfortsatz. Ein Signalaufbereiter (482C, PCB Piezotronics, Depew, NY) wurde verwendet, um die Ausgänge des Beschleunigungsmessers mit einem Verstärkungsfaktor von 100 zu verstärken. Die verstärkten Signale (dh SCG\(^\mathrm{{g}}\)) wurden dann aufgezeichnet unter Verwendung eines Datenerfassungssystems, DAQ, (416, iWorx Systems, Inc., Dover, NH) mit einer Abtastfrequenz von 5000 Hz.

Die Beschleunigungsmesser-Ausgaben und die Brustvideos wurden gleichzeitig mit zwei unabhängigen Systemen (d. h. DAQ und Telefon) mit unterschiedlichen Abtastfrequenzen aufgezeichnet. Um die Signale SCG\(^\mathrm{{g}}\) und SCG\(^\mathrm{{v}}\) in den späteren Phasen der Datenanalyse zu synchronisieren, wurde daher ein Mikrofon an beide angeschlossen Systemen und wurde am Anfang und am Ende jeder Aufnahme abgegriffen. Diese Abgriffe wurden dann im Ton des Videos identifiziert und das Tonsignal vom DAQ aufgezeichnet, um die Signale zu synchronisieren. Darüber hinaus wurden in jedem Experiment EKG-Signale aufgezeichnet (iWire-B3G, iWorx Systems, Inc., Dover, NH) und für die SCG-Segmentierung verwendet, wie später beschrieben wird. Abbildung 1b zeigt die Sensorpositionen und die Richtung der x- und y-Achsen in dieser Studie.

Unsere visionsbasierte SCG-Signalmessung basiert auf der Verfolgung künstlicher Ziele (d. h. QR-Codes) auf der Brustoberfläche. Wie in Abb. 2 dargestellt, wurden die Videos nach der Videoaufnahme vorverarbeitet. Anschließend verwendeten wir einen Zielverfolgungsalgorithmus, um die Verschiebung der Zielregionen zu messen. Anschließend wurde eine Kamerakalibrierung durchgeführt, um die Verschiebungen von Pixeln in Millimeter umzuwandeln. Schließlich haben wir das Beschleunigungssignal aus den Verschiebungen berechnet. Insgesamt besteht die Pipeline aus vier Schritten: (1) Vorverarbeitung; (2) visionsbasierte Verfolgung und Verschiebungsberechnung; (3) Kamerakalibrierung; und (4) Beschleunigungsberechnung. Jeder Schritt wird unten beschrieben.

Visionbasierte SCG-Schätzpipeline. Die Pipeline besteht aus vier Hauptschritten: Vorverarbeitung, Zielverfolgung, Kamerakalibrierung und Beschleunigungsberechnung.

Um die SCG-Signale in x- und y-Richtung zu berechnen, wie in Abb. 1b dargestellt, wurden die Videos bei Bedarf von Fall zu Fall gedreht, sodass die QR-Codes an der x- und y-Achse der Kamera ausgerichtet sind . Dieser Schritt wurde für jeden QR-Code separat durchgeführt, um sicherzustellen, dass die X- und Y-Achsen des Videos und der Beschleunigungsmesser so gut wie möglich ausgerichtet sind.

Computer-Vision-Methoden werden häufig zur Objektverfolgung und Verschiebungsmessung in Videos eingesetzt. Visionbasierte Methoden zur Verschiebungsschätzung, wie z. B. Tracking-Techniken und optischer Fluss, berechnen die relative Verschiebung durch Korrelation aufeinanderfolgender Einzelbilder in einem Video. Der Vorlagenabgleich ist die am weitesten verbreitete Tracking-Technik, bei der nach den Bildbereichen gesucht wird, die einer Referenzvorlage am ähnlichsten sind. In der vorliegenden Studie verwendeten wir eine auf dem optischen Fluss basierende Template-Tracking-Methode, um die Verschiebungsinformationen der Zielregionen auf der Brust zu extrahieren. Genauer gesagt verwendeten wir den Lucas-Kanade-Template-Tracking-Algorithmus33, um die Verschiebung der auf der Brust angebrachten QR-Codes zu messen. In diesem Zusammenhang haben wir den in34 vorgeschlagenen einheitlichen Ansatz für die Lucas-Kanade-Methode zur QR-Code-Verfolgung angepasst, mit dem Ziel, die Summe des quadratischen Fehlers zwischen zwei Bildern zu minimieren, d. h. dem QR-Code selbst und einem Videobild, in dem die Es wird nach QR-Code gesucht. Die Minimierung erfolgt durch Warping des Videobildes auf das Koordinatenbild des QR-Codes. Da diese Optimierung nichtlinear ist, wird sie iterativ durchgeführt, indem nach Inkrementen gesucht wird, um zuvor bekannte Warping-Parameter zu aktualisieren.

Bei einer gegebenen Brustvideosequenz I(x) sei \(I_n({x})\) das \(n\)te Videobild, in dem wir nach einer Region gesucht haben, die mit der QR-Code-Vorlage übereinstimmt, wobei \({x }=(x,y)^T\) ist ein Spaltenvektor, der die Pixelkoordinaten enthält und \(n=1,2,\dotsc ,N\) stellt die Bildnummer dar. Vorlage QR(x) ist die Zielregion, die aus dem ersten Bild \(I_1({x})\) des Brustvideos definiert wird. Die Bewegung des QR-Codes wurde dann berechnet, indem QR(x) auf die aufeinanderfolgenden Frames \(I_n({x})\) abgebildet wurde. Die Abbildung erfolgte mithilfe einer Warp-Funktion W(x; u), die durch den Vektor \({u}=(u_1,\dotsc ,u_k)^T\) parametrisiert wurde. Die Warp-Funktion W(x; u) transformiert das Pixel x im Koordinatenrahmen des QR(x) in die Subpixelposition W(x; u) im Koordinatenrahmen des Videorahmens \(I_n({x} )\). Unter der Annahme, dass der QR-Code flach, parallel zur Kameraebene und nicht gedreht ist, kann die Warp-Funktion W(x; u) dann mithilfe der folgenden 2D-Bildtransformation berechnet werden, wobei die Parameter \({u}=(u_1, u_2)^T\) ist der Bewegungsvektor.

Das Ziel des Tracking-Algorithmus besteht nun darin, optimale Parameter u zu finden, sodass das verzerrte Bild \(I_n({W(x;u)})\) und QR(x) perfekt ausgerichtet sind. Der Bereich, der mit dem QR-Code in einem neuen Frame übereinstimmt, wird durch Optimieren der Parameter u ermittelt, um die Summe des quadratischen Differenzfehlers zwischen \(I_n({W(x;u)})\) und QR(x) as zu minimieren

wobei der Fehler zwischen der Intensität jedes Pixels x des QR-Codes und seines entsprechenden Pixels im Videobild \(I_n({W(x;u)})\) gemessen wird. Um \(I_n({W(x;u)})\ zu berechnen, ist es notwendig, das Bild \(I_n\) an den Subpixelpositionen W(x; u) zu interpolieren. Die Minimierung des Ausdrucks in (2) ist ein nichtlineares Optimierungsproblem, das durch iteratives Aktualisieren der Parameter u mithilfe der Inkremente \({\Delta u}\) gelöst wird, vorausgesetzt, dass die aktuelle Schätzung von u bekannt ist. Folglich kann (2) umgeschrieben werden als

und Parameter u werden iterativ aktualisiert als

Das Nichtlineare (3) kann durch Verwendung der Taylor-Näherung erster Ordnung von \(I_n({W(x;u+\Delta u)})\) as linearisiert werden

wobei \({\nabla I_n} = \left( {\partial I_n}/{\partial x}, {\partial I_n}/{\partial y} \right)\) den Gradienten des Videobilds \(I_n) darstellt \) wird bei der aktuellen Schätzung des Warps W(x; u) ausgewertet, und \({\partial {W}}/{\partial {u}}\) ist der Jacobianwert der Warp-Funktion W(x; u) . Die Näherung erster Ordnung von \(I_n({W(x;u+\Delta u)})\) aus (5) kann in (3) ersetzt werden als

Die Minimierung der Fehlerfunktion in (6) ist ein Problem der kleinsten Quadrate, das durch die partielle Ableitung der Fehlerfunktion E nach \({\Delta u}\) als gelöst werden kann

und setze dann \({\partial E}/{\partial {\Delta u}}=0\), was Folgendes ergibt:

wobei H die \(n\times n\)-Hesse-Matrix aus der Gauß-Newton-Näherung darstellt und definiert ist als

Die Schritte in (8) und (4) werden bis zur Konvergenz von u wiederholt (d. h. \(\Vert {\Delta u}\Vert \le \epsilon\), wobei \(\epsilon\) ein Schwellenwert ist). Wir haben außerdem eine Grenze für die maximale Anzahl von Iterationen \(i^{max}\) definiert, um den Rechenaufwand zu reduzieren. Der Pseudocode unseres visionsbasierten Trackings ist in Algorithmus 1 dargestellt.

Um die vom Zielverfolgungsalgorithmus erhaltene Verschiebung von Pixel in Millimeter umzuwandeln, muss eine geometrische Beziehung zwischen dem 2D-Bildkoordinatensystem und dem Weltkoordinatensystem hergestellt werden. Dies wurde durch den Kamerakalibrierungsprozess durchgeführt. Bei der Kalibrierung der Kamera haben wir versucht, das Kamerakoordinatensystem am Weltkoordinatensystem auszurichten. Der Skalierungsfaktor ist eine der gebräuchlichsten Methoden zur Kalibrierung einer Kamera zur Messung von Verschiebungen. Wenn die optische Achse der Kamera senkrecht zur Objektebene steht, kann davon ausgegangen werden, dass alle Punkte auf dieser Ebene die gleiche Schärfentiefe haben, und sie können auf ähnliche Weise auf die Bildebene verkleinert werden. Im Allgemeinen kann der Skalierungsfaktor mit den folgenden zwei Methoden berechnet werden35. Zuerst berechnet \(SF_1=D_{mm}/D_{Pixel}\) das Verhältnis der physikalischen Abmessung der Objektoberfläche in Millimetern oder Zoll im Weltkoordinatensystem zur entsprechenden Abmessung in Pixel im Bildrahmen, wobei \ (D_{mm}\) ist die physikalische Länge des künstlichen Ziels in Millimetern und \(D_{pixel}\) ist die entsprechende Pixellänge (Abb. 3a). Zweitens basiert \(SF_2=d\times p/f\) auf dem Verhältnis des Abstands zwischen der Kamera und dem Zielobjekt zur Brennweite der Kamera. Dabei ist d der Abstand der Kamera zur Objektoberfläche, f die Brennweite und p die Längeneinheit des Kamerasensors (\(\mu\)m/Pixel). Da in dieser Studie die Bildebene parallel zur Bewegung der Zielregion verlief, verwendeten wir den Skalierungsfaktor \(SF_1\). Für die Einheitenumrechnung von Bildpixeln in Millimeter haben wir zunächst die tatsächliche physische Größe des QR-Codes gemessen und dann die Pixelgröße desselben QR-Codes auf dem Bild berechnet, wie in Abb. 3b dargestellt. Anhand dieser beiden Werte haben wir dann den Skalierungsfaktor ermittelt.

Kamerakalibrierung und Berechnung des Skalierungsfaktors. (a) Lochkameramodell, (b) schematisches Diagramm der Skalierungsfaktorberechnung zur Umrechnung der Pixeleinheit in die Längeneinheit (mm). \(D_{mm}\) und \(D_{pixel}\) sind der physikalische Abstand zweier Punkte in Millimetern bzw. der Abstand derselben Punkte im Bildpixel.

Nach der Berechnung des Verschiebungssignals und der Umrechnung in Millimeter wurde das Beschleunigungssignal (d. h. SCG\(^\mathrm{{v}}\)) durch Berechnung der zweiten Ableitung des Verschiebungssignals abgeleitet.

Wir haben unsere Computer-Vision-Pipeline validiert, indem wir die SCG-Schätzungen mit den Goldstandardsignalen im Zeit- und Frequenzbereich verglichen haben.

Überblick über den Goldstandard SCG\(^\mathrm{{g}}\) und die visionbasierte SCG\(^\mathrm{{v}}\)-Vorverarbeitung. Die Ausgabe des Mikrofons wurde gleichzeitig von der Kamera und dem DAQ aufgezeichnet, um die Signale zu synchronisieren. Der Roh-SCG\(^\mathrm{{g}}\) wurde bandpassgefiltert und der SCG\(^\mathrm{{v}}\) wurde auf 5000 Hz neu abgetastet. Anschließend wurden beide Signale mithilfe der EKG-R-Zacken segmentiert und die Gesamtmittelwerte ihrer Segmente berechnet. Die Zeitbereichsähnlichkeitsanalyse wurde zwischen den Ensemble-Durchschnittswerten der SCG-Segmente durchgeführt. Für die Zeit-Frequenz-Analyse wurden die gesamten vorverarbeiteten Signale verwendet.

Um die von den Beschleunigungsmessern aufgezeichneten SCG-Signale mit denen zu vergleichen, die aus dem Brustvideo geschätzt wurden, wurden zunächst sowohl SCG\(^\mathrm{{g}}\)- als auch SCG\(^\mathrm{{v}}\)-Signale vorverarbeitet. Abbildung 4 zeigt einen Überblick über die Signalverarbeitungspipeline in dieser Studie. Die Beschleunigungsmesserausgänge wurden mithilfe eines Bandpassfilters mit Grenzfrequenzen von 1 und 30 Hz gefiltert. Dies geschah, weil die SCG-Schätzungen aus dem Video Vibrationen bis zur Hälfte der Kameraerfassungsgeschwindigkeit (d. h. 60 fps) erfassen konnten. Zusätzlich wurden die visionsbasierten SCG-Signale mithilfe einer linearen Interpolation auf 5000 Hz (dh die Abtastfrequenz der Goldstandardsignale) neu abgetastet. Dem rohen SCG\(^\mathrm{{v}}\) mit der Abtastfrequenz von 60 Hz fehlten einige Wellenformmerkmale wie die Krümmung zwischen zwei aufeinanderfolgenden Abtastpunkten. Der Resampling-Schritt wurde durchgeführt, um durch Rekonstruktion der fehlenden Merkmale ein glatteres SCG\(^\mathrm{{v}}\) zu erhalten, und hatte eine minimale Auswirkung auf den Inhalt der Signale im Zeit- und Frequenzbereich. Der Resampling-Schritt umfasste auch den Einsatz eines FIR-Antialiasing-Tiefpassfilters und berücksichtigte die durch den Filter verursachte Verzögerung. Anschließend wurden die SCG-Signale mithilfe der mithilfe des Pan-Tompkin-Algorithmus identifizierten EKG-R-Wellen in Herzzyklen segmentiert36,37. Zunächst wurde die durchschnittliche Herzzyklusdauer in Bezug auf die Anzahl der Abtastpunkte, \(n_c\), für jeden Probanden unter Verwendung der EKG-RR-Intervalle berechnet. Dann wurden SCG-Segmente als \(SCG(n_i-n_c/4:n_i+3 \times n_c/4)\) definiert, wobei \(n_i\) den Zeitindex der i-ten EKG-R-Welle bezeichnet.

Die Ensemblemittelwerte der SCG-Segmente \(\overline{\text {SCG}}^{g}\) und \(\overline{\text {SCG}}^{v}\) wurden berechnet und für die verwendet Zeitbereichsähnlichkeitsanalyse. Die Ensemble-Mittelung trug dazu bei, die Variabilität und das Rauschen von Schlag zu Schlag zu beseitigen. Der Pearson-Korrelationskoeffizient zwischen \(\overline{\text {SCG}}^{g}\) und \(\overline{\text {SCG}}^{v}\) wurde für die von allen drei Standorten aufgezeichneten Signale berechnet . Dieser Koeffizient gibt an, wie eng die beiden Signale korrelieren. Allerdings kann jede Zeitverzögerung zwischen zwei ähnlichen Signalen zu einem niedrigen Korrelationskoeffizienten führen. Daher haben wir in dieser Studie auch Dynamic Time Warping (DTW) verwendet, um die Ähnlichkeit der Signale zu bewerten38. Zu diesem Zweck werden die euklidischen Abstände zwischen dem Gesamtdurchschnitt der visionsbasierten und Goldstandard-SCG-Segmente, \(D(\overline{SCG}\mathrm{^{g}},\overline{SCG}\mathrm{^{ v}})\), wurden zuerst mit DTW berechnet, wobei der Warping-Pfad auf einen Abstandsschwellenwert von 5 % von der geradlinigen Anpassung beschränkt war. Der Ähnlichkeitsindex S zwischen den Ensemble-Durchschnittswerten wurde dann definiert und berechnet als

wobei \(M(\overline{SCG}\mathrm{^{g}})\) das Maximum des Absolutwerts der Goldstandard-SCG\(^\mathrm{{g}}\)-Segmente multipliziert mit ist Länge eines Segments, also \(n_c\). Dieser normalisierte Ähnlichkeitsindex liegt immer im Bereich \(\left[ 0,1 \right]\).

Die Korrelation zwischen den Goldstandard- und visionsbasierten SCG-Signalen in der Zeit-Frequenz-Ebene wurde unter Verwendung der Größenquadrat-Wavelet-Kohärenz (\(C_{g,v}\)) as39 berechnet

wobei \(C_g(a,b)\) und \(C_v(a,b)\) die kontinuierlichen Wavelet-Transformationen der Signale SCG\(^\mathrm{{g}}\) und SCG\(^\mathrm {{v}}\) bei Skalen a und Positionen b. \(\mathscr{S}(\cdot )\) ist eine Glättungsfunktion in Zeit und Maßstab, und der hochgestellte Index \(*\) ist der komplexe konjugierte Operator. Die Kohärenz wurde mithilfe des analytischen Morlet-Wavelets berechnet, da frühere Arbeiten gezeigt haben, dass das Morlet-Wavelet den Frequenzgehalt von SCG-Signalen genauer schätzt als andere Mutterfunktionen40. Die Korrelationen wurden für die Dauer der Aufzeichnungen und im Bereich von 0–30 Hz berechnet. \(C_{g,v}\) liegt immer im Bereich von \(\left[ 0,1 \right]\), wobei \(C_{g,v}=1\) die höchste Korrelation zwischen den beiden angibt Signale im Frequenzbereich.

Die Herzfrequenz (HF) der Probanden wurde mithilfe von SCG\(^\mathrm{{v}}\) geschätzt. Um die Genauigkeit dieser Schätzungen zu bewerten, wurden sie mit den Goldstandard-HR-Werten verglichen, die aus den EKG-Signalen erhalten wurden (\(HR_{ECG}\)). \(HR_{ECG}\) wurde in Schlägen pro Minute (bpm) berechnet, indem die zeitlichen Indizes der EKG-R-Peaks mithilfe des Pan-Tompkin-Algorithmus bestimmt und dann in Gleichung eingesetzt wurden. (12):

wobei \(n_i\) den Zeitindex des i-ten EKG-R-Peaks darstellt. Um die HR aus SCG\(^\mathrm{{v}}\) (\(HR_{SCG}\)) abzuschätzen, haben wir einen Algorithmus entwickelt, der auf der Bandpassfilterung der Signale und der Ermittlung der Spitzen der gefilterten Signale basiert (Algorithmus 2).

Unser Ziel war es herauszufinden, ob die SCG-Signale aus den mit einem Smartphone aufgezeichneten Brustvideos extrahiert werden können. Wir haben die SCG-Signale in x- und y-Richtung mithilfe unserer Computer-Vision-Pipeline für alle drei Sensorpositionen geschätzt. Abbildung 5 zeigt die visionsbasierten SCG- und Goldstandard-Beschleunigungsmesserdaten für einen der männlichen Probanden (Proband 9, während der Atem am Ende der Inhalation angehalten wird). Die SCG-Signale wurden dann mithilfe von EKG-R-Wellen in Herzzyklen segmentiert, wie unter „Signalvorverarbeitung“ beschrieben. Die SCG-Segmente und ihre Ensemble-Durchschnitte sind im mittleren Bereich von Abb. 5 dargestellt. Qualitativer Vergleich des Ensemble-Durchschnitts von SCG\(^\mathrm{{g}}\) und SCG\(^\mathrm{{v} }\)-Segmente zeigten, dass unsere visionsbasierte Pipeline in der Lage war, die Hauptmerkmale von \(\mathrm{SCG_{x}}\) und \(\mathrm{SCG_{y}}\) zu erfassen. Allerdings war die gruppeninterne Variabilität der SCG\(^\mathrm{{v}}\)-Segmente größer als die der SCG\(^\mathrm{{g}}\)-Segmente, insbesondere in x-Richtung. Ähnliche Ergebnisse wurden für andere Probanden erzielt.

Goldstandard-SCG\(^\mathrm{{g}}\) (schwarz) und visionbasierte SCG\(^\mathrm{{v}}\) (blau) Signale in x (von rechts nach links) und y-Richtungen (Kopf-zu-Fuß) (oberes bzw. unteres Feld), erhalten von einem männlichen Teilnehmer während des Atemanhaltens am Ende der Inhalation (Proband 9, mittlerer Beschleunigungsmesser und QR-Code). SCG-Segmente werden im mittleren Bereich angezeigt. Die kräftigen schwarzen und blauen Wellenformen stellen den Gesamtdurchschnitt der Segmente dar. Rechts sind die Distanzmatrix der dynamischen Zeitverzerrungsanalyse, der Verzerrungspfad (schwarze Linie), die geradlinige Anpassung (grüne gestrichelte Linie) und der Ähnlichkeitsindex S unter Verwendung von (10) dargestellt.

Wir haben die visionsbasierten Schätzungen von \(\mathrm{SCG_{x}}\) (Rechts-nach-Links-Richtung) und \(\mathrm{SCG_{y}}\) (Kopf-zu-Fuß-Richtung) analysiert Zeit- und Frequenzbereiche, um quantitativ zu bestimmen, ob sie mit denen vergleichbar sind, die von den an der Brusthaut angebrachten Beschleunigungsmessern erhalten werden. Zu diesem Zweck haben wir die Ähnlichkeit zwischen \(\overline{\text {SCG}}^{g}\) und \(\overline{\text {SCG}}^{v}\) aller rekrutierten Probanden berechnet in dieser Studie. Eines der Brustvideos eines weiblichen Probanden (Proband 4, Atemanhalten am Ende der Ausatmung) wurde während des Datenerfassungsschritts nicht ordnungsgemäß gespeichert und daher von der weiteren Analyse ausgeschlossen. Berücksichtigt man, dass für jede Versuchsperson die Signale \(\mathrm{SCG_{x}}\) und \(\mathrm{SCG_{y}}\) an drei Stellen auf der Brust und am Ende während des Atemanhaltens gemessen wurden der Ein- und Ausatmung gab es insgesamt 162 Paare von \(\overline{\text {SCG}}^{g}\) und \(\overline{\text {SCG}}^{v}\). Validierung der vorgeschlagenen Computer-Vision-Pipeline.

Die zeitliche Ähnlichkeit der Ensemblemittelwerte der Segmente SCG\(^\mathrm{{g}}\) und SCG\(^\mathrm{{v}}\) wurde durch Berechnung des Korrelationskoeffizienten zwischen den Signalen (links) bewertet Tafel in Abb. 6). In diesem Diagramm stellt die x-Koordinate jedes Datenpunkts den Korrelationskoeffizienten zwischen \(\overline{\text {SCG}}^\text {g}_x\) und \(\overline{\text {SCG}}^ dar \text{v}_x\). Ebenso wird der Korrelationskoeffizient zwischen \(\overline{\text {SCG}}^\text {g}_y\) und \(\overline{\text {SCG}}^\text {v}_y\) angezeigt auf der y-Achse. Wenn daher sowohl \(\text {SCG}_x^\text {v}\) als auch \(\text {SCG}_y^\text {v}\)-Signale, die aus einem QR-Code erhalten wurden, hohe Korrelationen mit dem Gold- Standard \(\text {SCG}^\text {g}\), der entsprechende Punkt auf dem Diagramm erscheint in der oberen rechten Ecke. Wenn umgekehrt beide \(\text {SCG}^\text {v}\)-Signale in x- und y-Richtung eine geringe Korrelation mit \(\text {SCG}^\text {g}\) aufweisen, dem entsprechenden Punkt wird in die untere linke Ecke des Diagramms fallen. Die Ergebnisse zeigten, dass die Korrelation zwischen den Goldstandard- und visionsbasierten \(\mathrm{SCG_{y}}\)-Paaren höher war als die Korrelation zwischen \(\mathrm{SCG_{x}}\)-Paaren. Mit anderen Worten: Während alle \(\mathrm{SCG_{y}}\)-Paare eine Korrelation von 0,5 oder mehr aufwiesen (die obere Hälfte des Diagramms), zeigten \(\mathrm{SCG_{x}}\)-Paare a geringere Korrelation mit vielen Paaren, die in die linke Hälfte des Diagramms fallen, d. h. ein Korrelationskoeffizient von weniger als 0,5, der drei Paare (alle von Proband 11) umfasste, die eine negative Korrelation aufwiesen (in Abb. 6 nicht dargestellt). Genauer gesagt betrug die durchschnittliche Korrelation zwischen \(SCG_{y}\)-Paaren 0,86 mit einem Maximum von 0,99. Andererseits betrug die durchschnittliche Korrelation zwischen den \(\mathrm{SCG_{x}}\)-Paaren 0,60 mit einem Maximum von 0,88.

Korrelations- und Ähnlichkeitsindex zwischen dem Goldstandard-SCG\(^\mathrm{{g}}\) und dem visionsbasierten SCG\(^\mathrm{{v}}\). Jeder Datenpunkt stellt den Vergleich zwischen den Daten eines Beschleunigungsmessers und dem aus dem entsprechenden QR-Code geschätzten SCG dar. Drei \(\mathrm{SCG_{x}}\)-Paare von Proband 11 hatten einen negativen Korrelationskoeffizienten und wurden im linken Diagramm nicht angezeigt.

Die Ähnlichkeit der Signale im Zeitbereich wurde ebenfalls mit DTW untersucht. Das rechte Feld von Abb. 5 zeigt die Distanzmatrizen in x- und y-Richtung für den mittleren Beschleunigungsmesser und den QR-Code von Proband 9 (Atemanhalten am Ende der Einatmung). Der euklidische Abstand zwischen dem Goldstandard und den visionsbasierten Signalen wurde aus den Abstandsmatrizen berechnet und zur Berechnung der Ähnlichkeitsindizes \(S_x\) und \(S_y\) verwendet. Die Ähnlichkeitsindizes für andere Probanden wurden auf ähnliche Weise berechnet und im mittleren Feld von Abb. 6 angegeben. Die x- und y-Koordinaten der Datenpunkte in diesem Diagramm repräsentieren \(S_x\) bzw. \(S_y\). Eine hohe Ähnlichkeit zwischen \(\text {SCG}^\text {v}\)-Signalen eines QR-Codes und dem Goldstandard \(\text {SCG}^\text {g}\) führt zu Punkten oben rechts Ecke des Grundstücks. Umgekehrt platzieren niedrige Korrelationen die entsprechenden Punkte in der unteren linken Ecke. Die Ergebnisse zeigten, dass die Ähnlichkeit der Ensemble-Durchschnitte sowohl in x- als auch in y-Richtung über 0,85 lag. Die durchschnittliche, maximale und minimale Ähnlichkeit zwischen den \(\mathrm{SCG_{x}}\)-Paaren betrug 0,94, 0,98 bzw. 0,89. Auch für die \(\mathrm{SCG_{y}}\)-Paare wurden hohe Ähnlichkeitswerte erhalten (0,95, 0,99 bzw. 0,88). Es wurden keine bedeutsamen Unterschiede zwischen den Ähnlichkeitsindizes verschiedener Datengruppen (z. B. männlich vs. weiblich oder End-Inhalation vs. End-Ausatmung) beobachtet.

Abbildung 7 zeigt die Wavelet-Kohärenzdiagramme im Größenquadrat für die mittlere Position aller Probanden während des Atemanhaltens am Ende der Ausatmung. Die weiße gestrichelte Linie ist der Einflusskegel, der die Bereiche des Skalogramms, die möglicherweise von Randeffektartefakten betroffen sind (d. h. außerhalb der gestrichelten Linie), von denen unterscheidet, die genaue Zeit-Frequenz-Informationen darstellen (d. h. innerhalb der gestrichelten Linie). Die Ergebnisse zeigten, dass die spektrotemporale Korrelation der \(\mathrm{SCG_{y}}\)-Signale höher war als die ihrer entsprechenden \(\mathrm{SCG_{x}}\)-Paare. Die meisten Paare hatten eine hohe Korrelation in den unteren Frequenzbändern von 1–5 Hz. Die Signalpaare einiger Probanden wiesen auch in den mittleren Frequenzbändern eine hohe Korrelation auf. Beispielsweise lag die Wavelet-Kohärenz zwischen \(\text {SCG}_y^\text {g}\) und \(\text {SCG}_y^\text {v}\) von Proband 6 über 0,9 im Frequenzband von 4–10 Hz. In den höheren Frequenzbändern (dh 15–30 Hz) waren die Signalkorrelationen geringer als in den niedrigeren Frequenzbändern. Allerdings hatten die Signale während des Timings der Herztöne eine Korrelation von 0,6–0,9 (d. h. SCG1 und SCG2 basierend auf der Definition in einer früheren Studie4).

Wavelet-Kohärenz zwischen den Goldstandard-SCG\(^\mathrm{{g}}\)- und visionsbasierten SCG\(^\mathrm{{v}}\)-Signalen, berechnet für das Atemanhalteexperiment am Ende der Ausatmung . Die weiße gestrichelte Linie zeigt den Einflusskegel. Die Themennummern sind in der oberen rechten Ecke jedes Diagramms angegeben. Rosa Zahlen entsprechen weiblichen Probanden. Für dieses Experiment wurde das Video von Proband 4 (weiblich) nicht ordnungsgemäß gespeichert und fehlt daher.

Das Bland-Altman-Diagramm wurde verwendet, um den Grad der Übereinstimmung zwischen dem Goldstandard \(\mathrm{HR_{ECG}}\) und \(\mathrm{HR_{SCG}}\) zu bestimmen, der aus den visionsbasierten SCG-Signalen geschätzt wurde (Abb. 8). Aufgrund der geringsten Ähnlichkeit, die zwischen den SCG\(^\mathrm{{v}}\)-Signalen von Proband 11 und dem Goldstandard SCG\(^\mathrm{{g}}\) beobachtet wurde, haben wir diesen speziellen Probanden ausgeschlossen die HR-Analyse. Der Bias oder die mittlere Differenz der Herzfrequenzschätzungen zwischen EKG und SCG\(^\mathrm{{v}}\) betrug 0,649 Schläge pro Minute. Die unteren und oberen Grenzen der Übereinstimmung lagen zwischen −4,637 und 5,937 Schlägen pro Minute.

Bland-Altman-Diagramm für Herzfrequenzen, geschätzt aus EKG (\(\mathrm{HR_{ECG}}\)) und SCG\(^\mathrm{{v}}\) (\(\mathrm{HR_{SCG}}\ )) abgeleitet aus den aggregierten Daten aller Probanden (männlich, weiblich; Atemanhalten am Ende der Ausatmung und am Ende der Einatmung), mit Ausnahme von Proband 11. Mittlere Abweichung (durchgezogene Linie) sowie obere und untere Grenzen der Übereinstimmung, d. h , Mittelwert ± 1,96 SD (gestrichelte Linien) sind dargestellt.

Diese Arbeit zeigt, dass herzinduzierte Vibrationen aus den vom Brustkorb aufgezeichneten Videos extrahiert werden können. Wir haben unsere visionsbasierte Pipeline validiert, indem wir die Ähnlichkeit zwischen dem SCG\(^\mathrm{{v}}\) und dem Goldstandard-SCG\(^\mathrm{{g}}\) bewertet haben, der von den angeschlossenen Beschleunigungsmessern aufgezeichnet wurde die Brusthaut. Zeitbereichsergebnisse zeigten einen hohen DTW-Ähnlichkeitsindex, aber einen niedrigeren Korrelationskoeffizienten, insbesondere zwischen \(\text {SCG}^\text {g}_x\) und \(\text {SCG}^\text {v}_x\). \). Dies könnte teilweise daran liegen, dass die Signale SCG\(^\mathrm{{g}}\) und SCG\(^\mathrm{{v}}\) gleichzeitig mithilfe zweier unabhängiger Systeme mit unterschiedlichen Abtastfrequenzen erfasst wurden. Obwohl wir Strategien entwickelten, um die Ausgabe dieser Systeme zu synchronisieren, gab es in jedem Experiment immer noch eine Zeitverzögerung zwischen den visionsbasierten und den Goldstandard-Signalen. Die durchschnittliche Verzögerung zwischen \(\mathrm{SCG_{x}}\)-Paaren und \(\mathrm{SCG_{y}}\)-Paaren betrug \(52\pm 112\) ms und \(41\pm 104\) ms bzw. Der DTW-Algorithmus berücksichtigte diese Verzögerung, indem er das SCG\(^\mathrm{{v}}\)-Signal so auf das SCG\(^\mathrm{{g}}\) streckte, dass die euklidischen Abstände zwischen den entsprechenden Punkten am kleinsten waren . Andererseits führte das Vorhandensein dieser Zeitverzögerung zu niedrigeren Korrelationskoeffizienten. Daher können die höheren DTW-basierten Ähnlichkeitsindizes eine genauere Bewertung der Signalähnlichkeiten und der Leistung unserer Computer-Vision-Pipeline ermöglichen.

Die SCG\(^\mathrm{{v}}\)-Signale wurden verwendet, um die Herzfrequenz der Probanden abzuschätzen. Im Allgemeinen wurde eine gute Übereinstimmung zwischen den Goldstandard-HR-Messungen und den aus SCG\(^\mathrm{{v}}\)-Signalen abgeleiteten HR-Schätzungen beobachtet. Es ist jedoch wichtig zu erwähnen, dass für die HF-Schätzung aus den SCG-Signalen ein grundlegender Algorithmus verwendet wurde, der auf der Bandpassfilterung von Signalen zwischen 0,7 und 1,5 Hz basiert. Dieser vereinfachte Ansatz wurde gewählt, da der Schwerpunkt dieser Studie nicht auf der Entwicklung eines erweiterten HR-Schätzalgorithmus lag. Folglich ist es möglich, dass die relativ geringeren Übereinstimmungen zwischen einigen SCG\(^\mathrm{{v}}\)-basierten HR-Schätzungen und dem Goldstandard beeinflusst wurden, wie die beiden Ausreißer am Ende der Inhalation bei männlichen Probanden zeigen (dargestellt durch blaue Kreise oberhalb und unterhalb der Übereinstimmungsgrenzen in Abb. 8). Insbesondere zeigten Herzfrequenzwerte unter 60 Schlägen pro Minute eine größere Streuung im Bland-Altman-Diagramm. Darüber hinaus tendierte unser SCG\(^\mathrm{{v}}\)- und HR-Schätzalgorithmus dazu, die HR bei Werten über 81 Schlägen pro Minute leicht zu unterschätzen. Zukünftige Arbeiten können sich auf die Verbesserung des HR-Schätzalgorithmus konzentrieren, um ein umfassenderes Verständnis des Potenzials von SCG\(^\mathrm{{v}}\)-Signalen bei der Schätzung von HR und Herzzeitintervallen zu erhalten.

Wenn ein dreiachsiger Beschleunigungsmesser auf der Brust platziert wird, werden die SCG-Komponenten in allen drei x- (rechts nach links), y- (Kopf-zu-Fuß-) und z-Achsen (dorsoventral) gemessen und zeigen jeweils ein spezifisches Muster. Unsere visionsbasierte Pipeline konnte die SCG-Signale jedoch nur entlang der x- und y-Richtung schätzen. In der Literatur konzentrierten sich die meisten SCG-Studien, einschließlich derjenigen, die eine kontaktlose Messmethode verwendeten, auf die dorsoventrale Komponente des SCG7,10. Obwohl die dorsoventrale Komponente mit unserer Methode derzeit nicht abgeschätzt werden kann, ist es plausibel, dass zusätzliche und ergänzende diagnostische Informationen aus der Analyse der SCG-Komponenten von rechts nach links und von Kopf nach Fuß gewonnen werden können7. Beispielsweise haben Shandhi et al. berichteten, dass die Veränderungen im Mitteldruck der Lungenarterie und im Lungenkapillarkeildruck besser aus den Veränderungen der SCG-Signale entlang der x-Achse abgeschätzt werden können14. Darüber hinaus wurden in dieser Studie die Videos mit einer Aufnahmegeschwindigkeit von 60 fps aufgenommen, was es uns ermöglichte, die SCG-Merkmale bis zu 30 Hz, also die Infraschall-SCG-Merkmale, abzuschätzen41. Da SCG-Signale klinisch relevante Informationen für bestimmte CVDs in den höheren Frequenzbereichen enthalten können, werden wir in unseren zukünftigen Bemühungen einen Versuchsaufbau und eine Pipeline entwickeln, um die höherfrequenten Merkmale sowie die dorsoventralen SCG-Komponenten abzuschätzen.

Es ist bekannt, dass die SCG-Signale je nach Messort auf der Brust variieren4. Zu den herkömmlichen Methoden zur Untersuchung der SCG-Variabilität gehört die Verwendung einer Reihe von Beschleunigungsmessern, die an der Brust angebracht sind. Beispielsweise haben Azad et al. verwendeten 32 Beschleunigungsmesser in ihrer Anordnung zwischen der rechten und linken vorderen Achselhöhle und zwischen dem 2. und 5. Interkostalraum43. Obwohl eine Erhöhung der Anzahl von Sensoren in solchen Arrays ein besseres Bild der räumlichen Verteilung von SCG liefern kann, wird dadurch auch der Instrumentierungs- und Datenerfassungsprozess teurer und arbeitsintensiver. Andererseits kann unsere visionsbasierte Pipeline gleichzeitig SCG-Signale von mehreren Punkten auf der Brust schätzen, ohne dass sich dies auf den Rechenaufwand für die Datenerfassung oder -analyse auswirkt. Beispielsweise haben wir unsere Pipeline getestet, um SCG-Signale von drei Stellen am Brustbein zu erhalten (Abb. 9). Diese Funktion öffnet die Tür für weitere Untersuchungen der SCG-Signale und ihrer intrasubjektbezogenen Variabilität zu geringeren Kosten im Vergleich zu herkömmlichen Methoden.

Gleichzeitige visionsbasierte SCG-Schätzungen von mehreren Bruststellen (Ergebnisse für Proband 9, Atemanhalten am Ende der Inhalation).

Darüber hinaus haben wir während der Datenerfassung und Vorverarbeitung versucht, die x- und y-Achsen des Videos an denen der Beschleunigungsmesser auszurichten. Da wir jedoch gleichzeitig die SCG-Signale von drei Stellen entlang des Brustbeins anhand desselben Videos geschätzt haben, ist die Y-Achse der am Manubrium und am Schwertfortsatz angebrachten Beschleunigungsmesser möglicherweise nicht immer perfekt mit der Y-Achse der Kamera ausgerichtet. Dies liegt zum Teil daran, dass die Brustoberfläche nicht flach ist und daher die Oberseite dieser Beschleunigungsmesser möglicherweise nicht parallel zur Smartphone-Oberfläche (dh nicht senkrecht zur optischen Achse der Kamera) verläuft. Dies kann folglich dazu führen, dass die SCG\(^\mathrm{{v}}\)-Komponenten in etwas andere Richtungen geschätzt werden als die SCG\(^\mathrm{{g}}\). Infolgedessen kann die Korrelation zwischen den beiden Signalen durch diese Fehlausrichtung beeinträchtigt werden, insbesondere im Zeitbereich.

In dieser Arbeit haben wir die SCG-Signale aus Videos geschätzt, indem wir die Bewegung von QR-Codes verfolgten, die an den Beschleunigungsmessern auf der Brust angebracht waren. Es ist jedoch wichtig zu beachten, dass die Genauigkeit dieser Methode von der Qualität der Befestigung des QR-Codes am Beschleunigungsmesser abhängt. Beispielsweise kann ein schlecht angebrachter QR-Code die SCG\(^\mathrm{{v}}\)-Ergebnisse beeinträchtigen. Darüber hinaus können Einschränkungen oder Hindernisse in der Sichtlinie der Kamera die Leistung unserer visionbasierten Pipeline beeinträchtigen. Darüber hinaus besteht die Grundvoraussetzung der Template-Tracking-Methode darin, dass das Erscheinungsbild des Objekts während des gesamten Videos unverändert bleibt. Doch in Wirklichkeit verändert sich das Aussehen eines Objekts im Laufe der Zeit, z. B. durch Rotation, geometrische Transformation oder Strukturveränderung. Eine Möglichkeit, diese Änderungen zu berücksichtigen, besteht darin, die Vorlage im Laufe der Zeit mit einer neuen Vorlage aus dem aktuellen Frame des Videos zu aktualisieren. Dies kann bei jedem Frame oder alternativ alle m Frames erfolgen. Ein ernstes Problem beim Aufbau eines solchen adaptiven Trackingsystems besteht jedoch darin, dass bei jeder Vorlagenaktualisierung ein kleiner Fehler zum Speicherort der Vorlage hinzugefügt wird. Aufgrund der Anhäufung dieser Fehler weicht der verfolgte Bereich schließlich von der tatsächlichen Vorlageposition ab. Matthews et al.44 schlugen eine Lösung für dieses Problem vor, indem sie die Vorlage mithilfe einer Kombination der Referenzvorlagen korrigierten und aktualisierten, die aus dem ersten und dem neuesten Frame abgerufen wurden. In dieser Machbarkeitsstudie haben wir diese Strategie auch verwendet, um die Vorlage zu korrigieren und zu aktualisieren, indem wir die erste Vorlage beibehalten, d. h. das aus dem ersten Frame QR(x) extrahierte QR-Codebild, und es zur Korrektur der Abweichung in \(QR_{ m+1}({x})\). Da die durch die mechanische Aktivität des Herzens verursachten Brustvibrationen jedoch eine kleine Amplitude haben, konnten wir keinen signifikanten Unterschied zwischen der Verwendung der Lucas-Kanade-Template-Tracking-Methode mit und ohne Template-Korrektur feststellen. Daher haben wir die Ergebnisse nur ohne Vorlagenkorrektur dargestellt.

Letztendlich bewiesen die hohe DTW-Ähnlichkeit und die gute Übereinstimmung zwischen den in dieser Studie berichteten \(HR_{SCG}\)- und Goldstandard-HR-Werten die Machbarkeit unserer berührungslosen SCG-Messmethode. Diese Studie ist der erste Schritt unserer Bemühungen, eine genaue und robuste Pipeline zur Schätzung von SCG-Signalen aus den Brustvideos unter realen Bedingungen zu entwickeln, wie z. B. der Aufnahme der Brustvideos mit der Frontkamera, während das Smartphone vom Benutzer gehalten wird (d. h. in Gegenwart von Vibrationsgeräuschen der Kamera). Angesichts der wachsenden Zahl von Smartphone-Benutzern und der ständig zunehmenden Untersuchungen zum Nutzen von SCG für die Überwachung und Diagnose von Herz-Kreislauf-Erkrankungen könnte diese neuartige Technik eine erschwingliche und allgemein verfügbare Methode zur Beurteilung der Herz-Kreislauf-Gesundheit darstellen und an Benutzer mit hohem Risiko verweisen Bitten Sie das medizinische Team um eine weitere Beurteilung Ihres Zustands.

In dieser Arbeit haben wir eine visionsbasierte Pipeline entwickelt, um die SCG-Signale in der Rechts-Links- und Kopf-Fuß-Richtung aus den mit einem Smartphone aufgezeichneten Brustvideos abzuschätzen. Wir haben unsere Pipeline validiert, indem wir die visionsbasierten SCG-Signale mit den Goldstandardsignalen verglichen haben, die von dreiachsigen Beschleunigungsmessern gemessen wurden. Wir haben gezeigt, dass eine relativ hohe Korrelation zwischen dem Goldstandard und den visionsbasierten Schätzungen der SCG-Signale besteht. Insgesamt zeigt diese Arbeit die Möglichkeit, Herzvibrationen aus normalen Telefonvideos zu extrahieren. Weitere Studien können zu einem Paradigmenwechsel bei der Entwicklung zugänglicher und erschwinglicher Instrumente zur Fernüberwachung des Herzens führen.

Die während der aktuellen Studie generierten und analysierten Daten sind aufgrund der IRB-Anforderungen nicht öffentlich zugänglich, können aber auf begründete Anfrage beim entsprechenden Autor erhältlich sein.

Shiels, MS, Haque, AT, de González, AB & Freedman, ND Haupttodesursachen in den USA während der COVID-19-Pandemie, März 2020 bis Oktober 2021. JAMA Intern. Med. 182, 883–886 (2022).

Artikel PubMed PubMed Central Google Scholar

Tsao, CW et al. Aktualisierung der Herzkrankheits- und Schlaganfallstatistik 2022: Ein Bericht der American Heart Association. Auflage 145, e153–e639 (2022).

Artikel PubMed Google Scholar

Muthurangu, V. et al. Messung der gesamten pulmonalarteriellen Compliance mittels invasiver Drucküberwachung und MR-Flussquantifizierung während der MR-gesteuerten Herzkatheterisierung. Bin. J. Physiol. Herzkreislauf. Physiol. 289, H1301–H1306 (2005).

Artikel CAS PubMed Google Scholar

Taebi, A., Solar, BE, Bomar, AJ, Sandler, RH & Mansy, HA Jüngste Fortschritte in der Seismokardiographie. Vibration 2, 64–86 (2019).

Artikel PubMed PubMed Central Google Scholar

Zanetti, JM & Salerno, DM Seismokardiographie: Eine Technik zur Aufzeichnung der präkordialen Beschleunigung. In Computer-Based Medical Systems-Proceedings of the Fourth Annual IEEE Symposium, 4–5 (IEEE Computer Society, 1991).

Taebi, A. & Mansy, HA Analyse seismokardiographischer Signale mittels polynomialer Chirplet-Transformation und geglätteter Pseudo-Wigner-Ville-Verteilung. Im Jahr 2017 IEEE Signal Processing in Medicine and Biology Symposium (SPMB), 1–6 (IEEE, 2017).

Inan, OT et al. Ballistokardiographie und Seismokardiographie: Ein Überblick über die jüngsten Fortschritte. IEEE J. Biomed. Gesundheitsinformationen. 19, 1414–1427 (2014).

Artikel PubMed Google Scholar

Cook, J., Umar, M., Khalili, F. & Taebi, A. Körperakustik für die nicht-invasive Diagnose von Erkrankungen. Bioengineering 9, 149 (2022).

Artikel PubMed PubMed Central Google Scholar

Sørensen, K., Schmidt, SE, Jensen, AS, Søgaard, P. & Struijk, JJ Definition von Referenzpunkten im normalen Seismokardiogramm. Wissenschaft. Rep. 8, 1–11 (2018).

Artikel Google Scholar

Ha, U., Assana, S. & Adib, F. Kontaktlose Seismokardiographie über Deep-Learning-Radargeräte. In Proceedings of the 26th Annual International Conference on Mobile Computing and Networking, 1–14 (2020).

Dehkordi, P. et al. Erkennung einer koronaren Herzkrankheit mittels Ruheseismokardiographie und Gyrokardiographie. Vorderseite. Physiol. 12, 758727 (2021).

Artikel PubMed PubMed Central Google Scholar

Salerno, DM & Zanetti, J. Seismokardiographie zur Überwachung von Veränderungen der linksventrikulären Funktion während einer Ischämie. Truhe 100, 991–993 (1991).

Artikel CAS PubMed Google Scholar

Hurnanen, T. et al. Automatisierte Erkennung von Vorhofflimmern basierend auf der Zeit-Frequenz-Analyse von Seismokardiogrammen. IEEE J. Biomed. Gesundheitsinformationen. 21, 1233–1241 (2016).

Artikel PubMed Google Scholar

Shandhi, MMH et al. Abschätzung von Veränderungen der intrakardialen Hämodynamik mithilfe tragbarer Seismokardiographie und maschinellem Lernen bei Patienten mit Herzinsuffizienz: Eine Machbarkeitsstudie. IEEE Trans. Biomed. Ing. 69, 2443–2455 (2022).

Artikel PubMed Google Scholar

Koivisto, T. et al. Mechanokardiographie zur Erkennung eines akuten St-Hebungs-Myokardinfarkts: Die Mechano-Stemi-Studie. Sensoren 22, 4384 (2022).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Zia, J., Kimball, J., Rolfes, C., Hahn, J.-O. & Inan, OT Ermöglicht die Beurteilung traumabedingter Blutungen über intelligente tragbare Systeme. Wissenschaft. Adv. 6, eabb1708 (2020).

Artikel ADS PubMed PubMed Central Google Scholar

Khosrow-Khavar, F. Automatische und nicht-invasive Abgrenzung des Seismokardiogrammsignals zur Schätzung kardialer Zeitintervalle mit Anwendungen in der diastolischen zeitgesteuerten Vibration und der Blutungserkennung im Frühstadium (Simon Fraser University, 2016).

Google Scholar

Boccanfuso, L., Perez, EJ, Robinson, M. & O'Kane, JM Erfassung der Herzfrequenz mithilfe eines hochpräzisen, berührungslosen Einzelpunkt-Infrarot-Temperatursensors. In International Conference on Social Robotics, 86–97 (Springer, 2012).

Nosrati, M. & Tavassolian, N. Hochpräzise Überwachung der Herzfrequenzvariabilität mithilfe von Doppler-Radar basierend auf der Gaußschen Pulszugmodellierung und dem FTP-Algorithmus. IEEE Trans. Mikrowelle. Theorie Tech. 66, 556–567 (2018).

Artikel ADS Google Scholar

Gu, Y., Zhang, X., Liu, Z. & Ren, F. WLAN-basierte Echtzeit-Atem- und Herzfrequenzüberwachung während des Schlafs. Im Jahr 2019 IEEE Global Communications Conference (GLOBECOM), 1–6 (IEEE, 2019).

Adib, F., Mao, H., Kabelac, Z., Katabi, D. & Miller, RC Intelligente Häuser, die Atmung und Herzfrequenz überwachen. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, 837–846 (2015).

Wu, H.-Y. et al. Eulersche Videovergrößerung zur Aufdeckung subtiler Veränderungen in der Welt. ACM Trans. Graph. 31, 1–8 (2012).

Artikel Google Scholar

Wadhwa, N., Rubinstein, M., Durand, F. & Freeman, WT Phasenbasierte Videobewegungsverarbeitung. ACM Trans. Graph. 32, 1–10 (2013).

Artikel MATH Google Scholar

Zhao, F., Li, M., Qian, Y. & Tsien, JZ Fernmessungen von Herz- und Atemfrequenzen für die Telemedizin. PLoS One 8, e71384 (2013).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Chang, C.-M., Hung, C.-C., Zhao, C., Lin, C.-L. & Hsu, B.-Y. Lernbasierte Fernphotoplethysmographie zur physiologischen Signalrückkopplungskontrolle im Fitnesstraining. In IEEE Conference on Industrial Electronics and Applications (ICIEA), 1663–1668. https://doi.org/10.1109/ICIEA48937.2020.9248164 (2020).

Huang, P.-W., Wu, B.-J. & Wu, B.-F. Ein Herzfrequenz-Überwachungsrahmen für reale Fahrer mithilfe der Fernphotoplethysmographie. IEEE J. Biomed. Gesundheitsinformationen. 25, 1397–1408. https://doi.org/10.1109/JBHI.2020.3026481 (2021).

Artikel PubMed Google Scholar

Wu, B.-F., Chu, Y.-W., Huang, P.-W. & Chung, M.-L. Auf einem neuronalen Netzwerk basierende, auf Leuchtdichteschwankungen resistente Fernphotoplethysmographie zur Herzfrequenzüberwachung des Fahrers. IEEE Access 7, 57210–57225. https://doi.org/10.1109/ACCESS.2019.2913664 (2019).

Artikel Google Scholar

Yu, IEEE J. Biomed. Gesundheitsinformationen. 25, 1781–1792. https://doi.org/10.1109/JBHI.2020.3018394 (2021).

Artikel PubMed Google Scholar

Arppana, A. et al. Echtzeit-Überwachung des Herzschlags mithilfe von Computer Vision. Im Jahr 2021, Siebte Internationale Konferenz zu Biosignalen, Bildern und Instrumentierung (ICBSII), 1–6 (IEEE, 2021).

Gibson, K. et al. Berührungslose Herz- und Atemfrequenzüberwachung von Frühgeborenen basierend auf einem Computer-Vision-System: Eine Methodenvergleichsstudie. Pädiatr. Res. 86, 738–741 (2019).

Artikel PubMed Google Scholar

Sikdar, A., Behera, SK & Dogra, DP Computer-Vision-gesteuerte Schätzung der menschlichen Pulsfrequenz: Ein Überblick. IEEE Rev. Biomed. Ing. 9, 91–105 (2016).

Artikel PubMed Google Scholar

Wang, Z., Kieu, H., Nguyen, H. & Le, M. Digitale Bildkorrelation in der experimentellen Mechanik und Bildregistrierung in der Computer Vision: Ähnlichkeiten, Unterschiede und Ergänzungen. Opt. Laser-Ing. 65, 18–27 (2015).

Artikel Google Scholar

Lucas, BD & Kanade, T. Eine iterative Bildregistrierungstechnik mit einer Anwendung auf Stereosehen. In Proceedings of the 7th International Joint Conference on Artificial Intelligence – Band 2, IJCAI'81, 674–679 (Morgan Kaufmann Publishers Inc., 1981).

Baker, S. & Matthews, I. Lucas-Kanade 20 Jahre später: Ein einheitlicher Rahmen. Int. J. Comput. Vision 56, 221–255 (2004).

Artikel MATH Google Scholar

Feng, D. & Feng, MQ Computer Vision für die zivile Infrastruktur: Von der dynamischen Reaktionsmessung bis zur Schadenserkennung – ein Rückblick. Ing. Struktur. 156, 105–117 (2018).

Artikel Google Scholar

Pan, J. & Tompkins, WJ Ein Echtzeit-QRS-Erkennungsalgorithmus. IEEE Trans. Biomed. Ing. 20, 230–236 (1985).

Artikel Google Scholar

Sedghamiz, H. Matlab-Implementierung des EKG-QRS-Detektors von Pan Tompkins. Code verfügbar auf der File Exchange Site von MathWorks (2014).

Gamage, PT, Azad, MK, Taebi, A., Sandler, RH & Mansy, HA Clustering von SCG-Ereignissen mithilfe von unüberwachtem maschinellem Lernen. In Signal Processing in Medicine and Biology 205–233 (Springer, 2020).

Kapitel Google Scholar

Cohen, EA & Walden, AT Eine statistische Analyse der Morse-Wavelet-Kohärenz. IEEE Trans. Signalprozess. 58, 980–989 (2009).

Artikel ADS MathSciNet MATH Google Scholar

Taebi, A. & Mansy, HA Zeit-Frequenz-Verteilung seismokardiographischer Signale: Eine vergleichende Studie. Bioengineering 4, 32 (2017).

Artikel PubMed PubMed Central Google Scholar

Zanetti, JM & Tavakolian, K. Seismokardiographie: Vergangenheit, Gegenwart und Zukunft. 2013 35. jährliche internationale Konferenz der IEEE Engineering in Medicine and Biology Society (EMBC), 7004–7007 (IEEE, 2013).

Di Rienzo, M. et al. Tragbare Seismokardiographie: Auf dem Weg zu einer Schlag-für-Schlag-Beurteilung der Herzmechanik bei ambulanten Probanden. Auton. Neurosci. 178, 50–59 (2013).

Artikel PubMed Google Scholar

Azad, MK et al. Räumliche Verteilung seismokardiographischer Signale. In Biomedical Signal Processing 129–159 (Springer, 2021).

Kapitel Google Scholar

Matthews, L., Ishikawa, T. & Baker, S. Das Problem der Vorlagenaktualisierung. IEEE Trans. Muster Anal. Mach. Intel. 26, 810–815 (2004).

Artikel PubMed Google Scholar

Referenzen herunterladen

Die Autoren danken Aysha Mann für ihren Beitrag zur Datenerfassung und Drs. Steve Elder und Lauren Priddy vom Department of Agricultural and Biological Engineering der Mississippi State University für die Bereitstellung des Zugangs zu einem Orbitalschüttler von Thermo Scientific in früheren Phasen dieser Forschung, um die Machbarkeit der Idee zu beweisen. Diese Arbeit wurde durch den Startfonds von Amirtahà Taebi der Mississippi State University unterstützt.

Die folgenden Autoren trugen gleichermaßen bei: Mohammad Muntasir Rahman und Amirtahà Taebi.

Abteilung für Agrar- und Biotechnik, Mississippi State University, Mississippi, 39762, USA

Mohammad Muntasir Rahman, Jadyn Cook und Amirtah Taebi

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Konzeptualisierung, AT; Untersuchung, AT und MMR; Methodik, MMR und AT; Datenerfassung, JC, AT und MMR; Datenkuration und Software, MMR und AT; Vorbereitung von schriftlichen Originalentwürfen, MMR und AT; Schreiben, Überprüfen und Bearbeiten, MMR, JC und AT; formale Analyse und Visualisierung, MMR und AT; Aufsicht, Projektverwaltung und Ressourcen, AT Alle Autoren haben die veröffentlichte Version des Manuskripts gelesen und ihr zugestimmt.

Korrespondenz mit Amirtahà Taebi.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die Originalautor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Rahman, MM, Cook, J. & Taebi, A. Berührungslose Herzvibrationsmessung mittels Computer-Vision-basierter Seismokardiographie. Sci Rep 13, 11787 (2023). https://doi.org/10.1038/s41598-023-38607-7

Zitat herunterladen

Eingegangen: 19. Januar 2023

Angenommen: 11. Juli 2023

Veröffentlicht: 21. Juli 2023

DOI: https://doi.org/10.1038/s41598-023-38607-7

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.