JP2018531731A5 - - Google Patents

Download PDF

Info

Publication number
JP2018531731A5
JP2018531731A5 JP2018521609A JP2018521609A JP2018531731A5 JP 2018531731 A5 JP2018531731 A5 JP 2018531731A5 JP 2018521609 A JP2018521609 A JP 2018521609A JP 2018521609 A JP2018521609 A JP 2018521609A JP 2018531731 A5 JP2018531731 A5 JP 2018531731A5
Authority
JP
Japan
Prior art keywords
pane
remote
remote assistance
portable device
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018521609A
Other languages
Japanese (ja)
Other versions
JP6636629B2 (en
JP2018531731A (en
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/IB2016/056084 external-priority patent/WO2017072616A1/en
Publication of JP2018531731A publication Critical patent/JP2018531731A/en
Publication of JP2018531731A5 publication Critical patent/JP2018531731A5/ja
Application granted granted Critical
Publication of JP6636629B2 publication Critical patent/JP6636629B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

少なくとも１対の立体拡張現実眼鏡を備���るポータブルデバイスに動作可能に結合されるための遠隔援助ワークステーションであって、少なくとも１つの行為を実行するために初期対応者による使用のための前記ポータブルデバイスは、現場における第１のオブジェクトを、前記現場における（ｉ）対象者及び（ｉｉ）第２のオブジェクト、のうちの少なくとも１つと関連して使用するものであり、前記遠隔援助ワークステーションは、
前記ポータブルデバイスから起きる遠隔援助リクエストに応答して前記ポータブルデバイスと通信するための通信モジュールであって、前記遠隔援助リクエストは、前記現場において前記立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む、通信モジュールと、
（ａ）遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画するため、及び（ｂ）遠隔援助者からの遠隔援助者入力を受信するためのユーザインターフェースモジュールであって、前記遠隔援助者グラフィカルユーザインターフェースは、
（ｉ）前記遠隔援助リクエストの前記ライブビデオストリームを表示するための３Ｄペインを含む、第１のペインと、
（ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を表示するための２Ｄペインを含む、第２のペインであって、描画された前記２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して前記第２のペイン内で移動可能であり、前記遠隔援助者グラフィカルユーザインターフェースは更に、前記第１のペイン内に、前記第２のペイン内の前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現に対応する、３Ｄ仮想コンテンツのアイテムを、前記第１のペイン内の少なくとも基準ポイントに対して相対的に描画するためのものであり、前記基準ポイントは、前記ライブビデオストリームのコンテンツに基づく、第２のペインと、
を少なくとも含む、ユーザインターフェースモジュールと、
前記初期対応者が、前記現場における前記対象者又は前記第２のオブジェクトに関連して、前記第１のオブジェクトを使用して前記少なくとも１つの行為を実行するのを援助するために、前記第２のペイン内で前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現を移動させる前記１つ又は複数の遠隔援助者入力に応答して、前記３Ｄ仮想コンテンツのアイテムは、前記ライブビュー内の前記基準ポイントに対して正しい場所に現れるように、前記立体拡張現実眼鏡のカメラによって撮影された前記現場のライブビュー内の前記初期対応者に対して、前記３Ｄ仮想コンテンツのアイテムを前記立体拡張現実眼鏡に表示するために、前記ポータブルデバイスに前記通信モジュールを介して出力される１つ又は複数の遠隔援助信号を生成するためのコントローラと、
を備える、遠隔援助ワークステーション。 A remote assistance workstation for operably coupled to a portable device comprising at least one pair of stereoscopic augmented reality glasses, said portable device for use by an initial responder to perform at least one action , the first object in the field, the in situ (i) subjects and (ii) a second object, which uses at least one connection with one of said remote assistance workstations,
A communication module for communicating with the portable device in response to a remote assistance request originating from the portable device, wherein the remote assistance request is a live video taken via the stereoscopic augmented reality glasses camera at the site A communication module including at least a stream;
A user interface module for rendering a remote assistant graphical user interface on a display device; and (b) receiving remote assistant input from a remote assistant, the remote assistant graphical user interface comprising: ,
(I) a first pane including a 3D pane for displaying the live video stream of the remote assistance request;
(Ii) a second pane comprising a 2D pane for displaying a 2D representation of the first object at the site, wherein the rendered 2D representation is input to one or more remote assistant inputs Responsive to movement within the second pane, the remote assistant graphical user interface further includes a drawing of the first object at the site in the second pane within the first pane. For rendering a 3D virtual content item corresponding to the rendered 2D representation relative to at least a reference point in the first pane, the reference point of the live video stream A second pane based on content;
A user interface module including at least
The initial responders, in relation to the subject or the second object in the scene, in order to assist the use of the first object to perform the at least one action, the second In response to the one or more remote assistant inputs moving the rendered 2D representation of the first object in the scene within the pane, the item of 3D virtual content is displayed in the live view. The 3D virtual content item is sent to the 3D virtual content for the initial responder in the live view of the scene taken by the stereoscopic augmented reality glasses camera so that it appears in the correct location relative to the reference point. One or more remote assistance signals output to the portable device via the communication module for display on glasses A controller for generating the,
A remote assistance workstation comprising: 前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える、請求項１に記載の遠隔援助ワークステーション。   The portable device comprises a portable medical device including at least one of an automatic external defibrillator (AED), a cardiopulmonary resuscitation (CPR) metronome, and an electrocardiogram (ECG) monitor, wherein the first in the field The object of claim 1 comprises one or more of (i) one or both hands of an initial responder or other body part of an initial responder and (ii) at least one item of the portable device. The remote assistance workstation according to 1. 更に、前記３Ｄ仮想コンテンツのアイテムは、（ｉ）前記初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの少なくとも１つを表す仮想表現輪郭を備える、請求項２に記載の遠隔援助ワークステーション。 Further, the item of 3D virtual content includes at least one of (i) one or both hands of the initial responder or other body part of the initial responder, and (ii) at least one item of the portable device. The remote assistance workstation of claim 2, comprising a virtual representation contour representing one. 前記第１のペイン内に、少なくとも前記遠隔援助��クエスト��前記ライブビデオストリームを描画するために動作可能である、ビデオ描画モジュールと、
前記第２のペイン内に、少なくとも（ｉ）前記現場における前記対象者又は前記第２のオブジェクトの２Ｄ表現、及び（ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を描画するために動作可能である、２Ｄ図像ビュー描画モジュールと、
前記第１のペインに表示された前記遠隔援助リクエストの前記ライブビデオストリームの前記コンテンツ内の前記基準ポイントを確立するために動作可能である、基準ポイントモジュールと、
前記遠隔援助リクエストの前記ライブビデオストリームのための前記基準ポイントに少なくとも基づいて、前記第１のペイン内にＸＹ座標系を確立するために動作可能である、ＸＹ座標モジュールと、
のうちの１つ又は複数を更に備える、請求項１に記載の遠隔援助ワークステーション。 A video rendering module operable to render at least the live video stream of the remote assistance request in the first pane;
Operable to draw at least (i) a 2D representation of the subject or the second object in the scene and (ii) a 2D representation of the first object in the scene in the second pane. A 2D iconic view drawing module,
A reference point module operable to establish the reference point in the content of the live video stream of the remote assistance request displayed in the first pane;
An XY coordinate module operable to establish an XY coordinate system in the first pane based at least on the reference point for the live video stream of the remote assistance request;
The remote assistance workstation of claim 1, further comprising one or more of: 前記基準ポイントは、（ｉ）前記ライブビデオストリーム中の前記対象者の画像に適用された顔認識アルゴリズムを介して判定された前記対象者の顔、及び（ｉｉ）前記第１のペインに描画された前記ライブビデオストリームの前記コンテンツ内の遠隔援助者選択基準ポイント、のうちの少なくとも１つを備える、請求項４に記載の遠隔援助ワークステーション。   The reference points are (i) the subject's face determined via a face recognition algorithm applied to the subject's image in the live video stream, and (ii) rendered in the first pane. 5. The remote assistance workstation of claim 4, comprising at least one of remote assistance selection reference points in the content of the live video stream. 更に、前記遠隔援助者選択基準ポイントは、（ｉ）前記現場における前記対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）前記ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）前記第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備える、請求項５に記載の遠隔援助ワークステーション。   Further, the remote assistant selection reference point is (i) a reference point on the subject or second object at the site, (ii) a reference point on the portable device, and (iii) the first object. The remote assistance workstation of claim 5, comprising at least one of the above reference points. 前記遠隔援助者選択基準ポイントは垂直方向を更に備え、前記垂直方向は、前記第２のペインのビューを、前記ビューの前記垂直方向が前記現場における前記対象者又は前記第２のオブジェクトの中央軸に対応するように前記ビューを回転させることにより修正することによって選択される、請求項６に記載の遠隔援助ワークステーション。   The remote aid selection reference point further comprises a vertical direction, the vertical direction representing a view of the second pane, wherein the vertical direction of the view is a central axis of the subject or the second object in the scene. The remote assistance workstation of claim 6, wherein the remote assistance workstation is selected by modification by rotating the view to correspond to. 前記１つ又は複数の遠隔援助信号は更に、前記遠隔援助者グラフィカルユーザインターフェースの前記第１のペインに表示された前記ライブビデオストリームにおいて前記遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、前記カメラによって撮影された前記現場の前記ライブビュー内の前記初期対応者に対して、前記立体拡張現実眼鏡に少なくとも１つのハイライトを表示し、更に、前記少なくとも１つのハイライトは、前記初期対応者によって見られる前記立体拡張現実眼鏡における合致するＸＹ座標に表示される、請求項４に記載の遠隔援助ワークステーション。 The one or more remote assistance signals further comprises at least one of the remote assistance selecting an XY coordinate in the live video stream displayed in the first pane of the remote assistance graphical user interface. In response to a remote assistant input, display at least one highlight on the stereoscopic augmented reality glasses for the initial responder in the live view of the scene taken by the camera, and The remote assistance workstation of claim 4, wherein one highlight is displayed at a matching XY coordinate in the stereoscopic augmented reality glasses viewed by the initial responder. 更に、前記第２のペインは、前記現場における前記対象者又は第２のオブジェクトに関連して実行されるべき複数の種類の行為各々のための少なくとも１つのタブを含み、前記���隔援助者が、前記遠隔援助者グラフィカルユーザインターフェースを介して、前記第２のペイン内の所与のタブを選択することに応じて、前記２Ｄ図像ビュー描画モジュールは、前記第２のペイン内に、対応する所与の種類の行為に関して前記遠隔援助者による使用のために利用可能な前記所与のタブに関連付けられた前記第１のオブジェクトの１つ又は複数の２Ｄ表現を描画する、請求項４に記載の遠隔援助ワークステーション。 The second pane further includes at least one tab for each of a plurality of types of actions to be performed in connection with the subject or second object at the site, In response to selecting a given tab in the second pane via the remote helper graphical user interface, the 2D iconic view drawing module displays a corresponding given value in the second pane. The remote of claim 4, rendering one or more 2D representations of the first object associated with the given tab available for use by the remote assistant for various types of actions. Assist workstation. 前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、更に、前記第１のオブジェクトの前記１つ又は複数の２Ｄ表現は、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数に対応する、請求項９に記載の遠隔援助ワークステーション。   The portable device comprises a portable medical device that includes at least one of an automatic external defibrillator (AED), a cardiopulmonary resuscitation (CPR) metronome, and an electrocardiogram (ECG) monitor; The one or more 2D representations of the object are one of: (i) one or both hands of the initial counterpart or other body part of the initial counterpart, and (ii) at least one item of the portable device The remote assistance workstation of claim 9 corresponding to one or more. 前記ポータブルデバイスの前記少なくとも１つのアイテムの１つ又は複数の２Ｄ表現は、ＡＥＤパッド配置、ＣＰＲ圧迫配置、及びＥＣＧセンサ配置からなる群から選択される少なくとも１つのものを更に表す、請求項１０に記載の遠隔援助ワークステーション。 The one or more 2D representations of the at least one item of the portable device further represent at least one selected from the group consisting of an AED pad arrangement, a CPR compression arrangement, and an ECG sensor arrangement. The listed remote assistance workstation. 前記ディスプレイデバイスを更に備え、前記ディスプレイデバイスは、前記遠隔援助者入力を受信するためのタッチスクリーンデバイスを含む、請求項１に記載の遠隔援助ワークステーション。   The remote assistance workstation of claim 1, further comprising the display device, wherein the display device includes a touch screen device for receiving the remote assistance input. 遠隔援助ワークステーション及びポータブルデバイスを介して遠隔援助を提供するための方法であって、前記ポータブルデバイスは、少なくとも１対の立体拡張現実眼鏡を備え、少なくとも１つの行為を実行するために初期対応者による使用のための前記ポータブルデバイスは、現場における第１のオブジェクトを、前記現場における（ｉ）対象者及び（ｉｉ）第２のオブジェクト、のうちの少なくとも１つと関連して使用するものであり、前記方法は、
前記ポータブルデバイスから起きる遠隔援助リクエストに応答して、通信モジュールを介して前記遠隔援助ワークステーションを前記ポータブルデバイスに動作可能に結合するステップであって、前記遠隔援助リクエストは、前記現場において前記立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む、ステップと、
ユーザインターフェースモジュールを介して、遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画し、及び遠隔援助者からの遠隔援助者入力を受信するステップであって、前記遠隔援助者グラフィカルユーザインターフェースは、
（ｉ）前記遠隔援助リクエストの前記ライブビデオストリームを表示するための３Ｄペインを含む、第１のペインと、
（ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を表示するための２Ｄペインを含む、第２のペインであって、描画された前記２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して前記第２のペイン内で移動可能であり、前記遠隔援助者グラフィカルユーザインターフェースは更に、前記第１のペイン内に、前記第２のペイン内の前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現に対応する、３Ｄ仮想コンテンツのアイテムを、前記第１の���イン内の少なくとも基準ポイントに対して相対的に描画し、前記基準ポイントは、前記ライブビデオストリームのコンテンツに基づく、第２のペインと、
を少なくとも含む、ステップと、
前記初期対応者が、前記現場における前記対象者又は前記第２のオブジェクトに関連して、前記少なくとも１つの行為を実行するのを援助するために、前記第２のペイン内で前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現を移動させる前記１つ又は複数の遠隔援助者入力に応答して、前記３Ｄ仮想コンテンツのアイテムは、前記ライブビュー内の前記基準ポイントに対して正しい場所に現れるように、前記立体拡張現実眼鏡のカメラによって撮影された前記現場のライブビュー内の前記初期対応者に対して、前記３Ｄ仮想コンテンツのアイテムを前記立体拡張現実眼鏡に表示するために、前記ポータブルデバイスに前記通信モジュールを介して出力される１つ又は複数の遠隔援助信号を、コントローラを介して生成するステップと、
を有する、方法。 A method for providing remote assistance via a remote assistance workstation and a portable device, the portable device comprising at least one pair of stereoscopic augmented reality glasses and performing an initial responder to perform at least one action the portable device for use by the first object in the field, the (i) subjects and (ii) in the field a second object, which at least one connection with use of, The method
Operatively coupling the remote assistance workstation to the portable device via a communication module in response to a remote assistance request originating from the portable device, wherein the remote assistance request Including at least a live video stream filmed via a reality glasses camera;
Drawing a remote assistant graphical user interface on a display device and receiving remote assistant input from the remote assistant via a user interface module, the remote assistant graphical user interface comprising:
(I) a first pane including a 3D pane for displaying the live video stream of the remote assistance request;
(Ii) a second pane comprising a 2D pane for displaying a 2D representation of the first object at the site, wherein the rendered 2D representation is input to one or more remote assistant inputs Responsive to movement within the second pane, the remote assistant graphical user interface further includes a drawing of the first object at the site in the second pane within the first pane. the corresponding 2D representation that is, the items of 3D virtual content, relative drawn to at least a reference point of said first pane, said reference point, based on the content of the live video stream, the Two panes,
Including at least a step;
The initial responders, in relation to the subject or the second object in the scene, in order to assist in executing the at least one action, the in the field in the second pane first In response to the one or more remote assistant inputs moving the rendered 2D representation of an object, the item of 3D virtual content is in the correct location relative to the reference point in the live view. As shown, the portable device for displaying the 3D virtual content item on the stereoscopic augmented reality glasses to the initial responder in the live view of the scene taken by the stereoscopic augmented reality glasses camera. One or more remote assistance signals output to the device via the communication module are generated via the controller And the step,
Having a method. 前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える、請求項１３に記載の方法。   The portable device comprises a portable medical device including at least one of an automatic external defibrillator (AED), a cardiopulmonary resuscitation (CPR) metronome, and an electrocardiogram (ECG) monitor, wherein the first in the field The object of claim 1 comprises one or more of (i) one or both hands of an initial responder or other body part of an initial responder and (ii) at least one item of the portable device. 14. The method according to 13. 更に、前記３Ｄ仮想コンテンツのアイテムは、（ｉ）前記初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの前記少なくとも１つのアイテム、のうちの少なくとも１つを表す仮想表現輪郭を備える、請求項１４に記載の方法。 Further, the item of 3D virtual content comprises at least one of: (i) one or both hands of the initial responder or other body part of the initial responder; and (ii) the at least one item of the portable device. The method of claim 14, comprising a virtual representation contour representing one. 前記コントローラを介して前記生成するステップは、前記遠隔援助者グラフィカルユーザインターフェースの前記第１のペインに表示された前記ライブビデオストリームにおいて前記遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、前記カメラによって撮影された前記現場の前記ライブビュー内の前記初期対応者に対して、前記立体拡張現実眼鏡に少なくとも１つのハイライトを表示するための１つ又は複数の遠隔援助信号を生成するステップを更に含み、更に、前記少なくとも１つのハイライトは、前記初期対応者によって見られる前記立体拡張現実眼鏡における合致するＸＹ座標に表示される、請求項１３に記載の方法。 The step of generating via the controller includes the remote assistant selecting XY coordinates in the live video stream displayed in the first pane of the remote assistant graphical user interface. One or more for displaying at least one highlight on the stereoscopic augmented reality glasses for the initial responder in the live view of the scene taken by the camera in response to an assistant input 14. The method of claim 13, further comprising: generating a remote assistance signal for the at least one highlight, wherein the at least one highlight is displayed at a matching XY coordinate in the stereoscopic augmented reality glasses viewed by the initial responder. Method. 前記基準ポイントは、
（ｉ）前記第１のペインに描画された前記ライブビデオストリーム中の前記対象者の画像に適用された顔認識アルゴリズムを介して判定された前記対象者の顔の基準ポイント、及び
（ｉｉ）前記第１のペインに描画された前記ライブビデオストリームの前記コンテンツ内の遠隔援助者選択基準ポイント、
からなる群から選択されるものを備える、請求項１３に記載の方法。 The reference point is
(I) a reference point of the subject's face determined via a face recognition algorithm applied to the subject's image in the live video stream rendered in the first pane; and (ii) the A remote aid selection reference point in the content of the live video stream rendered in the first pane;
14. The method of claim 13, comprising one selected from the group consisting of: 更に、前記遠隔援助者選択基準ポイントは、（ｉ）前記現場における前記対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）前記ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）前記第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備え、前記遠隔援助者選択基準ポイント���選択する��とは、前記第２のペインのビューを、前記ビューの垂直方向が前記現場における前記対象者又は前記第２のオブジェクトの中央軸に対応するように前記ビューを回転させることによって修正することを更に含む、請求項１７に記載の方法。 Further, the remote assistant selection reference point is (i) a reference point on the subject or second object at the site, (ii) a reference point on the portable device, and (iii) the first object. reference point on, provided at least one of, selecting the remote helper selection criteria points, a view of the second pane, the subject or the vertical direction of the view in the field further comprising the method of claim 17 to modify by rotating the view so as to correspond to the central axis of the second object. プロセッサによって実行されたときに、請求項１３に記載の方法を前記プロセッサに実行させる命令が具現化された、非一時的コンピュータ読み取り可能媒体。   A non-transitory computer readable medium embodying instructions that, when executed by a processor, cause the processor to perform the method of claim 13. 請求項１に記載の遠隔援助ワークステーションと、
ポータブルデバイスであって、少なくとも１対の立体拡張現実眼鏡を備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）少なくとも１つのアイテム、のうちの１つ又は複数を備え、更に、前記ポータブルデバイスは、現場における対象者及び第２のオブジェクトのうちの少なくとも１つに関連して、少なくとも１つの行為を実行するために、初期対応者によって使用されるものであり、前記ポータブルデバイスは、前記遠隔援助ワークステーションと通信するための通信モジュールを更に備え、前記少なくとも１つのアイテムは、前記現場における前記対象者又は第２のオブジェクトに対して前記少なくとも１つの行為を実行することに関連して前記初期対応者によって使用される少なくとも１つのワークピースを備え、前記初期対応者によって着用される前記少なくとも１対の立体拡張現実眼鏡は、前記現場における前記対象者又は第２のオブジェクトのリアルタイム画像を撮影するためのカメラを含む、ポータブルデバイスと、
を備える、遠隔援助システム。 A remote assistance workstation according to claim 1;
A portable device comprising at least a pair of stereoscopic augmented reality glasses, wherein the first object in the scene is: (i) one or both hands of the initial responder or other body part of the initial responder; ii) comprising one or more of at least one item, wherein the portable device performs at least one action in connection with at least one of the subject and the second object in the field To be used by an initial responder, the portable device further comprising a communication module for communicating with the remote assistance workstation, wherein the at least one item is the subject at the site or In connection with performing the at least one act on a second object; The at least one pair of stereoscopic augmented reality glasses comprising at least one workpiece used by a responder and worn by the initial responder captures a real-time image of the subject or second object at the site A portable device, including a camera for,
A remote assistance system comprising:
JP2018521609A 2015-10-29 2016-10-12 Remote assistance workstation, method, and system with user interface for remotely assisting spatial placement tasks via augmented reality glasses Active JP6636629B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562247797P 2015-10-29 2015-10-29
US62/247,797 2015-10-29
PCT/IB2016/056084 WO2017072616A1 (en) 2015-10-29 2016-10-12 Remote assistance workstation, method and system with a user interface for remote assistance with spatial placement tasks via augmented reality glasses

Publications (3)

Publication Number Publication Date
JP2018531731A JP2018531731A (en) 2018-11-01
JP2018531731A5 true JP2018531731A5 (en) 2019-11-14
JP6636629B2 JP6636629B2 (en) 2020-01-29

Family

ID=57349091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018521609A Active JP6636629B2 (en) 2015-10-29 2016-10-12 Remote assistance workstation, method, and system with user interface for remotely assisting spatial placement tasks via augmented reality glasses

Country Status (5)

Country Link
US (1) US10431008B2 (en)
EP (1) EP3369021B1 (en)
JP (1) JP6636629B2 (en)
CN (1) CN108352195A (en)
WO (1) WO2017072616A1 (en)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10469803B2 (en) * 2016-04-08 2019-11-05 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
US11056022B1 (en) * 2016-11-29 2021-07-06 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US10748450B1 (en) * 2016-11-29 2020-08-18 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
CN106980379B (en) * 2017-03-30 2020-05-19 联想(北京)有限公司 Display method and terminal
DE102017108235A1 (en) * 2017-04-18 2018-10-18 Bredent Medical Gmbh & Co. Kg Glasses with at least a partially transparent screen and method of operating glasses
US20180338119A1 (en) * 2017-05-18 2018-11-22 Visual Mobility Inc. System and method for remote secure live video streaming
NL2019059B1 (en) * 2017-06-13 2018-12-19 Maritime Medical Applications B V Wireless communication system for remote medical assistance
EP3438859A1 (en) 2017-08-01 2019-02-06 Predict Srl Method for providing remote assistance services using mixed and/or augmented reality visors and system for implementing it
US10785269B2 (en) * 2017-11-20 2020-09-22 Streem, Inc. Augmented reality platform for professional services delivery
US11323657B2 (en) * 2017-11-20 2022-05-03 Streem, Inc. Initiation of two-way AR sessions using physical markers
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11585672B1 (en) * 2018-04-11 2023-02-21 Palantir Technologies Inc. Three-dimensional representations of routes
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US10511881B1 (en) 2018-05-31 2019-12-17 Titan Health & Security Technologies, Inc. Communication exchange system for remotely communicating instructions
US10810758B2 (en) * 2018-06-27 2020-10-20 General Electric Company Method and system using augmentated reality for positioning of ECG electrodes
EP3815104A4 (en) * 2018-06-28 2022-03-16 Ositech Communications Inc. SYSTEM AND PROCEDURE FOR ADMINISTRATION OF A DEFIBRILLATOR
CN109243622A (en) * 2018-09-18 2019-01-18 宁波众鑫网络科技股份有限公司 A kind of method and device of health care Internet-based
US11556995B1 (en) 2018-10-17 2023-01-17 State Farm Mutual Automobile Insurance Company Predictive analytics for assessing property using external data
US11810202B1 (en) 2018-10-17 2023-11-07 State Farm Mutual Automobile Insurance Company Method and system for identifying conditions of features represented in a virtual model
US11024099B1 (en) 2018-10-17 2021-06-01 State Farm Mutual Automobile Insurance Company Method and system for curating a virtual model for feature identification
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
KR102638956B1 (en) * 2018-11-26 2024-02-22 삼성전자주식회사 Electronic device and augmented reality device for providing augmented reality service and operation method thereof
US10873724B1 (en) * 2019-01-08 2020-12-22 State Farm Mutual Automobile Insurance Company Virtual environment generation for collaborative building assessment
DE102019000067A1 (en) * 2019-01-09 2020-07-09 Thomas Lipp Audio-video conference system for telemedicine
JP7494196B2 (en) * 2019-02-12 2024-06-03 インテュイティブ サージカル オペレーションズ， インコーポレイテッド SYSTEM AND METHOD FOR FACILITATING OPTIMIZATION OF IMAGING DEVICE VIEWPOINT DURING A SURGERY SESSION OF A COMPUTER-ASSISTED SURGERY SYSTEM - Patent application
CN109768997B (en) * 2019-03-07 2023-06-16 贵州���网有限责任公司 Remote monitoring equipment for electric power field inspection and monitoring method thereof
US11049072B1 (en) 2019-04-26 2021-06-29 State Farm Mutual Automobile Insurance Company Asynchronous virtual collaboration environments
US11032328B1 (en) 2019-04-29 2021-06-08 State Farm Mutual Automobile Insurance Company Asymmetric collaborative virtual environments
US11816800B2 (en) * 2019-07-03 2023-11-14 Apple Inc. Guided consumer experience
FR3098317B1 (en) * 2019-07-03 2021-05-28 Psa Automobiles Sa Method and system for managing a maintenance task of a motor vehicle
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
FR3102255B1 (en) 2019-10-17 2022-01-21 Endel Communication system for the maintenance of a site
EP4051331A4 (en) 2019-10-31 2022-12-28 Terumo Cardiovascular Systems Corporation HEART LUNG MACHINE WITH AUGMENTED REALITY DISPLAY
US11087552B2 (en) 2019-11-26 2021-08-10 Rufina Shatkina Collaborative on-demand experiences
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US12220176B2 (en) 2019-12-10 2025-02-11 Globus Medical, Inc. Extended reality instrument interaction zone for navigated robotic
US12133772B2 (en) 2019-12-10 2024-11-05 Globus Medical, Inc. Augmented reality headset for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11724098B2 (en) 2020-01-30 2023-08-15 Terumo Cardiovascular Systems Corporation Stepper motor drive systems and tubing occluder system
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11043038B1 (en) 2020-03-16 2021-06-22 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of three-dimensional interaction for augmented reality remote assistance
US20210308007A1 (en) * 2020-04-06 2021-10-07 Keith G. Lurie Location guidance-enabled cpr assist device
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
NL2026677B1 (en) 2020-10-15 2022-06-14 B V Maritime Medical Applications Wireless communication system for medical assistance
CN112153267B (en) * 2020-10-22 2022-02-22 国网江苏省电力有限公司镇江供电分公司 Human eye visual angle limitation space operation remote monitoring system based on AR intelligent glasses
CN112751977A (en) * 2020-12-17 2021-05-04 青岛地铁集团有限公司运营分公司 Call processing method, device, system and storage medium
US12016633B2 (en) 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
US11354868B1 (en) * 2021-02-26 2022-06-07 Zebra Technologies Corporation Method to map dynamically drawn augmented reality (AR) scribbles using recognition of discrete spatial anchor(s)
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN115674180B (en) * 2021-07-27 2025-02-07 瑞龙诺赋(上海)医疗科技有限公司 Control method, device, electronic device and storage medium
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
WO2023021450A1 (en) 2021-08-18 2023-02-23 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
US12283003B2 (en) 2022-04-06 2025-04-22 Saudi Arabian Oil Company Remote assistance using augmented reality
JP7798675B2 (en) * 2022-04-13 2026-01-14 株式会社日立製作所 Work support system and method
WO2023203521A1 (en) 2022-04-21 2023-10-26 Augmedics Ltd. Systems and methods for medical image visualization
TWI804294B (en) * 2022-04-28 2023-06-01 中華電信股份有限公司 Remote device control system, method and computer readable medium for augmented reality collaboration
EP4319170A1 (en) * 2022-08-04 2024-02-07 Koninklijke Philips N.V. Vendor-agnostic remote-controlled screen overlay for collaboration in a virtualized radiology environment
WO2024028235A1 (en) * 2022-08-04 2024-02-08 Koninklijke Philips N.V. Vendor-agnostic remote-controlled screen overlay for collaboration in a virtualized radiology environment
EP4587881A1 (en) 2022-09-13 2025-07-23 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention
WO2024091941A1 (en) * 2022-10-24 2024-05-02 Veyond Metaverse Inc. Extended reality communications environment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8319631B2 (en) * 2009-03-04 2012-11-27 Cardiac Pacemakers, Inc. Modular patient portable communicator for use in life critical network
US9067080B2 (en) * 2009-03-16 2015-06-30 Gilad Einy Method and apparatus of remotely-operated automated external defribrallator incorporated into a handheld device
US20120299962A1 (en) 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
CN103890765A (en) * 2011-09-07 2014-06-25 皇家���利浦有限公司 Contactless remote control system and method for medical devices
CN108095761B (en) * 2012-03-07 2021-10-15 齐特奥股份有限公司 Spatial alignment device, spatial alignment system, and method for guiding medical procedures
KR20140019519A (en) * 2012-08-06 2014-02-17 주식회사 유코리아 Interface system for remote diagnosis auxiliary duvice using wpan
WO2014076236A1 (en) 2012-11-15 2014-05-22 Steen Svendstorp Iversen Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
EP2936445A2 (en) 2012-12-20 2015-10-28 Accenture Global Services Limited Context based augmented reality
US9395810B2 (en) 2013-05-28 2016-07-19 The Boeing Company Ubiquitous natural user system

Similar Documents

Publication Publication Date Title
JP2018531731A5 (en)
JP6636629B2 (en) Remote assistance workstation, method, and system with user interface for remotely assisting spatial placement tasks via augmented reality glasses
AU2018264095B2 (en) System and method for managing spatiotemporal uncertainty
CN111091732B (en) Cardiopulmonary resuscitation (CPR) instructor based on AR technology and guiding method
EP2568355A2 (en) Combined stereo camera and stereo display interaction
CN110866977B (en) Augmented reality processing method and device, system, storage medium and electronic equipment
JP2016512658A (en) System and method for role switching in a multiple reality environment
CN105005970A (en) Augmented reality implementation method and apparatus
CN104021590A (en) Virtual try-on system and virtual try-on method
CN106454311A (en) LED three-dimensional imaging system and method
US20240173018A1 (en) System and apparatus for remote interaction with an object
JP2017151648A (en) Information processing apparatus, information processing method, information processing system, and program
CN102184342B (en) Virtual-real fused hand function rehabilitation training system and method
CN111033573A (en) Information processing device, system, image processing method, computer program, and storage medium
CN205068298U (en) Interaction system is wandered to three -dimensional scene
US11589001B2 (en) Information processing apparatus, information processing method, and program
CN204406327U (en) Based on the limb rehabilitating analog simulation training system of said three-dimensional body sense video camera
JP2015210547A (en) Remote monitoring system
JP5731462B2 (en) Video communication system and video communication method
CN106127846A (en) Virtual reality terminal and vision virtual method thereof and device
US20160065896A1 (en) System for locating a position of local object from remote site
CN205193366U (en) Follow people eye position's stereoscopic display device
Saraiji et al. Development of Mutual Telexistence System using Virtual Projection of Operator's Egocentric Body Images.
CN105930651A (en) Kinect based remote skeleton rehabilitation diagnosis system
EP4425304A3 (en) Radar-assisted three-dimensional (3d) detection for near-eye display devices