KR101876419B1 - Apparatus for providing augmented reality based on projection mapping and method thereof - Google Patents
Apparatus for providing augmented reality based on projection mapping and method thereof Download PDFInfo
- Publication number
- KR101876419B1 KR101876419B1 KR1020160002214A KR20160002214A KR101876419B1 KR 101876419 B1 KR101876419 B1 KR 101876419B1 KR 1020160002214 A KR1020160002214 A KR 1020160002214A KR 20160002214 A KR20160002214 A KR 20160002214A KR 101876419 B1 KR101876419 B1 KR 101876419B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- augmented
- space
- user
- actual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/10—Projectors with built-in or built-on screen
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/18—Stereoscopic photography by simultaneous viewing
- G03B35/20—Stereoscopic photography by simultaneous viewing using two or more projectors
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
프로젝션 기반 증강현실 제공장치 및 그 방법이 개시된다. 일 실시 예에 따른 증강현실 제공장치는, 실제공간 정보와 사용자 정보를 획득하는 입력부와, 획득된 실제공간 정보와 사용자 정보를 이용하여 실제환경을 인식하고 인식된 실제환경과 가상환경을 매핑하여 공간의 변화나 사용자의 움직임에 대응하여 변화하는 증강 컨텐츠를 생성하며 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로세서를 포함한다.A projection-based augmented reality providing apparatus and a method thereof are disclosed. According to an embodiment, an augmented reality providing apparatus includes an input unit for acquiring actual spatial information and user information, a real space recognition unit for recognizing a real environment using the acquired real space information and user information, And a processor for projecting the generated augmented content through a projector and visualizing the augmented content.
Description
본 발명은 컨텐츠 제공기술에 관한 것으로, 보다 상세하게는 현실세계에 가상세계를 결합한 증강현실 컨텐츠 제공 기술에 관한 것이다.BACKGROUND OF THE
체험자의 몰입도를 높이기 위해 프로젝션(projection)을 통한 컨텐츠 제시는 다양하게 이루어져 왔다. 예를 들어, 대형 건물에 컨텐츠를 투사하여 표현하는 미디어 파사드(media facade)나 미디어 아트에서 전시공간을 표현하는 등의 사례를 찾아볼 수 있다. 이���한 사례들을 보면 고정된 환경에 사전 제작된 영상을 투사하는 형태가 대부분이다.In order to increase the immersion of the experimenters, contents presentation through projection has been done variously. For example, you can find media facades (media facades) that represent contents by projecting in a large building or expressing exhibition space in media art. Most of these cases are projected images in a fixed environment.
이러한 구성 형태에서 사용자는 자신에게 프로젝션되는 영상을 볼 수 없고 다른 사람들에게 보여주는 형태여서 실감 체험의 몰입도를 높인다고 보기는 어렵��. 또한, 몰입을 위한 디스플레이 활용 측면에서 보면, 일반적인 체험 장치들은 동작 인식 센서에서 입력된 정보를 통해 제시된 가상공간에서 사용자의 움직임을 그대로 반영하여 TV나 HMD(Head mounted display) 등에 컨텐츠를 가시화하는 형태이다. 이러한 장치들은 실제공간에서의 사용자 행동을 가상공간으로 매핑시켜 주기 때문에 몰입도를 향상시키나, TV와 같은 디스플레이에서는 평면적이고 좁은 가시화 영역 제약에 의해 충분한 실감 체험을 제시하기 어렵다. HMD의 경우에는 머리에 착용하여 몰입도를 극대화할 수 있으나, 착용에 따른 불편함과 외부가 보이지 않아 외부환경과의 자연스러운 상호작용을 수행하는데 어려움이 있다.In this type of configuration, the user can not view the projected image and show it to other people. Also, in terms of the display use for immersion, typical experience devices are a form in which contents are visually reflected on a TV or an HMD (head mounted display) by directly reflecting movement of a user in a virtual space presented through information input from a motion recognition sensor . These devices map user behavior in real space to virtual space, which improves immersion. However, it is difficult to present a sufficient realization experience due to a flat and narrow visual field constraint on a display such as a TV. In the case of the HMD, it is possible to maximize the immersion degree by worn on the head, but it is difficult to perform the natural interaction with the external environment because of inconvenience due to wearing and the outside.
일 실시 예에 따���, 사용자에게 새로운 형태의 실감나는 체험을 제공할 수 있는 프로젝션 기반 증강현실 제공장치 및 그 방법을 제안한다.According to one embodiment, a projection-based augmented reality providing apparatus and method are provided that can provide a new type of realistic experience to a user.
일 실시 예에 따른 증강현실 제공장치는, 실제공간 정보와 사용자 정보를 획득하는 입력부와, 획득된 실제공간 정보와 사용자 정보를 이용하여 실제환경을 인식하고 인식된 실제환경과 가상환경을 매핑하여 공간의 변화나 사용자의 움직임에 대응하여 변화하는 증강 컨텐츠를 생성하며 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로세서를 포함한다.According to an embodiment, an augmented reality providing apparatus includes an input unit for acquiring actual spatial information and user information, a real space recognition unit for recognizing a real environment using the acquired real space information and user information, And a processor for projecting the generated augmented content through a projector and visualizing the augmented content.
일 실시 예에 따른 입력부는 사용자의 스켈레톤 정보와 각 신체부위의 신체정보를 포함한 사용자 정보를 사전에 획득하고, 프로세서는 사용자의 신체에 증강 컨텐츠를 프로젝션할 때 사용자의 신체와 일치되게 투사되도록 사용자 정보를 이용한다.The input unit according to an embodiment acquires user information including skeleton information of the user and body information of each body part in advance, and when the user projects the augmented contents to the body of the user, .
일 실시 예에 따른 입력부는, 사용자 및 3차원 아이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군 정보를 획득하고 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하며, 증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군 정보를 획득하고 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록한다.The input unit according to an exemplary embodiment acquires point group information on the three-dimensional space with respect to the actual space from which the user and the three-dimensional item model are removed, and matches the three-dimensional background model with the simplified three- , Acquires the image and depth information map of each 3D item model used in the augmented contents and the point group information made by using it, and matches the information obtained by matching it with the simplified 3D background model through preliminary production Register.
일 실시 예에 따른 프로세서는, 실제공간 정보와 사용자 정보를 이용하여 객체를 인식하고 인식된 객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성하는 상호작용 처리부와, 상호작용 처리부를 통해 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로젝션 가시화부를 포함한다.A processor according to an exemplary embodiment recognizes an object using actual spatial information and user information, recognizes a real environment including a user's operation from a recognized object, calculates an interaction between the recognized real environment and a virtual environment, An interaction processing unit for generating the augmented contents by combining the virtual environment with the environment, and a projection visualization unit for projecting the augmented contents generated through the interaction processing unit through the projector and visualizing the augmented contents.
일 실시 예에 따른 상호작용 처리부는, 깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 ��습을 통해 실제공간을 분석하여 객체를 인식한다.The interaction processing unit according to an embodiment recognizes an object by analyzing a real space through image processing and machine learning based on actual spatial information including depth information and point group information.
일 실시 예에 따른 상호작용 처리부는, 학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색한다.The interaction processing unit according to an embodiment calculates the interaction between the actual space and the virtual space through the learning data, divides the space using a simplified three-dimensional background model previously prepared to improve the reaction speed, By performing dictionary matching for each part, an area in which an object is to be added is searched for in the space for representing the augmented contents.
일 실시 예에 따른 프로젝션 가시화부는, 실제공간과 가상공간 간의 매핑 파라미터를 구하고 매핑 파라미터를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 한다.The projection visualization unit according to an exemplary embodiment obtains mapping parameters between an actual space and a virtual space and combines mapping parameters so that real space and virtual space can be mapped equally.
일 실시 예에 따른 프로젝션 가시화부는, 입력부를 통해 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 입력부를 통해 획득된 데이터를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색된 객체 위치에, 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현한다.The projection visualization unit according to an exemplary embodiment of the present invention learns and registers a simplified three-dimensional background model previously produced through an input unit and then searches for an object position in a space for representing an augmented content using data acquired through an input unit, The augmented contents are represented by substituting a simplified virtual object mesh created in advance at the object location.
일 실시 예에 따른 프로젝션 가시화부는, 사용자의 신체에 프로젝션하는 경우, 입력부를 통해 사전에 획득한 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간에 그대로 렌더링한다.The projection visualization unit according to an embodiment renders a simplified virtual object mesh in a three-dimensional space as it is when the projection visualization unit projects the user's body by using user body information acquired through the input unit in advance.
일 실시 예에 따른 프로젝션 가시화부는, 다수의 프로젝터가 중첩되는 영역에 대한 처리를 위해, 영상에 대한 에지 블랜딩 및 마스킹을 수행한다.The projection visualization unit according to an exemplary embodiment performs edge blending and masking on an image for processing for a region in which a plurality of projectors overlap.
일 실시 예에 따른 프로세서는, 원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 하는 컨텐츠 공유 처리부를 더 포함한다.The processor according to an embodiment further includes a content sharing processing unit for sharing and synchronizing the augmented contents with other users existing at a remote place so that they can experience the augmented contents together.
일 실시 예에 따른 프로세서는, 증강 컨텐츠가 시나리오 로직에 따라 진행되도록 지원하고, 상기 프로젝션 가시화부에 증강 컨텐츠 가시화 데이터를 제공하는 컨텐츠 로직 처리부를 더 포함한다.The processor according to an embodiment further includes a content logic processing unit for supporting the augmented content to proceed according to the scenario logic and for providing the augmented content visualization data to the projection visualization unit.
다른 실시 예에 따른 증강현실 제공장치를 이용한 증강현실 제공방법은, 실제공간 정보와 사용자 정보를 획득하는 단계와, 획득된 실제공간 정보와 사용자 정보를 이용하여 객체를 인식하고 인식된 객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성하는 단계와, 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of providing an augmented reality using an augmented reality providing apparatus, comprising: obtaining actual spatial information and user information; recognizing an object using the acquired actual spatial information and user information; A step of generating an augmented content by recognizing an actual environment including an operation and calculating an interaction between the recognized real environment and a virtual environment and combining the virtual environment with the actual environment, a step of projecting the augmented content through a projector, .
일 실시 예에 따른 실제공간 정보와 사용자 정보를 획득하는 단계는, 사용자 및 3차원 아이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군 정보를 획득하여 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 단계와, 증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군 정보를 획득하여 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 단계를 포함한다.The step of acquiring the actual spatial information and the user information according to the embodiment acquires the point group information on the three-dimensional space with respect to the actual space from which both the user and the three-dimensional item model are removed, A step of registering information matched with the 3D background model, an image and depth information map for each 3D item model used in the augmented contents, and a point group information made using the 3D and 3D information, And registering the matched information by matching with the three-dimensional background model.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 학습을 통해 실제공간을 분석하여 객체를 인식한다.In the step of generating the augmented contents according to an exemplary embodiment, an object is recognized by analyzing a real space through image processing and machine learning based on actual spatial information including depth information and point group information.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색한다.In the step of generating the augmented contents according to an exemplary embodiment, the interaction between the actual space and the virtual space is calculated through the learning data, and a space is created by using a simplified simplified three-dimensional background model And performs a dictionary matching for each part to search for an area where an object is to be added to a space for representing the augmented contents.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 실제공간과 가상공간 간의 매핑 파라미터를 구하고 이를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 한다.In the step of generating the augmented contents according to an embodiment, the mapping parameters between the actual space and the virtual space are obtained and combined so that the actual space and the virtual space can be mapped equally.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 실제공간 정보와 사용자 정보를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색된 객체 위치에, 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현한다.In the step of generating the augmented contents according to an embodiment, after learning a preliminarily-simplified three-dimensional background model and registering it, the position of the object on the space for representing the augmented contents is retrieved using the actual space information and the user information, The augmented contents are represented by replacing the searched objects with a simplified virtual object mesh produced in advance.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 사용자의 신체에 프로젝션하는 경우, 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간에 그대로 렌더링한다.In the case of projecting the user's body in the step of generating the augmented contents according to an exemplary embodiment, the simplified virtual object mesh is produced in advance using the user's body information and rendered as it is in the three-dimensional space.
일 실시 예에 따른 증강현실 제공방법은, 원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 하는 단계를 더 포함한다.The method of providing an augmented reality according to an exemplary embodiment of the present invention further includes the step of sharing and synchronizing the augmented contents with other users at a remote site so that they can experience the augmented contents together.
일 실시 예에 따르면, 실제공간에서 프로젝션 매핑 기법을 통해 표현된 가상환경과 실제환경 사이에 상호작용이 수행되도록 제공하여 실감나는 증강 컨텐츠를 제공할 수 있다. 이를 기반으로 사용자의 신체나 사전에 정의된 다양한 객체 표면에 대한 프로젝션을 통하여 증강 컨텐츠의 표현 범위를 확대할 수 있다. 또한, 원격지에 존재하는 사용자들과 공간 내에 실물 객체를 추가하고 인식시켜 증강 컨텐츠를 활용하는 신개념 놀이 공간의 창조가 가능하다.According to an embodiment, it is possible to provide realistic enhancement contents by providing an interaction between a virtual environment and a real environment expressed through a projection mapping technique in a real space. Based on this, the expression range of the augmented contents can be enlarged by projecting the surface of various objects defined by the user's body or the dictionary. In addition, it is possible to create a new concept play space in which augmented contents are utilized by adding and recognizing physical objects in a space with users existing in a remote place.
나아가, 몰입 기반의 증강 컨텐츠 제시를 위해 HMD(Head Mounted Display)와 같은 디스플레이를 착용해야 하는 불편이 없고 TV와 같은 제한적인 디스플레이 가시화 영역에 따른 체험 공간 제약을 뛰어 넘어 보다 넓은 공간에서 다수의 인원이 함께 증강 컨텐츠와 실감 상호작용을 통한 체험을 실시하는데 효과적이다.Furthermore, there is no inconvenience to wear a display such as an HMD (Head Mounted Display) in order to present immersion-based augmented contents, and a large number of personnel Together, they are effective in providing experiences through enhanced content and realistic interaction.
도 1은 본 발명의 일 실시 예에 따른 프로젝션 기반 증강현실 제공 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 도 1의 증강현실 제공장치의 구성도,
도 3은 본 발명의 일 실시 예에 따른 프로젝션 기반 실감 체험 환경을 도시한 참조도,
도 4는 본 발명의 일 실시 예에 따른 사용자 신체에 대한 프로젝션 예를 도시한 참조도,
도 5는 본 발명의 일 실시 예에 따른 사용자의 동작과 프로젝션된 가상객체와의 상호작용 예를 도시한 참조도,
도 6은 본 발명의 일 실시 예에 따른 프로젝션 기반 증강현실 제공방법을 도시한 흐름도,
도 7은 본 발명의 일 실시 예에 따른 사용자 정보 획득 예를 도시한 참조도,
도 8은 본 발명의 일 실시 예에 따른 프로젝터 반사경의 외관도이다.1 is a configuration diagram of a projection-based augmented reality providing system according to an embodiment of the present invention;
FIG. 2 is a configuration diagram of the augmented reality providing apparatus of FIG. 1 according to an embodiment of the present invention;
FIG. 3 is a reference view showing a projection-based real-life experience environment according to an embodiment of the present invention;
4 is a cross-sectional view of an exemplary projection of a user's body in accordance with an embodiment of the present invention.
5 is a reference diagram showing an example of interaction between a user's operation and a projected virtual object according to an embodiment of the present invention;
FIG. 6 is a flowchart illustrating a method of providing a projection-based augmented reality according to an exemplary embodiment of the present invention;
FIG. 7 is a reference diagram showing an example of acquiring user information according to an embodiment of the present invention;
8 is an external view of a projector reflector according to an embodiment of the present invention.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 ��려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention of the user, the operator, or the custom. Therefore, the definition should be based on the contents throughout this specification.
도 1은 본 발명의 일 실시 예에 따른 프로젝션 기반 증강현실 제공 시스템의 구성도이다.1 is a configuration diagram of a projection-based augmented reality providing system according to an embodiment of the present invention.
도 1을 참조하면, 증강현실 제공 시스템은 증강현실 제공장치(1), 입력장치(2) 및 디스플레이 장치(3)를 포함한다. 도 1에서는 입력장치(2)와 디스플레이 장치(3)가 증강현실 제공장치(1)와 물리적으로 분리되는 것으로 도시하였으나, 실시 예에 따라 입력장치(2)가 증강현실 제공장치(1)에 포함될 수 있고, 디스플레이 장치(3)가 증강현실 제공장치(1)에 포함될 수도 있다.1, the augmented reality providing system includes an augmented
증강현실 제공장치(1)는 입력장치(2)로부터 실제공간 정보와 사용자 정보를 획득하고, 획득된 실제공간 정보와 사용자 정보를 이용하여 실제환경과 가상환경을 맵핑하여 동적으로 변화하는 증강 컨텐츠를 생성한다. 그리고 생성된 증강 컨텐츠를 프로젝터(projector)(30)를 포함하는 디스플레이 장치(3)를 통해 프로젝션(projection)하여 가시화한다. 여기서, 실제환경은 실제공간에 존재하는 사용자 또는 실제객체일 수 있고, 가상환경은 가상공간 또는 가상객체일 수 있다.The augmented
입력장치(2)는 증강현실 제공장치(1)에 실제공간 정보와 사용자 정보를 제공한다. 입력장치(2)는 실제공간에서 이동하는 사용자에 대한 영상정보를 획득하여 제공할 수 있다. 이 경우, 입력장치(2)는 일반 이미지 획득용 카메라, 컬러(color) 정보와 깊이(depth) 정보를 획득하는 RGB 카메라 등일 수 있다. 입력장치(2)는 광을 이용하여 사용자의 움직임 정보를 획득하여 제공할 수 있다. 이 경우, 입력장치(2)는 라이더(light Detection and Ranging: LIDAR) 등일 수 있다. 라이더는 레이저 레이더로서, 전자파로서 레이저 광을 이용하는 레이더이다. 사용자 정보는 사용자의 신체정보를 포함할 수 있는데, 예를 들어 사용자의 관절 위치 및 그 길이정보이다. The
사용자 정보를 획득하기 위해 입력장치(2)를 구성하여, 사용자의 사용자의 스켈레톤 정보와 각 신체정보를 획득하고, 획득된 정보를 이용하여 사용자의 신체에 증강 컨텐츠를 프로젝션할 때 신체에 꼭 맞도록 정확하게 투사가 가능하도록 할 수 있다. 이에 대한 실시 예는 도 7을 참조로 하여 후술한다.The
디스플레이 장치(3)는 적어도 하나의 프로젝터(30)를 포함한다. 증강현실 제공장치(1)는 프로젝터(30)를 통해 증강 컨텐츠를 프로젝션한다. 최근 LED에 기반하여 밝고 유지비가 적게 들며 수명이 긴 광원 사용이 가능해지면서, 미니 프로젝터나 저가의 프로젝터가 많이 보급되고 있어 상당히 저가에도 프로젝션 환경을 구축할 수 있어서 그 활용도가 점차 높아지고 있다.The
프로젝터를 적게 사용하면서 보다 넓은 투사영역을 확보하기 위해 거울 반사를 통하여 투사 거리를 증가시키거나 3D 프린터를 이용하여 투사면에 적합한 반사면을 만들고 거울 반사 코팅을 실시하여 보다 적은 수의 프로젝터를 이용하여 보다 넓은 공간에 투사가 가능하도록 할 수 있다.In order to secure a larger projection area while using less projector, increase the projection distance through mirror reflection, or use a 3D printer to make a reflective surface suitable for the projection surface, and use a mirror reflection coating to use a smaller number of projectors It is possible to make projection in a wider space possible.
일 실시 예에 따른 증강현실 제공장치(1)는 사용자에게 실감 체험을 주기 위해, 프로젝터(30)를 활용하여 실제공간과 실제객체 및 사용자 등에 가상객체를 동적으로 가시화하며, 프로젝션 매핑 기법을 통해 표현된 가상환경과 실제환경 간에 상호작용이 수행되도록 하여 실감나는 증강 컨텐츠를 제공��다. 또한, ���를 확장하여 원격지에 있는 사용자들이 마치 한 공간에 모여있는 것처럼 함께 재생이 가능하다.The augmented
도 2는 본 발명의 일 실시 예에 따른 도 1의 증강현실 제공장치의 구성도이다.2 is a configuration diagram of the augmented reality providing apparatus of Fig. 1 according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 일 실시 예에 따른 증강현실 제공장치(1)는 입력부(10), 프로세서(12), 메모리(14) 및 통신부(16)를 포함한다.1 and 2, an augmented
입력부(10)는 사용자의 체험 환경에서 프로젝션을 위해 실제공간 정보와 사용자 정보를 입력장치(2)로부터 획득한다. 프로세서(12)는 입력부(10)를 통해 획득된 실제공간 정보와 사용자 정보를 기반으로 실제환경과 가상환경을 매핑하여 증강 컨텐츠를 생성하고 이를 프로젝터(30)를 통해 프로젝션하여 가시화한다. 통신부(16)는 원격지에 존재하는 다른 사용자들의 증강현실 제공장치와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 증강 컨텐츠 및 동기화를 위한 정보를 송수신한다. 메모리(14)에는 증강현실 제공장치(1)의 동작 수행을 위한 정보와 동작 수행에 따라 생성되는 정보가 저장된다. 메모리(14)에는 실제환경과 가상환경 간의 매핑정보가 저장되며, 사전에 제작되어, 실제객체와 대응되는 가상객체의 모델 데이터가 저장될 수 있다. 가상객체 모델 데이터는 실제공간 정보와 사용자 정보를 기반으로 인식된 실제공간의 특징과 기저장된 가상객체의 모델 데이터와의 비교를 통해 변화될 수 있다.The
일 실시 예에 따른 프로세서(12)는 프로젝션 가시화부(120), 상호작용 처리부(122), 컨텐츠 공유 처리부(124) 및 컨텐츠 로직 처리부(126)를 포함한다.The
상호작용 처리부(122)는 실제공간 정보와 사용자 정보를 이용하여 실제객체를 인식하고 인식된 실제객체로부터 사용자의 동작을 포함한 실제환경을 인식한다. 그리고 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성한다. 프로젝션 가시화부(120)는 상호작용 처리부(122)를 통해 생성된 증강 컨텐츠를 프로젝터(30)를 통해 프로젝션하여 가시화한다. 컨텐츠 공유 처리부(124)는 원격지에 존재하는 다른 사용자들과 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 한다. 컨텐츠 로직 처리부(126)는 프로젝션 가시화부(120)가 시나리오에 따라 증강 컨텐츠를 가시화하도록 증강 컨텐츠 가시화 데이터를 제공한다.The
이하, 각 구성요소에 대해 상세히 후술한다.Hereinafter, each component will be described in detail below.
입력부(10)는 입력장치(2)로부터 증강 컨텐츠가 표현될 실제 3차원 공간에 대한 점 군(Point Cloud) 정보, 사용자 스켈레톤(Skeleton) 정보, 재생 중인 영상 정보를 획득한다. 또한, 체험 공간 내에 존재하는 다양한 실제객체들에 대해 인식 및 추적을 위한 정보들을 획득한다.The
사용자 정보 획득을 용이하게 하기 위해. 별도로 구성된 입력장치(2)를 활용하여 사전에 사용자의 스켈레톤 정보와 사용자의 신체정보를 획득할 수 있다. 이 경우, 프로세서(12)가 획득한 정보를 이용하여 사용자의 신체에 꼭 맞도록 정확하게 투사가 가능하도록 증강 컨텐츠를 프로젝션할 수 있다. 나아가, 사용자 정보를 저장하여 차후에 재사용이 가능하다.To facilitate obtaining user information. The user's skeleton information and the user's body information can be acquired in advance by utilizing the
일 실시 예에 따른 입력부(10)는 증강 컨텐츠가 구동될 초기환경을 구축하기 위해, 사전에 2단계를 거쳐 정보를 획득한다. 1단계로서, 사용자 및 3차원 ���이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군(Point Cloud) 정보를 획득하고, 이를 사전에 모델링을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록한다. 2단계로서, 증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군(Point Cloud) 정보를 획득하고, 이를 사전에 제작한 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록한다. 증강 컨텐츠가 구동되는 간략화된 3차원 배경 모델 정보는 획득 및 복원된 공간 정보를 간략화하여 구성할 수도 있으나, 보다 효율적인 처리를 위해 사전에 모델링되어 이를 이용한다. 이와 더불어 사용자들의 신체정보를 사전에 획득하여 각 관절의 길이와 얼굴 사진 등을 증강 컨텐츠에서 활용할 수 있도록 준비한다.The
프로젝션 가시화부(120)는 실제공간에 가상공간을 결합하여 생성된 증강 컨텐츠를 하나 이상의 프로젝터(30)와 다양한 디스플레이들을 통해 가시화한다. 이를 위해, 입력장치(2)와 프로젝터(30)를 연계한 켈리브레이션(calibration) 단계를 거쳐, 증강 컨텐츠를 프로젝션하기 위한 실제공간과 가상의 3차원 좌표공간 간의 연관 관계를 계산하기 위해 매핑 파라미터를 구한다. 예를 들어, 캘리브레이션 단계에서 입력장치(2)와 프로젝터(30)의 내부 파라미터(intrinsic parameter)와 외부 파라미터(extrinsic parameter)를 구한 후 이를 조합하여 가상공간과 실제공간이 동일하게 매핑될 수 있도록 한다. 또한, 여러 개의 프로젝터가 중첩되는 영역에 대한 처리를 위해, 영상에 대한 에지 블랜딩(edge blending)과 마스킹(masking) 등을 통하여 체험을 위한 공간을 확장할 수 있다. 전술한 과정들은 컴퓨터 비전(computer vision)에서 활용되는 다양한 패턴 기반의 연관점 분석에 기반하여 수행될 수 있다.The
보다 넓은 투사영역을 확보하기 위해 거울 반사를 통하여 투사 거리를 증가시켜 투사면을 확대시키거나, 3D 프린터를 이용하여 투사면에 적합한 굴곡을 가진 반사면을 만들고 여기에 거울 반사 코팅을 실시하여 보다 적은 수의 프로젝터를 이용하여 보다 넓은 공간에 투사가 가능하도록 할 수 있다. 이에 대한 실시 예는 도 8을 참조로 하여 후술한다.In order to secure a wider projection area, it is necessary to enlarge the projection surface by increasing the projection distance through mirror reflection, or to make a reflection surface with a bend suitable for the projection surface by using a 3D printer, It is possible to project a wider space by using a number of projectors. An embodiment of this will be described below with reference to Fig.
상호작용 처리부(122)가 입력부(10)를 통해 획득한 정보를 이용하여 실제공간과 가상공간 간의 상호작용을 계산하여 증강 컨텐츠에 반영하면, 프로젝션 가시화부(120)가 증강 컨텐츠를 프로젝터(30)를 통해 실제공간과 매핑되는 가상공간에 표현한다. 실제공간은 예를 들어, 벽면, 바닥면, 3차원 아이템 객체의 표면, 사용자의 신체 일부일 수 있다. 3차원 아이템 객체의 경우, 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 입력부(10)를 통해 획득된 데이터를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색한 객체 위치에 사전에 제작하여 간략화된 가상객체 매쉬로 대체하는 형태로 증강 컨텐츠를 표현한다. 공간에서의 위치정보는 각 입력장치(2)에 따라 그 상대 좌표계가 상이하므로, 등록된 3차원 배경 모델을 중심으로 모든 입력장치(2)에 대한 정보를 상대적으로 맞추어 계산하여 처리한다. 전술한 바와 같이, 입력부(10)를 통해 획득된 정보를 기반으로 컨텐츠 로직 처리부(126)의 증강 컨텐츠 시나리오 진행에 맞추어 상호작용 처리부(122)가 상호작용을 계산하여 프로젝션 가시화부(120)를 통해 가시화되는 증강 컨텐츠의 예가 도 4에 도시된 바와 같다.When the
상호작용 처리부(122)는 입력부(10)에서 획득된 실제공간 정보, 사용자 정보, 프로젝션되는 공간 내에 존재하는 실제객체들의 3차원 정보를 기반으로 공간의 변화를 분석하고 사용자 동작을 인식하며, 실제공간과 가상공간 간의 상호작용을 처리한다.The
가장 간단한 형태로는 실제객체에 컬러 또는 적외선 패턴 기반의 마커(marker)를 부착하여 실제객체를 검색하는 방법이 있지만, 실제객체에 프로젝션되는 영상의 품질이 떨어지는 문제가 발생할 수 있기 때문에 실제객체의 3차원 정보를 기반으로 공간의 변화를 분석한다.In the simplest form, there is a method of searching an actual object by attaching a marker based on a color or an infrared ray pattern to an actual object. However, since the quality of an image projected on a real object may be degraded, Analyze spatial changes based on dimensional information.
증강 컨텐츠 시나리오의 활용에 필요한 공간 분석 및 객체를 인식하고 활용하기 위해, 입력장치 중 하나인 깊이 센서로부터 획득된 깊이 정보를 기반으로 한 영상 처리와 기계 학습을 이용하거나, 점 군(Point Cloud) 정보를 기반으로 ICP(Iterative Closest Point) 등을 이용할 수 있다.In order to recognize and utilize the space analysis and objects necessary for the use of the augmented content scenario, it is possible to use image processing and machine learning based on the depth information obtained from the depth sensor, which is one of the input devices, An ICP (Iterative Closest Point) or the like may be used.
증강 컨텐츠가 구동되는 프로젝션 환경은 어두운 공간에서 주로 운용되므로, 깊이 센서 기반의 깊이 정보를 주로 활용하고, 컬러 정보를 부가적으로 활용하여 실제 영상을 분석한다. 인식이 필요한 객체의 학습 데이터를 획득하기 위해, 3차원 배경 모델을 배경에 위치시켜 학습 데이터를 획득한다. 학습 데이터를 효과적으로 획득하기 위해서, 실제 객체의 특정 위치나 면을 컬러로 마킹하거나 테잎을 붙여 획득하는 방식으로 깊이 정보 맵과 컬러 정보 맵을 연계하여 학습을 위한 정답 셋으로 활용할 수 있다. 획득된 깊이 정보 맵에서 특징 정보들을 추출하고 이를 코딩하여 증강 컨텐츠에 활용되는 객체들을 구분하고 공간 내에서의 객체의 위치를 검색한다. 이를 위한 기계 학습은 SVM(Support Vector Machines)이나 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다.Since the projection environment in which the augmented contents are driven mainly operates in the dark space, the depth information based on the depth sensor is mainly used, and the actual image is analyzed using the color information additionally. In order to acquire the learning data of the object requiring recognition, the learning data is acquired by positioning the three-dimensional background model in the background. In order to acquire the learning data efficiently, it is possible to use the depth information map and the color information map as a correct answer set for learning by marking or labeling a specific position or a face of an actual object in a color manner. Extracts feature information from the acquired depth information map, codes the extracted feature information, identifies the objects used in the augmented content, and searches for the position of the object in the space. Machine learning for this purpose can use SVM (Support Vector Machines) or Deep Learning (Deep Learning) technique.
학습 데이터를 통해 실시간 상호작용을 계산하는 단계에서, 상호작용 처리부(122)는 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 적당한 개수의 그리드(grid)로 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간 상에 객체가 추가될만한 영역을 검색하여 보다 정밀한 분석을 한다. 또한, 사용자의 신체를 제외한 공간 내에 존재하는 객체���의 경우에는 배경 정보로 반영하여 실시간성을 확보한다.In the step of calculating the real-time interaction through the learning data, the
프로젝션 가시화부(120)에서 프로젝션 공간과 실제공간 사이의 상호 연관성을 구했기 때문에, 상호작용 처리부(122)가 인식된 객체 정보를 기반으로 실제공간에서의 사용자의 동작을 분석하여 증강 컨텐츠에 반영하는 상호작용이 가능하다. 실제공간 정보는 입력부(10)에서 획득한 깊이 맵과 이를 이용한 점 군(Point Cloud) 정보이며, 이를 간략화하여 동일한 공간 정보를 가지는 3차원 매쉬와 일치시켜 사용한다. 상호작용은 사전에 간략화된 형태로 등록된 3차원 매쉬를 이용하게 되고, 다양한 증강 컨텐츠 시나리오에 따라 다른 기하학적 처리 방식이 필요하다. 획득된 사용자들의 각 관절에 대한 위치와 각도를 기준으로 지향점을 구할 수 있으며, 간략화된 3차원 매쉬와 직선과의 충돌 처리를 통하여 사용자가 어느 위치의 가상객체와 상호작용을 하였는지 ��� 수 있다. 이렇게 실제 투영되는 공간과 동일한 가상의 매쉬들을 존재시키는 방식으로, 공간과 상호작용을 하는 증강 컨텐츠 시나리오의 구현이 가능하다. 이에 대한 예는 도 5에 도시된 바와 같다.Since the correlation between the projection space and the actual space is obtained in the
모든 상호작용은 객체가 투영되는 가상공간과 실제공간 사이의 상호 매핑 관계를 기반으로 수행되며, 3차원 모델 공간에서의 다양한 연산을 통해 상호작용을 수행한다. 변경된 증강 컨텐츠의 내용에 따라 실제와 동일한 가상의 매쉬들을 존재시키는 방식으로 공간과 상호작용을 하는 증강 컨텐츠 시나리오의 구현이 가능하다. 또한, 공간 내에 실물 객체를 추가하고 인식시켜 증강 컨텐츠에 활용이 가능하기 때문에, 순서대로 실제 주사위나 윷을 던져 가상의 게임판에 입력으로 넣는다든지, 구조물을 세워 원격지의 상대 공격을 막거나 구조물을 변경하여 환경을 변경하는 등과 같이 다양한 상호작용 증강 컨텐츠를 창조하는 것이 가능하다.All interactions are performed based on the mutual mapping relationship between the virtual space and the actual space in which the object is projected, and the interaction is performed through various operations in the three-dimensional model space. It is possible to implement an augmented content scenario in which a virtual mesh exists in the same manner as the actual content according to the content of the augmented content, thereby interacting with the space. In addition, since it is possible to add and recognize physical objects in the space, it is possible to utilize them in the augmented contents. Therefore, it is possible to throw the actual dice or chips in order and input them into the virtual game board, or to construct the structure, To change the environment and to create various interactive augmented contents.
특히, 사용자의 신체에 프로젝션하는 경우, 실시간으로 사용자의 관절 정보를 획득하는 것보다, 입력부(10)를 통해 사전에 획득한 사용자 신체정보, 예를 들어 관절의 길이 등을 이용하여 사전에 간략화된 형태로 공간에 렌더링하면 보다 정확성을 향상시킬 수 있다.In particular, in the case of projecting on the user's body, rather than acquiring the user's joint information in real time, the user's body information acquired through the
컨텐츠 공유 처리부(124)는 네트워크를 통하여 원격에 존재하는 다른 사용자들과 체험을 공유할 수 있도록 지원한다. 실제공간 내에 존재하는 정보인 사용자 정보와 실제객체의 위치/종류, 증강 컨텐츠 내에 존재하는 가상 정보인 가상객체 정보, 증강 컨텐츠 진행을 위한 동기화 정보 등을 네트워크를 통하여 공유한다. 증강 컨텐츠가 진행되는 간략화된 3차원 배경 모델을 기준으로 원격지 간의 가상공간 좌표계를 연계하여 가상의 증강 컨텐츠 공간을 확장할 수 있도록 한다. 이렇게 공유되고 확장된 가상공간들은 디스플레이상에 마치 유리를 통하여 원격에 존재하는 사용자들을 보는 것과 같이 증강 컨텐츠 배경에 원격지에서 획득된 정보를 오버레이하여 제시하여 공유가 가능하다.The content
컨텐츠 로직 처리부(126)는 상호작용 처리부(122)와 컨텐츠 공유 처리부(124)를 연계하여 증강 컨텐츠가 시나리오 로직에 따라 진행되도록 지원한다. 또한, 증강 컨텐츠를 가시화하는 프로젝션 가시화부(120)에 맞도록 3차원 장면을 생성하기 위한 랜더링 엔진에 증강 컨텐츠 가시화 데이터를 제공하며, 증강 컨텐츠의 지속적인 운용을 위한 관리를 수행한다. 증강 컨텐츠 가시화 데이터는 사전 제작된 모델 데이터를 이용하여 생성될 수 있다.The content
도 3은 본 발명의 일 실시 예에 따른 프로젝션 기반 실감 체험 환경을 도시한 참조도이다.FIG. 3 is a reference view showing a projection-based real experience environment according to an embodiment of the present invention.
도 3을 참조하면, 프로젝션 기반 실감 체험 환경은 다양한 형태로 구조가 변형될 수 있으나, 그 이해를 돕기 위해 도 3에 도시된 바와 같이 후방 벽면(300)과 테이블(310)이 결합한 형태의 체험 환경을 예시로 제공한다. 입력장치들은 체험 공간의 구조를 고려하여 사용자에 의한 음영이 적고 최대한 넓은 영역의 정보를 획득하고 표현할 수 있��� 위치에 설치된다. 예를 들어, 도 3에 도시된 바와 같이 키넥트(320)가 상단에 위치하며, 이 경우 증강현실 제공장치는 상단에 위치하는 입력장치로부터 실제공간 정보와 사용자 정보를 획득한다. 프로젝터의 설치 예로는, 도 3에 도시된 바와 같이, 좌우에 각각 테이블 탑용 프로젝터(Table_top_L projector, Table_top_R projector)(330,360)가 설치되고, 좌우에 각각 배경용 프로젝터(BG_L projector, BG_R projector)(340,350)가 설치될 수 있다.3, the projection-based real-life experience environment may be modified in various forms, but in order to facilitate understanding, the experience-based experience environment in which the
도 4는 본 발명의 일 실시 예에 따른 사용자 신체에 대한 프로젝션 예를 도시한 참조도이다.4 is a reference view showing an example of a projection for a user's body according to an embodiment of the present invention.
도 4를 참조하면, 사용자 신체에 프로젝션하는 경우, 실시간으로 사용자의 관절 정보를 획득하는 것이 아니라, 사전에 획득한 사용자 신체정보, 예를 들어 관절의 길이 등을 이용하여 간략화된 형태로 랜더링을 실시하면 보다 정확성을 향상시킬 수 있다.Referring to FIG. 4, in case of projecting to a user's body, instead of acquiring the joint information of the user in real time, rendering is performed in a simplified form using previously acquired user's body information, for example, the length of joints The accuracy can be improved.
도 5는 본 발명의 일 실시 예에 따른 사용자의 동작과 프로젝션된 가상객체와의 상호작용 예를 도시한 참조도이다.5 is a reference view showing an example of interaction between a user's operation and a projected virtual object according to an embodiment of the present invention.
도 5를 참조하면, 사용자의 동작 A는 팔 굽혔다가 펴서 전기광선을 쏘는 동작으로, 한 손이나 양 손으로 동시로 펴서 쏠 수 있으며 손은 교체 가능하다. 동작 A의 경우, 사전에 획득된 사용자 팔의 관절에 대한 위치와 각도 정보를 기준으로 직선을 구할 수 있고, 공간의 3차원 매쉬와 직선과의 충돌 처리를 통하여 사용자가 어느 위치의 가상객체와 상호작용하였는지 알 수 있다.Referring to FIG. 5, the operation A of the user is an operation in which an arm is bent and spreads and shoots an electric ray, which can be simultaneously opened and closed with one hand or both hands, and the hand is replaceable. In the case of operation A, a straight line can be obtained based on the position and angle information of the joint of the user arm obtained in advance, and the collision processing between the three-dimensional mesh and the straight line of the space enables the user to mutually Can be known.
사용자의 동작 B는 한 손으로 테이블을 치거나, 양 손으로 테이블을 치는 동작이다. 사용 예로는, 양 손으로 동시에 내리칠 경우 강력한 전기장이 발생하도록 하여, 손 주위의 로봇 거위를 일괄 사냥할 수 있다. 동작 B의 경우, 사용자의 팔 관절의 속도를 검출하여 검출된 속도를 기준으로 사용자가 어떻게 가상객체와 상호작용하였는지 알 수 있다.The user's action B is to hit the table with one hand or hit the table with both hands. As an example of use, it is possible to generate a strong electric field when the robot is lowered simultaneously with both hands, so that the robot geese around the hands can be collectively hunted. In the case of motion B, the velocity of the user's arm joint is detected and the user can see how the user interacted with the virtual object based on the detected velocity.
사용자의 동작 C는 반원 구 잡기 동작으로, 전기력을 충전하는 형식의 개념을 도입하여 테이블 상단의 원형구에 일정시간 터치 시 손목 위로 빛이 프로젝션된다. 동작 C의 경우, 테이블의 특정 위치에 사용자의 손이 올려져 있음을 검출하고 손의 깊이 값을 가지고 사용자가 어떻게 가상객체와 상호작용하였는지 알 수 있다.The user's action C is a semi-circular gripping operation, introducing the concept of charging the electric force, and the light is projected onto the wrist when touching the circular sphere at the top of the table for a certain time. In the case of operation C, it is detected that the user's hand is raised at a specific position in the table, and the user can know how the user interacted with the virtual object with the depth value of the hand.
전술한 바와 같이 다양한 형태로 프로젝션 되는 공간의 특정 부분을 대상으로 사용자가 터치하거나 치거나 두드리거나 만지는 등의 다양한 상호작용이 가능하다. 이 경우, 증강 컨텐츠가 실제공간과 가상공간에 연계되어 가시화됨에 따라 다양한 효과를 가지는 상호작용을 지원하는 시나리오가 가능하다.As described above, various interactions such as touching, striking, tapping, or touching a specific portion of a space projected in various forms are possible. In this case, as the augmented contents are visualized in association with the actual space and the virtual space, a scenario supporting various effects is possible.
도 6은 본 발명의 일 실시 예에 따른 프로젝션 기반 증강현실 제공방법을 도시한 흐름도이다.6 is a flowchart illustrating a method of providing a projection-based augmented reality according to an embodiment of the present invention.
도 6을 참조하면, 증강현실 제공장치는 실제공간 정보와 사용자 정보 및 객체 정보를 획득한다(600). 이어서, 실제공간 정보와 사용자 정보를 이용하여 실제객체를 인식하고 인식된 실제객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성한다(610). 이어서, 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화한다(620). 상호작용 처리 및 증강 컨텐츠 생성 단계(610) 및 프로젝션 가시화 단계(620)는 컨텐츠 시나리오(630)에 따라 이루어진다.Referring to FIG. 6, the augmented reality providing apparatus acquires actual spatial information, user information, and object information (600). Then, it recognizes the actual object using actual spatial information and user information, recognizes the actual environment including the user's action from the recognized real object, calculates the interaction between the recognized real environment and the virtual environment, (610). ≪ / RTI > Then, the generated augmented contents are projected through a projector and visualized (620). The interaction processing and augmented
상호작용 처리 및 증강 컨텐츠 생성 단계(610)에서, 증강현실 제공장치는 깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 학습을 통해 실제공간을 분석하여 객체를 인식할 수 있다. 증강현실 제공장치는 학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색할 수 있다.In the interaction processing and the augmented
증강현실 제공장치는 실제공간과 가상공간 간의 매핑 파라미터를 검색해서 이를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 한다. 증강현실 제공장치는 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 실제공간 정보와 사용자 정보를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색한 객체 위치에 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현할 수 있다. 사용자의 신체에 프로젝션하는 경우, 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간에 그대로 렌더링할 수 있다.The augmented reality providing apparatus searches for mapping parameters between the actual space and the virtual space, and combines them to make the actual space and the virtual space mapped equally. The augmented reality providing apparatus learns and registers a simplified three-dimensional background model produced in advance, and then searches for an object position in the space for representing the augmented contents by using actual spatial information and user information, and prepares And can be replaced with a simplified virtual object mesh to express the augmented contents. When projecting on the user's body, the simplified virtual object mesh can be rendered in a three-dimensional space as it is produced by using the user's body information in advance.
나아가, 증강현실 제공장치는 원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 할 수 있다.Further, the augmented reality providing apparatus can share the augmented contents with other users existing in the remote place, and can synchronize and experience the augmented contents together.
도 7은 본 발명의 일 실시 예에 따른 사용자 정보 획득 예를 도시한 참조도이다.7 is a reference view showing an example of acquiring user information according to an embodiment of the present invention.
도 7을 참조하면, 별도의 입력장치를 구성하고, 사용자의 신체에 프로젝션을 실시할 때 신체에 꼭 맞게 정확하게 증강 콘텐트를 투사하도록 사용자 정보를 획득한다. 예를 들어, 센서를 통한 영상정보를 기반으로 사용자의 스켈레톤 정보와 사용자의 각 신체부위의 형태를 알 수 있는 신체정보를 획득한다. 사전에 사용자의 신체정보와 같은 사용자 정보를 획득하면 이를 증강 컨텐츠에서 이용할 수 있고, 사용자 정보를 저장하여 차후에 재사용도 가능하다.Referring to FIG. 7, a separate input device is constructed, and user information is acquired to accurately project the augmented content to the body when projecting the user's body. For example, based on the image information through the sensor, the user acquires the skeletal information of the user and the body information that can identify the shape of each body part of the user. If the user information such as the user's body information is acquired in advance, the user information can be used in the augmented contents, and the user information can be stored and reused in the future.
도 8은 본 발명의 일 실시 예에 따른 프로젝터 반사경의 외관도이다.8 is an external view of a projector reflector according to an embodiment of the present invention.
도 8을 참조하면, 프로젝터 반사경은 프로젝터 전용 반사거울과 프로젝터를 거치할 수 있는 거치대를 포함한다. 프로젝터 반사경은 빔 프로젝터에서 나오는 빛을 반사거울을 통해 원하는 위치로 프로젝션할 수 있게 한다. 보다 넓은 투사영역을 확보하기 위해 거울 반사를 통하여 투사 거리를 증가시켜 투사면을 확대시키거나, 3D 프린터를 이용하여 투사면에 적합한 굴곡을 가진 반사면을 만들고 여기에 거울 반사 코팅을 실시하여 보다 적은 수의 프로젝터를 이용하여 보다 넓은 공간에 투사가 가능하도록 할 수 있다. Referring to Fig. 8, the projector reflector includes a projector-specific reflecting mirror and a mount capable of mounting the projector. The projector reflector allows the light from the beam projector to be projected through a reflective mirror to a desired position. In order to secure a wider projection area, it is necessary to enlarge the projection surface by increasing the projection distance through mirror reflection, or to make a reflection surface with a bend suitable for the projection surface by using a 3D printer, It is possible to project a wider space by using a number of projectors.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
1: 증강현실 제공장치 2: 입력장치
3: 디스플레이 장치 10: 입력부
12: 프로세서 14: 메모리
16: 통신부 120: 프로���션 가���화부
122: 상호작용 처리부 124: 컨텐츠 공유 처리부
126: 컨텐츠 로직 처리부1: augmented reality providing device 2: input device
3: Display device 10: Input part
12: processor 14: memory
16: communication unit 120: projection visualization unit
122: interaction processing unit 124: content sharing processing unit
126: Content logic processor
Claims (20)
획득된 실제공간 정보와 사용자 정보를 이용하여 실제환경을 인식하고 인식된 실제환경과 가상환경을 매핑하여 공간의 변화나 사용자의 움직임에 대응하여 변화하는 증강 컨텐츠를 생성하며 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로세서;
를 포함하고,
상기 입력부는
사용자 및 3차원 아이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군 정보를 획득하고 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하며, 증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군 정보를 획득하고 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 것을 특징으로 하는 증강현실 제공장치.An input unit for obtaining actual spatial information and user information; And
Recognizes the actual environment using the acquired actual spatial information and user information, maps the recognized real environment and the virtual environment to generate augmented content that changes in response to a change in space or movement of the user, and transmits the generated augmented content to the projector A processor for projecting and visualizing the image data through the processor;
Lt; / RTI >
The input unit
The point group information on the three-dimensional space is obtained for the actual space from which the user and the three-dimensional item model are removed, the information is matched with the simplified three-dimensional background model through the pre-production, and the registered information is used for the augmented contents Dimensional object model and the point group information made by using the map and the depth information map for each three-dimensional item model, and registers the matched information in accordance with the simplified three-dimensional background model through pre- .
상기 입력부는 사용자의 스켈레톤 정보와 각 신체부위의 신체정보를 포함한 사용자 정보를 사전에 획득하고,
상기 프로세서는 사용자의 신체에 증강 컨텐츠를 프로젝션할 때 사용자의 신체와 일치되게 투사되도록 사용자 정보를 이용하는 것을 특징으로 하는 증강현실 제공장치.The method according to claim 1,
The input unit acquires user information including skeleton information of the user and body information of each body part in advance,
Wherein the processor uses the user information so as to be projected in conformity with the user's body when projecting the augmented contents to the user's body.
실제공간 정보와 사용자 정보를 이용하여 객체를 인식하고 인식된 객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성하는 상호작용 처리부; 및
상기 상호작용 처리부를 통해 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로젝션 가시화부;
를 포함하는 것을 특징으로 하는 증강현실 제공장치.2. The apparatus of claim 1, wherein the processor
By recognizing objects using actual spatial information and user information, recognizing the actual environment including the user's actions from the recognized objects, calculating the interaction between the recognized real environment and the virtual environment, and combining the virtual environment with the actual environment An interaction processing unit for generating the augmented contents; And
A projection visualization unit for projecting and visualizing the augmented contents generated through the interaction processing unit through a projector;
Wherein the augmented reality providing apparatus includes:
깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 학습을 통해 실제공간을 분석하여 객체를 인식하는 것을 특징으로 하는 증강현실 제공장치.5. The apparatus according to claim 4, wherein the interaction processing unit
Wherein the object is recognized by analyzing the actual space through image processing and machine learning based on actual spatial information including depth information and point group information.
학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색하는 것을 특징으로 하는 증강현실 제공장치.5. The apparatus according to claim 4, wherein the interaction processing unit
In order to improve the reaction rate, we used the simplified 3D background model to divide the space and pre-match the parts to enhance the content. And searches for an area to which an object is to be added in the space to be represented.
실제공간과 가상공간 간의 매핑 파라미터를 구하고 매핑 파라미터를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 하는 것을 특징으로 하는 증강현실 제공장치.5. The apparatus of claim 4, wherein the projection visualization unit
Wherein a mapping parameter between an actual space and a virtual space is obtained and a mapping parameter is combined so that an actual space and a virtual space can be mapped equally.
상기 입력부를 통해 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 상기 입력부를 통해 획득된 데이터를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색된 객체 위치에, 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현하는 것을 특징으로 하는 증강현실 제공장치.5. The apparatus of claim 4, wherein the projection visualization unit
A simplified three-dimensional background model previously prepared through the input unit is learned and registered. Then, an object position in a space for representing the augmented contents is retrieved using the data obtained through the input unit, and a pre- And replaces it with a simplified virtual object mesh to express the augmented content.
사용자의 신체에 프로젝션하는 경우, 상기 입력부를 통해 사전에 획득한 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간에 그대로 렌더링하는 것을 특징으로 하는 증강현실 제공장치.5. The apparatus of claim 4, wherein the projection visualization unit
Wherein when the projection is performed on the user's body, the simplified virtual object mesh is produced in advance using the user's body information previously obtained through the input unit, and rendered as it is in the three-dimensional space.
다수의 프로젝터가 중첩되는 영역에 대한 처리를 위해, 영상에 대한 에지 블랜딩 및 마스킹을 수행하는 것을 특징으로 하는 증강현실 제공장치.5. The apparatus of claim 4, wherein the projection visualization unit
And performs edge blending and masking on an image for processing of a region in which a plurality of projectors overlap each other.
원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 하는 컨텐츠 공유 처리부;
를 더 포함하는 것을 특징으로 하는 증강현실 제공장치.5. The apparatus of claim 4, wherein the processor
A content sharing processing unit for sharing and synchronizing the augmented contents with other users existing at a remote site so that they can experience the augmented contents together;
Wherein the augmented reality providing apparatus further includes:
증강 컨텐츠가 시나리오 로직에 따라 진���되도록 지원하고, 상기 프로젝션 가시화부에 증강 컨텐츠 가시화 데이터를 제공하는 컨텐츠 로직 처리부;
를 더 포함하는 것을 특징으로 하는 증강현실 제공장치.5. The apparatus of claim 4, wherein the processor
A contents logic processor for supporting the augmented contents to proceed according to the scenario logic and providing the augmented contents visualization data to the projection visualization unit;
Wherein the augmented reality providing apparatus further includes:
실제공간 정보와 사용자 정보를 획득하는 단계;
획득된 실제공간 정보와 사용자 정보를 이용하여 객체를 인식하고 인식된 객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성하는 단계; 및
생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 단계;
를 포함하고,
상기 실제공간 정보와 사용자 정보를 획득하는 단계는,
사용자 및 3차원 아이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군 정보를 획득하여 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 단계; 및
증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군 정보를 획득하여 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 단계;
를 포함하는 것을 특징으로 하는 증강현실 제공방법.A method for providing an augmented reality using an augmented reality providing apparatus,
Acquiring actual spatial information and user information;
Recognize objects using actual spatial information and user information, recognize actual environment including user's actions from recognized objects, calculate interaction between recognized real environment and virtual environment, and combine virtual environment with real environment Generating incremental content according to the incremental content; And
Projecting the generated augmented contents through a projector and visualizing the augmented contents;
Lt; / RTI >
Wherein the obtaining of the actual spatial information and the user information comprises:
Acquiring point group information on a three-dimensional space with respect to an actual space from which both the user and the three-dimensional item model have been removed, registering the matched information by matching it with a simplified three-dimensional background model through preliminary production; And
Acquiring image and depth information maps for each 3D item model used in the augmented contents and point group information made using the 3D and 3D information, and registering the matched information by matching it with a simplified 3D background model through preliminary production;
Wherein the augmented reality providing method comprises:
깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 학습을 통해 실제공간을 분석하여 객체를 인식하는 것을 특징으로 하는 증강현실 제공방법.14. The method of claim 13, wherein generating the augmented content comprises:
Wherein the object is recognized by analyzing the actual space through image processing and machine learning based on actual spatial information including depth information and point group information.
학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색하는 것을 특징으로 하는 증강현실 제공방법.14. The method of claim 13, wherein generating the augmented content comprises:
In order to improve the reaction rate, we used the simplified 3D background model to divide the space and pre-match the parts to enhance the content. And searching for an area where an object is to be added to the space to be represented.
실제공간과 가상공간 간의 매핑 파라미터를 구하고 이를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 하는 것을 특징으로 하는 증강현실 제공방법.14. The method of claim 13, wherein generating the augmented content comprises:
Wherein mapping parameters between the actual space and the virtual space are obtained and combined so that the real space and the virtual space can be mapped equally.
사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 실제공간 정보와 사용자 정보를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색된 객체 위치에, 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현하는 것을 특징으로 하는 증강현실 제공방법.14. The method of claim 13, wherein generating the augmented content comprises:
After learning and registering a simplified three-dimensional background model produced in advance, a position of an object on a space for representing an augmented content is retrieved using actual spatial information and user information, and a simplified virtual three- Wherein the augmented reality information is expressed by replacing the augmented reality with an object mesh.
사용자의 신체에 프로젝션하는 경우, 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간�� 그대로 렌더링하는 것을 특징으로 하는 증강현실 제공방법.14. The method of claim 13, wherein generating the augmented content comprises:
A method of providing an augmented reality, the method comprising: generating a simplified virtual object mesh in a three-dimensional space by projecting the user's body information to a user's body.
원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 하는 단계;
를 더 포함하는 것을 특징으로 하는 증강현실 제공방법.14. The method of claim 13, wherein the augmented reality providing method comprises:
Allowing a user to share and augment the augmented contents with other users at a remote site so that they can experience the augmented contents together;
The method of claim 1, further comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160002214A KR101876419B1 (en) | 2016-01-07 | 2016-01-07 | Apparatus for providing augmented reality based on projection mapping and method thereof |
| US15/241,543 US20170200313A1 (en) | 2016-01-07 | 2016-08-19 | Apparatus and method for providing projection mapping-based augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160002214A KR101876419B1 (en) | 2016-01-07 | 2016-01-07 | Apparatus for providing augmented reality based on projection mapping and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170082907A KR20170082907A (en) | 2017-07-17 |
| KR101876419B1 true KR101876419B1 (en) | 2018-07-10 |
Family
ID=59274995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160002214A Active KR101876419B1 (en) | 2016-01-07 | 2016-01-07 | Apparatus for providing augmented reality based on projection mapping and method thereof |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20170200313A1 (en) |
| KR (1) | KR101876419B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101975150B1 (en) * | 2018-10-12 | 2019-05-03 | (주)셀빅 | Digital contents temapark operating system |
| WO2025063455A1 (en) * | 2023-09-20 | 2025-03-27 | 삼성전자 주식회사 | Projection device and operation method thereof |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101808840B1 (en) * | 2015-09-04 | 2017-12-13 | 한국전자통신연구원 | Depth information extracting method based on machine learning and apparatus thereof |
| US11062383B2 (en) | 2016-05-10 | 2021-07-13 | Lowe's Companies, Inc. | Systems and methods for displaying a simulated room and portions thereof |
| US10416769B2 (en) * | 2017-02-14 | 2019-09-17 | Microsoft Technology Licensing, Llc | Physical haptic feedback system with spatial warping |
| KR102395030B1 (en) * | 2017-06-09 | 2022-05-09 | 한국전자통신연구원 | Method for remote controlling virtual comtents and apparatus using the same |
| CN107728782A (en) * | 2017-09-21 | 2018-02-23 | 广州数娱信息科技有限公司 | Exchange method and interactive system, server |
| KR102082290B1 (en) * | 2017-12-06 | 2020-02-27 | 조선대학교산학협력단 | Surgery navigation program stored in computer-readable storage medium |
| KR101989447B1 (en) * | 2017-12-12 | 2019-06-14 | 주식회사 큐랩 | Dance motion feedback system providing video feedback to user using augmented reality |
| US10192115B1 (en) | 2017-12-13 | 2019-01-29 | Lowe's Companies, Inc. | Virtualizing objects using object models and object position data |
| US10750810B2 (en) | 2017-12-24 | 2020-08-25 | Jo-Ann Stores, Llc | Method of projecting sewing pattern pieces onto fabric |
| KR102577472B1 (en) | 2018-03-20 | 2023-09-12 | 한국전자통신연구원 | Apparatus and method for generating synthetic learning data for motion recognition |
| EP3718087B1 (en) | 2018-05-23 | 2025-07-23 | Samsung Electronics Co., Ltd. | Method and apparatus for managing content in augmented reality system |
| KR102117007B1 (en) * | 2018-06-29 | 2020-06-09 | (주)기술공감 | Method and apparatus for recognizing object on image |
| US10699488B1 (en) * | 2018-09-07 | 2020-06-30 | Facebook Technologies, Llc | System and method for generating realistic augmented reality content |
| KR101949103B1 (en) * | 2018-10-10 | 2019-05-21 | (주)셀빅 | Dynamic 3d activation method and system for offline sketch contents |
| US11138785B2 (en) | 2018-12-07 | 2021-10-05 | Electronics And Telecommunications Research Institute | Method and system for generating 3D image of character |
| KR102091217B1 (en) * | 2018-12-12 | 2020-03-19 | 주식회사 하이쓰리디 | Augmented reality video editing system for a mobile device |
| CN109615708B (en) * | 2019-01-25 | 2023-09-05 | 重庆予胜远升网络科技有限公司 | AR-based pipe network visualization system and method |
| CN110008904A (en) * | 2019-04-08 | 2019-07-12 | 万维科研有限公司 | Method for generating shape recognition list based on video file format |
| KR200489627Y1 (en) * | 2019-06-11 | 2019-07-12 | 황영진 | Multiplayer education system using augment reality |
| CN114127795A (en) | 2019-07-04 | 2022-03-01 | 安尼派恩有限公司 | Method, system, and non-transitory computer-readable recording medium for supporting experience sharing between users |
| KR102888347B1 (en) * | 2019-08-30 | 2025-11-20 | 엘지전자 주식회사 | Intelligent Device and Method for Information Display with Projection Type Using the Same |
| WO2021141887A1 (en) * | 2020-01-06 | 2021-07-15 | The Johns Hopkins University | Overlaying augmented reality (ar) content within an ar headset coupled to a magnifying loupe |
| US11207606B2 (en) | 2020-03-02 | 2021-12-28 | Universal City Studios Llc | Systems and methods for reactive projection-mapped show robot |
| KR102493401B1 (en) | 2020-03-25 | 2023-01-30 | 한국전자통신연구원 | Method and apparatus for erasing real object in augmetnted reality |
| US12164217B2 (en) | 2020-05-12 | 2024-12-10 | Dittopatterns LLC | Image projecting systems and methods |
| KR102299902B1 (en) * | 2020-07-17 | 2021-09-09 | (주)스마트큐브 | Apparatus for providing augmented reality and method therefor |
| KR102300285B1 (en) * | 2021-03-16 | 2021-09-10 | (주)브이에이커뮤니케이션즈 | Method for mapping ar-based content and system using the same |
| KR102594258B1 (en) * | 2021-04-26 | 2023-10-26 | 한국전자통신연구원 | Method and apparatus for virtually moving real object in augmetnted reality |
| KR102571744B1 (en) * | 2021-05-06 | 2023-08-29 | 한국전자통신연구원 | Method and apparatus for generating three dimension contents |
| CN114377385A (en) * | 2021-12-15 | 2022-04-22 | 北京五八信息技术有限公司 | Dice throwing method and device for augmented reality, electronic equipment and medium |
| KR102849794B1 (en) | 2022-01-04 | 2025-08-25 | 한국전자통신연구원 | Apparatus and method for realizing real-time space structure |
| KR102735183B1 (en) * | 2022-02-03 | 2024-11-27 | (주)스튜디오코인 | Contents providing apparatus based on virtual character and providing method thereof |
| CN114926573A (en) * | 2022-05-20 | 2022-08-19 | 上海先之实业有限公司 | Somatosensory shadow particle interactive wall system |
| US12189915B2 (en) | 2022-06-24 | 2025-01-07 | Lowe's Companies, Inc. | Simulated environment for presenting virtual objects and virtual resets |
| US12211161B2 (en) | 2022-06-24 | 2025-01-28 | Lowe's Companies, Inc. | Reset modeling based on reset and object properties |
| KR102536983B1 (en) * | 2022-08-01 | 2023-05-30 | 김성태 | Method and system for providing AR-based advertising platform using GPS and barometric pressure |
| KR102823611B1 (en) * | 2022-11-10 | 2025-06-23 | 한국전자통신연구원 | Method and apparatus for generating of virtual concert enviroment in metaverse |
| KR102711579B1 (en) * | 2024-05-21 | 2024-09-30 | 주식회사 케이지테크 | projector control system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090087332A (en) * | 2008-02-12 | 2009-08-17 | 광주과학기술원 | Tabletop-Mobile Augmented Reality System for Personalization and Collaboration |
| KR101036429B1 (en) * | 2010-08-24 | 2011-05-23 | 윤상범 | Virtual reality martial arts training apparatus and method, recording medium thereof |
| KR20110066298A (en) * | 2009-12-11 | 2011-06-17 | 한국전자통신연구원 | Cooperative Mixed Reality Server, Terminal and System and Cooperative Mixed Reality Service Method Using the Same |
| KR20150057424A (en) * | 2013-11-19 | 2015-05-28 | 한국전자통신연구원 | A system and method for interaction with augmented reality avatar |
| KR20150085255A (en) * | 2014-01-15 | 2015-07-23 | (주)디스트릭트홀딩스 | Service system and service method for augmented reality stage, live dance stage and live audition |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
| KR20130053466A (en) * | 2011-11-14 | 2013-05-24 | 한국전자통신연구원 | Apparatus and method for playing contents to provide an interactive augmented space |
| US20140247263A1 (en) * | 2013-03-04 | 2014-09-04 | Microsoft Corporation | Steerable display system |
| US10602121B2 (en) * | 2013-09-17 | 2020-03-24 | Société Des Arts Technologiques | Method, system and apparatus for capture-based immersive telepresence in virtual environment |
-
2016
- 2016-01-07 KR KR1020160002214A patent/KR101876419B1/en active Active
- 2016-08-19 US US15/241,543 patent/US20170200313A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090087332A (en) * | 2008-02-12 | 2009-08-17 | 광주과학기술원 | Tabletop-Mobile Augmented Reality System for Personalization and Collaboration |
| KR20110066298A (en) * | 2009-12-11 | 2011-06-17 | 한국전자통신연구원 | Cooperative Mixed Reality Server, Terminal and System and Cooperative Mixed Reality Service Method Using the Same |
| KR101036429B1 (en) * | 2010-08-24 | 2011-05-23 | 윤상범 | Virtual reality martial arts training apparatus and method, recording medium thereof |
| KR20150057424A (en) * | 2013-11-19 | 2015-05-28 | 한국전자통신연구원 | A system and method for interaction with augmented reality avatar |
| KR20150085255A (en) * | 2014-01-15 | 2015-07-23 | (주)디스트릭트홀딩스 | Service system and service method for augmented reality stage, live dance stage and live audition |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101975150B1 (en) * | 2018-10-12 | 2019-05-03 | (주)셀빅 | Digital contents temapark operating system |
| WO2025063455A1 (en) * | 2023-09-20 | 2025-03-27 | 삼성전자 주식회사 | Projection device and operation method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170200313A1 (en) | 2017-07-13 |
| KR20170082907A (en) | 2017-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101876419B1 (en) | Apparatus for providing augmented reality based on projection mapping and method thereof | |
| US11244513B2 (en) | Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments | |
| CN102681661B (en) | Using a three-dimensional environment model in gameplay | |
| CN107430437B (en) | System and method for creating a real grabbing experience in a virtual reality/augmented reality environment | |
| CN111510701A (en) | Display method, apparatus, electronic device, and computer-readable medium for virtual content | |
| JP5430572B2 (en) | Gesture-based user interaction processing | |
| CN105981076B (en) | Synthesize the construction of augmented reality environment | |
| US20150245010A1 (en) | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use | |
| CN110738737A (en) | AR scene image processing method and device, electronic equipment and storage medium | |
| JP7073481B2 (en) | Image display system | |
| CN103793060A (en) | User interaction system and method | |
| WO2017020766A1 (en) | Scenario extraction method, object locating method and system therefor | |
| US20110149042A1 (en) | Method and apparatus for generating a stereoscopic image | |
| US20230214004A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| US12368836B2 (en) | Image display system and image display method | |
| KR20210042476A (en) | Augmented reality providing method and system using projection technology | |
| CN121866526A (en) | Assisted scene capture for artificial real-world environments | |
| WO2025057379A1 (en) | Posture estimation system, posture estimation method, and program | |
| Ravi et al. | A study of object recognition and tracking techniques for augmented reality applications | |
| CN112053444A (en) | Method for superimposing virtual objects based on optical communication device and corresponding electronic device | |
| US20230191259A1 (en) | System and Method for Using Room-Scale Virtual Sets to Design Video Games | |
| Abramova et al. | Real-time motion tracking for dance visualization using Kalman filters | |
| Reimer | Hand Tracking in Colocated Multi-User Virtual Reality | |
| Herbig | DEPlaTa-A Digitally Enhanced Planning Table for Rough Factory Layouts | |
| HK40022490A (en) | Ar scene image processing method and device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20160107 |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20161207 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20160107 Comment text: Patent Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20171116 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20180515 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20180703 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20180704 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20210624 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220628 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230620 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240625 Start annual number: 7 End annual number: 7 |