KR101675961B1 - Apparatus and Method for Rendering Subpixel Adaptively - Google Patents

Apparatus and Method for Rendering Subpixel Adaptively Download PDF

Info

Publication number
KR101675961B1
KR101675961B1 KR1020100137698A KR20100137698A KR101675961B1 KR 101675961 B1 KR101675961 B1 KR 101675961B1 KR 1020100137698 A KR1020100137698 A KR 1020100137698A KR 20100137698 A KR20100137698 A KR 20100137698A KR 101675961 B1 KR101675961 B1 KR 101675961B1
Authority
KR
South Korea
Prior art keywords
pixel
sub
user
eye
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100137698A
Other languages
Korean (ko)
Other versions
KR20120075829A (en
Inventor
박주용
성기영
남동경
김윤태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100137698A priority Critical patent/KR101675961B1/en
Priority to US13/333,368 priority patent/US9270981B2/en
Publication of KR20120075829A publication Critical patent/KR20120075829A/en
Application granted granted Critical
Publication of KR101675961B1 publication Critical patent/KR101675961B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

라이트 필드 디스플레이에서의 렌더링 장치 및 방법이 제공된다. 렌더링 장치는 사용자 눈의 위치를 결정하고, 사용자 눈의 위치에 기초하여 3D 화소를 구성하는 부화소들 중에서 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정할 수 있다. 그리고, 결정된 부화소에 해당하는 부화소의 화소값에 기초하여 입체 영상을 라이트 필드 디스플레이에 표시할 수 있다.A rendering apparatus and method in a light field display are provided. The rendering apparatus may determine the position of the user's eye and determine a sub-pixel that generates a ray of light that the user's eye gazes out of the sub-pixels constituting the 3D pixel based on the position of the user's eye. Then, the stereoscopic image can be displayed on the light field display based on the pixel value of the sub-pixel corresponding to the determined sub-pixel.

Description

적응적 부화소 렌더링 장치 및 방법{Apparatus and Method for Rendering Subpixel Adaptively}[0001] APPARATUS AND METHOD FOR RENDERING [0002]

아래의 실시예들은 범용적인 디스플레이, 이를테면 TV, 모니터, 휴대형 디바이스의 디스플레이, 광고용 디스플레이 및 교육용 디스플레이 분야 등에 관한 것이며, 보다 특정하게는 입체 시청에 따른 피로 없이 입체 영상을 재현, 표시하기 위한 라이트 필드 디스플레이(Light Field Display)에서의 부화소 렌더링 기술에 관한 것이다.The following embodiments relate to a general-purpose display, such as a TV, a monitor, a display of a portable device, a display for advertisement, an educational display, and the like, and more particularly to a light field display for reproducing and displaying a stereoscopic image without fatigue due to stereoscopic viewing (Light Field Display) technology.

3D(3-dimensional) 영상 디스플레이 장치는 사람의 좌안(left eye)과 우안(right eye)에 시점 차이를 반영한 서로 다른 영상을 제공하여 입체감을 느끼게 하는 영상 디스플레이 장치이다.A 3D (3-dimensional) image display device is an image display device that provides a different image reflecting a viewpoint difference between a left eye and a right eye of a person, thereby realizing a three-dimensional sensation.

3D 영상 디스플레이 장치에는, 안경식 방식과, 무안경식 방식이 존재한다. 안경식 방식은 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 이용하여 원하는 영상을 필터링하는 방식이다. 그리고, 무안경식 방식은 패럴랙스 베리어(parallax barrier) 또는 렌티큘러 렌즈(lenticular lens)를 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 방식이다.In the 3D image display device, there are a spectacle method and a non-eye-hardening method. The spectral method is a method of filtering a desired image by using division by polarization, time division, wavelength division by a wavelength of primary color, and the like. In addition, the non-eye hardening method uses a parallax barrier or a lenticular lens so that each image can be viewed only in a specific space.

특히, 무안경식 방식에는 다시점(Multiview) 방식 및 라이트 필드(Light Field) 방식이 존재한다. 라이트 필드 방식은 일정한 공간에 존재하는 점들에서 여러 방향으로 발생하는 빛을 그대로 표현하는 방식이다.Particularly, there is a multiview method and a light field method in the no-eye-hardening method. The light field method is a method of directly expressing light generated in various directions from points existing in a certain space.

이러한, 라이트 필드 방식은, 여러 방향의 빛을 나타내는 광선들을 충분히 확보하지 못한 경우, 입체 영상을 표현하는 데 어려움이 존재한다. 그런데, 광선 수가 증가함에 따라 해상도가 저하된다.Such a light field method has difficulties in expressing a stereoscopic image if the light rays representing light in various directions can not be sufficiently secured. However, resolution increases as the number of rays increases.

또한, 광선들 간의 간격이 일정 수준 이하로 좁지 않은 경우, 자���스러운 운동 시차를 구현하기 어렵다. 그런데, 광선들 간의 간격을 일정 수준 이하로 유지하면서 시청 영역을 넓히기 위해서는 광선 수가 증가되어야 한다. 그러면, 해상도는 다시 저하될 수 있다.In addition, when the interval between the rays is not narrow to a certain level or less, it is difficult to realize a natural motion parallax. However, the number of rays must be increased in order to widen the viewing area while keeping the distance between rays to a certain level or less. Then, the resolution may be lowered again.

따라서, 라이트 필드 디스플레이에서 해상도 저하를 억제하면서 시청 영역을 넓힐 수 있는 렌더링 기술이 필요하다.Therefore, there is a need for a rendering technique that can broaden the viewing area while suppressing resolution degradation in the light field display.

본 렌더링 장치는, 사용자 눈의 위치를 결정하는 위치 결정부, 및 3D 화소를 구성하는 부화소들 중 상기 사용자 눈의 위치에 기초하여 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는 부화소 결정부를 포함할 수 있다.The rendering apparatus includes a positioning unit that determines a position of a user's eye and a sub-pixel that determines a sub-pixel that generates a light beam that the user's eye gazes based on the position of the user's eye among the sub- And a determination section.

또한, 상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 라이트 필드(Light Field) 디스플레이에 표시될 콘텐츠를 결정하는 콘텐츠 결정부, 및 상기 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정하는 화소값 결정부를 더 포함할 수 있다.A content determination unit that determines a content to be displayed on a light field display based on horizontal direction information and vertical direction information of a virtual line connecting the 3D pixel and the user's eye; And a pixel value determining unit for determining the pixel value of the sub-pixel using the pixel value.

또한, 상기 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 감소시키는 크로스토크 처리부를 더 포함할 수 있다.The apparatus may further include a crosstalk processing unit for reducing a crosstalk between the sub-pixel generating the light beam that the user eye gazes and the remaining sub-pixels.

또한, 상기 사용자 눈의 위치를 촬영하는 적어도 하나의 카메라를 더 포함할 수 있다.The apparatus may further include at least one camera for photographing the position of the user's eyes.

또한, 상기 부화소 결정부는, 상기 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소 별로 병렬적으로 결정할 수 있다.In addition, the sub-pixel determination unit may determine in parallel for each of the 3D pixels the sub-pixels that generate the light rays that the user's eye gazes at.

본 부화소 렌더링 방법은, 사용자 눈의 위치를 결정하는 단계, 및 3D 화소를 구성하는 부화소들 중 상기 사용자 눈의 위치에 기초하여 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는 단계를 포함할 수 있다.The subpixel rendering method includes the steps of: determining a position of a user's eye; and determining a subpixel for generating a ray of light based on the position of the user's eye among the subpixels constituting the 3Dpixel .

또한, 상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 라이트 필드(Light Field) 디스플레이에 표시될 콘텐츠를 결정하는 단계, 및 상기 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정하는 단계를 더 포함할 수 있다.Determining a content to be displayed on a light field display based on horizontal direction information and vertical direction information of a virtual line connecting the 3D pixel and the user's eye; And determining the pixel value of the sub-pixel.

또한, 상기 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 감소시키는 단계를 더 포함할 수 있다.The method may further include reducing a crosstalk between the sub-pixels generating the light rays striking the user's eye and the remaining sub-pixels.

또한, 적어도 하나의 카메라를 이용하여 상기 사용자 눈의 위치를 촬영하는 단계를 더 포함할 수 있다.The method may further include photographing a position of the user's eye using at least one camera.

본 발명에 따르면, 사용자 눈의 위치에 기초하여 결정된 부화소를 이용하여 입체 영상을 표시함에 따라 해상도 저하를 억제하면서 시청 영역을 넓힐 수 있다.According to the present invention, a stereoscopic image is displayed using sub-pixels determined based on the position of the user's eye, thereby widening the viewing area while suppressing resolution degradation.

또한, 사용자의 눈이 응시하지 않는 불필요한 광선들을 표시하지 않음으로써, 크로스토크(crosstalk)를 제거 또는 감소시킬 수 있다.In addition, it is possible to eliminate or reduce crosstalk by not displaying unnecessary rays that the user's eyes do not gaze.

도 1은 카메라와 연동하여 사용자 눈의 위치에 대응하는 부화소를 결정하는 렌더링 장치의 전반적인 동작을 설명하기 위해 제공되는 도면이다.
도 2는 3D(dimension)에서 여러 방향의 광선들을 생성하는 라이트 필드 디스플레이를 도시한 도면이다.
도 3은 수평 방향만 고려한 경우, 사용자의 양쪽 눈에 보이는 3D 화소 내의 광선을 표시한 도면이다.
도 4는 부화소 단위 12시점 디스플레이에서 각 시점의 밝기 분포를 도시한 도면이다.
도 5는 라이트 필드 디스플레이에 입체 영상을 표시하는 렌더링 장치의 세부 구성을 도시한 블록도이다.
도 6은 수평 방향 기울기 및 수직 방향 기울기를 계산하는 과정을 설명하기 위해 제공되는 도면이다.
도 7은 사용자 눈의 위치에 기초하여 결정된 부화소를 이용하여 입체 영상을 표시하는 렌더링 방법을 설명하기 위해 제공되는 흐름도이다.1 is a view for explaining an overall operation of a rendering apparatus for determining a sub-pixel corresponding to a position of a user's eye in cooperation with a camera.
Figure 2 is a diagram illustrating a light field display that generates light rays in various directions in 3D.
Fig. 3 is a diagram showing light rays in a 3D pixel that is visible to both eyes of the user when only the horizontal direction is considered.
FIG. 4 is a graph showing the brightness distribution at each view point in the sub-pixel unit 12-point display.
5 is a block diagram showing a detailed configuration of a rendering device for displaying a stereoscopic image on a light field display.
FIG. 6 is a view for explaining a process of calculating the horizontal direction slope and the vertical direction slope.
7 is a flowchart illustrating a rendering method for displaying a stereoscopic image using a sub-pixel determined based on a position of a user's eye.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 카메라와 연동하여 사용자 눈의 위치에 대응하는 부화소를 결정하는 렌더링 장치의 전반적인 동작을 설명하기 위해 제공되는 도면이다.1 is a view for explaining an overall operation of a rendering apparatus for determining a sub-pixel corresponding to a position of a user's eye in cooperation with a camera.

도 1에 따르면, 라이트 필드 디스플레이 시스템은 카메라(110), 렌더링 장치(120), 및 라이트 필드 디스플레이(130)를 포함할 수 있다.1, the light field display system may include a camera 110, a rendering device 120, and a light field display 130. [

카메라(110)는 라이트 필드 디스플레이(130)를 응시하는 사용자 눈의 위치를 촬영할 수 있다. 일례로, 카메라(110)는 하나 이상의 가시 대역 카메라, 하나 이상의 적외선 카메라, 및 하나 이상의 깊이 카메라 중 적어도 하나를 포함할 수 있다. 이때, 카메라(110)는 라이트 필드 디스플레이(130)에 삽입되거나, 또는 탈부착될 수도 있다.The camera 110 may capture the position of the user's eyes staring at the light field display 130. [ In one example, the camera 110 may include at least one of one or more visible-band cameras, one or more infrared cameras, and one or more depth cameras. At this time, the camera 110 may be inserted into or detached from the light field display 130.

렌더링 장치(120)는 카메라를 통해 촬영된 사용자 눈의 위치��� 기초하여 공간 좌표 상에서 사용자 눈의 위치 좌표값을 결정할 수 있다. 그리고, 렌더링 장치(120)는 사용자 눈의 위치 좌표값에 대응하는 부화소를 결정할 수 있다. 즉, 렌더링 장치(120)는 라이트 필드 디스플레이(130) 상에서 사용자 눈이 응시하고 있는 위치에 해당하는 부화소를 결정할 수 있다.The rendering apparatus 120 may determine the position coordinate value of the user's eye on the spatial coordinates based on the position of the user's eye photographed through the camera. Then, the rendering apparatus 120 may determine a sub-pixel corresponding to the position coordinate value of the user's eye. That is, the rendering apparatus 120 may determine a sub-pixel corresponding to a position where the user's eye is gazing on the light field display 130. [

이어, 렌더링 장치(120)는 사용자 눈의 위치에 기초하여 라이트 필드 디스플레이(130)에 표시될 콘텐츠를 결정할 수 있다. 그리고, 렌더링 장치(120)는 결정된 콘텐츠와 결정된 부화소를 이용하여 부화소의 화소값을 결정할 수 있다. 그러면, 라이트 필드 디스플레이(130)는 부화소의 화소값에 따라 광선을 생성함으로써 입체 영상을 표시할 수 있다.The rendering device 120 may then determine the content to be displayed on the light field display 130 based on the location of the user's eyes. Then, the rendering apparatus 120 can determine the pixel value of the sub-pixel using the determined content and the determined sub-pixel. Then, the light field display 130 can display a stereoscopic image by generating a light ray according to the pixel value of the sub-pixel.

도 2는 3D(dimension)에서 여러 방향의 광선들을 생성하는 라이트 필드 디스플레이를 도시한 도면이다.Figure 2 is a diagram illustrating a light field display that generates light rays in various directions in 3D.

도 2에 따르면, 라이트 필드 디스플레이는 복수의 3D 화소들로 구성될 수 있다. 그리고, 하나의 3D(dimension) 화소(pixel)는 복수의 부화소(Subpixel)들로 구성될 수 있다.2, the light field display may be composed of a plurality of 3D pixels. In addition, one 3D pixel may be composed of a plurality of subpixels.

일례로, 하나의 3D 화소는 15×4의 부화소들로 구성될 수 있다. 그러면, 3D 화소는 부화소들을 이용하여 15×4 방향의 광선들을 발생시킬 수 있다. 이에 따라, 3D 화소들이 모여서 3차원 공간 상의 점들이 라이트 필드 디스플레이에 표시될 수 있다.For example, one 3D pixel can be composed of 15 x 4 sub-pixels. Then, the 3D pixel can generate light rays in the 15 x 4 direction using the sub-pixels. Accordingly, the 3D pixels can be gathered and the points on the three-dimensional space can be displayed on the light field display.

도 3은 수평 방향만 고려한 경우, 사용자의 양쪽 눈에 보이는 3D 화소 내의 광선을 표시한 도면이다.Fig. 3 is a diagram showing light rays in a 3D pixel that is visible to both eyes of the user when only the horizontal direction is considered.

도 3에 따르면, 사용자의 양쪽 눈이 오브젝트(310)를 응시하고 있는 경우, 사용자의 왼쪽 눈(320)에 대응하는 3D 화소(340)는 여러 방향의 광선들을 발생시킬 수 있다. 마찬가지로, 사용자의 오른쪽 눈(330)에 대응하는 3D 화소(340)는 여러 방향의 광선들을 발생시킬 수 있다.3, if both eyes of the user are staring at the object 310, the 3D pixel 340 corresponding to the user's left eye 320 may generate rays in various directions. Likewise, the 3D pixel 340 corresponding to the user's right eye 330 can generate light rays in various directions.

이때, 하나의 3D 화소(410)에서 사용자 눈에 보이는 광선을 고려한 경우, 도 4와 같이, 왼쪽 눈(420)는 주 시청 영역(main-area: 440) 내에 존재하나, 오른쪽 눈(430)는 보조 시청 영역(sub-area: 450) 내에 존재할 수 있다. 여기서, 보조 시청 영역은 주 시청 영역에 포함되는 광선들이 반복되는 영역이다.4, the left eye 420 exists in the main-area 440, while the right eye 430 exists in the main-view area 440. However, And may be in a secondary viewing area (sub-area) 450. Here, the auxiliary viewing area is an area in which the rays included in the main viewing area are repeated.

이에 따라, 렌더링 장치는 하나의 3D 화소를 구성하는 부화소들 중에서 사용자의 왼쪽 눈 및 오른쪽 눈이 응시하는 부화소를 각각 결정하고, 결정된 각 부화소를 통해 자연스러운 입체 영상을 라이트 필드 디스플레이에 표시할 수 있다.Accordingly, the rendering apparatus determines each of the subpixels of the user's left and right eyes from among the subpixels constituting one 3D pixel, and displays the natural stereoscopic image on the light field display through each determined subpixel .

이하에서는, 사용자의 눈이 응시하는 부화소를 결정하는 상세한 구성을 도 5를 참조하여 설명하기로 한다. 도 5에서, 렌더링 장치는 사용자의 오른쪽 눈 및 사용자의 왼쪽 눈이 응시하고 있는 부화소를 각각 결정할 수 있다. 이때, 사용자의 오른쪽 눈이 응시하는 부화소를 결정하는 구성은 사용자의 왼쪽 눈이 응시하는 부화소를 결정하는 구성과 동일하다. 이에 따라, 이하에서는, 사용자의 양쪽 눈 중 어느 하나의 눈이 응시하는 부화소를 결정하는 구성에 대해 자세히 설명하기로 한다.Hereinafter, a detailed configuration for determining the sub-pixel at which the eye of the user will be determined will be described with reference to Fig. In Fig. 5, the rendering apparatus can respectively determine the right eye of the user and the sub-pixel that the left eye of the user is gazing at. At this time, the configuration for determining the subpixels to which the user's right eye is gazing is the same as the configuration for determining the subpixels to which the user's left eye is gazing. Accordingly, a configuration for determining a sub-pixel to which one of the eyes of the user will gaze will be described in detail below.

도 5는 라이트 필드 디스플레이에 입체 영상을 표시하는 렌더링 장치의 세부 구성을 도시한 블록도이다.5 is a block diagram showing a detailed configuration of a rendering device for displaying a stereoscopic image on a light field display.

도 5에 따르면, 렌더링 장치(500)는 위치 결정부(520), 부화소 결정부(530), 콘텐츠 결정부(540), 화소값 결정부(550), 및 크로스토크 처리부(560)를 포함할 수 있다.5, the rendering apparatus 500 includes a position determination unit 520, a sub-pixel determination unit 530, a content determination unit 540, a pixel value determination unit 550, and a crosstalk processing unit 560 can do.

먼저, 카메라(510)는 사용자 눈의 위치를 촬영하여 렌더링 장치(500)로 전송할 수 있다.First, the camera 510 may photograph the position of the user's eye and transmit the image to the rendering device 500.

일례로, 카메라(510)는 라이트 필드 디스플레이(570)를 응시하고 있는 사용자 눈의 위치를 촬영하고, 촬영한 사용자 눈의 위치에 대한 센싱 파라미터를 렌더링 장치(500)로 전송할 수 있다. 이때, 라이트 필드 디스플레이(570)에는 하나 이상의 카메라가 삽입 또는 부착될 수 있다.For example, the camera 510 may capture the position of the user's eye staring at the light field display 570 and transmit a sensing parameter for the position of the captured user's eye to the rendering device 500. At this time, one or more cameras may be inserted or attached to the light field display 570.

그러면, 위치 결정부(520)는 카메라(510)로부터 수신한 센싱 파라미터에 기초하여 사용자 눈의 위치를 결정할 수 있다. 일례로, 위치 결정부(520)는, 센싱 파라미터에 기초하여 3차원 공간 상에서 사용자 눈의 위치 좌표값(x, y, z)을 결정할 수 있다.Then, the position determination unit 520 can determine the position of the user's eye based on the sensing parameters received from the camera 510. [ In one example, the position determination unit 520 can determine the position coordinate value (x, y, z) of the user's eye on the three-dimensional space based on the sensing parameter.

이어, 부화소 결정부(530)는 라이트 필드 디스플레이(370)를 구성하는 3D 화소들 중 사용자 눈의 위치에 대응하는 3D 화소를 결정할 수 있다.Then, the sub-pixel determination unit 530 can determine a 3D pixel corresponding to the position of the user's eye among the 3D pixels constituting the light field display 370.

그리고, 부화소 결정부(530)는 3D 화소를 구성하는 부화소(Subpixel)들 중 사용자 눈이 응시하는 광선(ray)을 생성하는 부화소를 결정할 수 있다. 이때, 부화소 결정부(530)는 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소 별로 병렬적으로 결정할 수 있다. 이에 따라, 렌더링 장치의 연산 속도를 향상시킬 수 있다 The sub-pixel determination unit 530 may determine a sub-pixel from which sub-pixels of a 3D pixel are to be generated by the user's eye. At this time, the sub-pixel determination unit 530 may determine the sub-pixels for generating the rays of light that the user's eye is observing in parallel for each of the 3D pixels. Thus, the operation speed of the rendering apparatus can be improved

상세하게는, 부화소 결정부(530)는 사용자 눈과 3D 화소를 연결하는 가상 선의 수평 방향 정보 및 수직 방향 정보에 기초하여 부화소를 결정할 수 있다.In detail, the sub-pixel determination unit 530 can determine the sub-pixel based on the horizontal direction information and the vertical direction information of the virtual line connecting the user's eye and the 3D pixel.

일례로, 방향 정보로 기울기가 이용되는 경우, 도 6 및 아래의 수학식 1과 같이, 부화소 결정부(530)는 사용자 눈의 위치 좌표와 3D 화소의 위치 좌표를 이용하여 가상 선의 수평 방향 기울기를 계산할 수 있다. For example, when the inclination is used as the direction information, the sub-pixel determination unit 530 determines the horizontal slope of the virtual line using the position coordinates of the user's eye and the 3D pixel, Can be calculated.

Figure 112010087119843-pat00001
Figure 112010087119843-pat00001

수학식 1에서, αi는 수평 방향 기울기, (x, z)는 수평 방향에 대한 눈의 위치 좌표, (ai, 0)는 수평 방향에 대한 3D 화소의 위치 좌표이다.In Equation (1),? I is the horizontal slope, (x, z) is the position coordinate of the eye with respect to the horizontal direction, and ( ai , 0) is the position coordinate of the 3D pixel with respect to the horizontal direction.

동일한 방법으로, 아래의 수학식 2와 같이, 부화소 결정부(530)는 사용자 눈의 위치 좌표와 3D 화소의 위치 좌표를 이용하여 가상 선의 수직 방향 기울기를 계산할 수 있다.In the same manner, the subpixel determining unit 530 can calculate the vertical slope of the virtual line using the position coordinates of the user's eye and the position coordinates of the 3D pixel, as shown in Equation (2) below.

Figure 112010087119843-pat00002
Figure 112010087119843-pat00002

수학식 2에서, βi는 수직 방향 기울기, (y, z)는 수직 방향에 대한 눈의 위치 좌표, (0, bi,)는 수직 방향에 대한 3D 화소의 위치 좌표이다.In Equation (2), β i is the vertical gradient, (y, z) is the position coordinate of the eye with respect to the vertical direction, and (0, b i ,) is the position coordinate of the 3D pixel with respect to the vertical direction.

그러면, 부화소 결정부(530)는 3D 화소에서 발생하는 여러 방향의 광선들 중에서 수평 방향 기울기 및 수직 방향 기울기와 가장 가까운 광선을 선택하고, 선택된 광선을 생성하는 부화소를 사용자 눈이 응시하는 부화소로 결정할 수 있다. 이때, 부화소 결정부(530)는 사용자 눈이 응시하는 부화소의 위치 좌표를 결정할 수 있다.Then, the sub-pixel determination unit 530 selects a light ray that is closest to the horizontal slope and the vertical slope among the light rays in various directions generated in the 3D pixel, and selects the sub- It can be determined as a pixel. At this time, the sub-pixel determination unit 530 can determine the position coordinates of the sub-pixel to which the user's eye gazes.

일례로, 부화소 결정부(530)는 아래의 수학식 3을 이용하여 사용자 눈이 응시하는 부화소의 위치 좌표를 결정할 수 있다.For example, the sub-pixel determination unit 530 may determine the positional coordinates of the sub-pixel to be observed by the user's eye using Equation (3) below.

Figure 112010087119843-pat00003
Figure 112010087119843-pat00003

수학식 3에서, pi는 사용자 눈이 응시하는 부화소의 위치 좌표, αi는 수평 방향 기울기, βi는 수직 방향 기울기, fp는 부화소를 결정하는 데 이용되는 함수이다.In Equation (3), p i is the position coordinate of the subpixel to which the user's eye gazes, α i is the horizontal slope, β i is the vertical slope, and f p is the function used to determine the subpixel.

일례로, 도 2와 같이, 3D 화소에서 15×4 방향의 광선들이 발생하는 경우, 부화소 결정부(530)는 15×4 방향의 광선들 중에서 수평 방향 기울기 및 수직 방향 기울기와 광선의 기울기가 일치하거나 또는 가장 가까운 광선을 선택할 수 있다.For example, in the case where light rays in the 15 x 4 direction are generated in the 3D pixel as shown in Fig. 2, the sub-pixel determination unit 530 determines the horizontal slope and the vertical slope and the slope of the light ray in the 15 x 4 direction You can select a match or a nearest ray.

이때, 선택된 광선이 주 시청 영역에 존재하는 경우, 부화소 결정부(530)는 3D 화소를 구성하는 부화소들 중 선택한 광선을 생성하는 부화소를 사용자 눈이 응시하는 부화소로 결정할 수 있다. At this time, when the selected ray exists in the main viewing area, the sub-pixel determination unit 530 can determine the sub-pixel that generates the selected ray among the sub-pixels constituting the 3D pixel as the sub-pixel to which the user's eye gazes.

그리고, 선택된 광선이 보조 시청 영역에 존재하는 경우, 부화소 결정부(530)는 보조 시청 영역에 대응하는 주 시청 영역의 광선을 생성하는 부화소를 사용자 눈이 응시하는 부화소로 결정할 수 있다. 예를 들어, 도 4와 같이, 왼쪽 눈이 응시하는 광선 3(460)은 주 시청 영역에 존재하고, 오른쪽 눈이 응시하는 광선 7(470)은 보조 시청 영역에 존재하는 경우, 부화소 결정부(530)는 보조 시청 영역에 대응하는 주 시청 영역의 광선 7(480)을 생성하는 부화소를 오른쪽 눈이 응시하는 부화소로 결정할 수 있다. 다시 말해, 렌더링 장치(500)는 광선 7(480)을 생성하는 부화소를 이용하여 오른쪽 눈이 응시하는 입체 영상을 표시할 수 있다.When the selected light ray is present in the auxiliary viewing area, the sub-pixel determination unit 530 may determine the sub-pixel generating the light ray of the main viewing area corresponding to the auxiliary viewing area to be the sub-pixel to which the user's eye gazes. For example, as shown in Fig. 4, when the ray 3 (460) gazing at the left eye exists in the main viewing area and the ray 7 (470) gazed by the right eye exists in the auxiliary viewing area, (530) may determine a subpixel that produces light 7 (480) in the main viewing area corresponding to the auxiliary viewing area to be the subpixel with the right eye staring. In other words, the rendering apparatus 500 may display a stereoscopic image in which the right eye is gazing by using the sub-pixel that generates the light ray 7 (480).

콘텐츠 결정부(540)는 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 기울기 및 수직 방향 기울기에 기초하여 라이트 필드 디스플레이(570)에 표시될 콘텐츠를 결정할 수 있다. 이때, 입체 영상이 콘텐츠 단위로 구성된 경우, 콘텐츠 결정부(540)는 라이트 필드 디스플레이(570)에 표시될 콘텐츠의 인덱스를 결정할 수 있다.The content determination unit 540 can determine the content to be displayed on the light field display 570 based on the horizontal slope and the vertical slope of the virtual line connecting the 3D pixel and the user's eyes. At this time, when the stereoscopic image is composed of content units, the content determination unit 540 can determine the index of the content to be displayed on the light field display 570.

일례로, 콘텐츠 결정부(540)는 아래의 수학식 4를 이용하여 콘텐츠를 결정할 수 있다.For example, the content determination unit 540 can determine the content using the following Equation (4).

Figure 112010087119843-pat00004
Figure 112010087119843-pat00004

수학식 4에서, ci는 콘텐츠의 인덱스, αi는 수평 방향 기울기, βi는 수직 방향 기울기, fc는 부화소를 결정하는 데 이용되는 함수이다.In Equation (4), c i is an index of content, α i is a horizontal slope, β i is a vertical slope, and f c is a function used to determine a subpixel.

화소값 결정부(550)는 결정된 콘텐츠 및 부화소를 이용하여 사용자의 눈이 응시하는 부화소의 화소값을 결정할 수 있다. 이때, 화소값 결정부(550)는 사용자의 왼쪽 눈 및 오른쪽 눈이 응시하는 부화소의 화소값을 각각 결정할 수 있다.The pixel value determination unit 550 can determine the pixel value of the sub-pixel in which the user's eye gazes, using the determined content and the sub-pixel. At this time, the pixel value determining unit 550 may determine the pixel values of the left eye and the right eye of the user, respectively.

일례로, 화소값 결정부(550)는 아래의 수학식 5를 이용하여 부화소의 화소값을 결정할 수 있다.For example, the pixel value determining unit 550 can determine the pixel value of the subpixel using Equation (5) below.

Figure 112010087119843-pat00005
Figure 112010087119843-pat00005

수학식 5에서, V(pi)는 사용자 눈이 응시하는 부화소의 화소값, ci는 콘텐츠의 인덱스, pi는 사용자 눈이 응시하는 부화소의 위치 좌표이다.In Equation (5), V (p i ) is the pixel value of the sub-pixel to which the user's eye gazes, c i is the index of the content, and p i is the position coordinate of the sub-

수학식 5에 따르면, 화소값 결정부(550)는 결정된 콘텐츠에서 부화소의 위치 좌표에 해당하는 화소값을 사용자 눈이 응시하는 부화소의 화소값으로 결정할 수 있다.According to Equation (5), the pixel value determining unit 550 can determine a pixel value corresponding to a position coordinate of a subpixel in a determined content as a pixel value of a subpixel to which the user's eye gazes.

그러면, 결정된 부화소는 부화소의 화소값에 따라 광선을 생성함으로써, 사용자 눈이 응시하는 입체 영상을 라이트 필드 디스플레이(570)에 표시할 수 있다. Then, the determined sub-pixel generates a light ray according to the pixel value of the sub-pixel, so that the stereoscopic image that the user's eye gazes on can be displayed on the light field display 570.

이때, 크로스토크 처리부(560)는 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 제거 또는 감소시킬 수 있다. 여기서, 나머지 부화소들은 3D 화소를 구성하는 부화소들 중 사용자 눈이 응시하는 광선을 생성하는 부화소를 제외한 부화소이다.At this time, the crosstalk processing unit 560 may remove or reduce crosstalk between the sub-pixels generating the light rays that the user's eye is looking at and the remaining sub-pixels. Here, the remaining sub-pixels are sub-pixels other than the sub-pixels that generate the light rays that the user's eye looks at among the sub-pixels constituting the 3D pixels.

일례로, 크로스토크 처리부(560)는 나머지 부화소들의 화소값을 0으로 설정할 수 있다. 그러면, 라이트 필드 디스플레이(570)에는 나머지 부화소들에서 생성하는 광선들은 표시되지 않으면서, 사용자 눈이 응시하는 광선이 표시될 수 있다. 이에 따라, 마이크로 렌즈 어레이 또는 배리어 어레이(Barrier Array)에서 발생할 수 있는 크로스토크가 감소 또는 제거될 수 있다.For example, the crosstalk processing unit 560 may set the pixel values of the remaining sub-pixels to zero. Then, light rays generated by the remaining sub-pixels are not displayed in the light field display 570, and light rays striking the user's eyes can be displayed. Accordingly, the crosstalk that can occur in the microlens array or the barrier array can be reduced or eliminated.

도 7은 사용자 눈의 위치에 기초하여 결정된 부화소를 이용하여 입체 영상을 표시하는 렌더링 방법을 설명하기 위해 제공되는 흐름도이다.7 is a flowchart illustrating a rendering method for displaying a stereoscopic image using a sub-pixel determined based on a position of a user's eye.

먼저, 710 단계에서, 렌더링 장치는 적어도 하나의 카메라로부터 수신한 센싱 데이터에 기초하여 사용자 눈의 위치를 결정할 수 있다. First, in step 710, the rendering apparatus can determine the position of the user's eye based on the sensing data received from at least one camera.

이때, 카메라는 라이트 필드 디스플레이 앞에 위치하는 사용자 눈의 위치를 촬영하여 생성된 센싱 데이터를 렌더링 장치로 전송할 수 있다. 그러면, 렌더링 장치는 3차원 공간 상에서 사용자 눈의 위치 좌표값(x, y, z)을 결정할 수 있다. 일례로, 렌더링 장치는 사용자 왼쪽 눈의 위치 좌표값(xL, yL, zL) 및 사용자 오른쪽 눈의 위치 좌표값(xR, yR, zR)을 결정할 수 있다. At this time, the camera can photograph the position of the user's eye located in front of the light field display and transmit the generated sensing data to the rendering device. Then, the rendering apparatus can determine the position coordinate value (x, y, z) of the user's eye in the three-dimensional space. In one example, the rendering apparatus may determine the user location coordinates of the left eye (x L, y L, z L), and position coordinates (x R, y R, z R) of the user's right eye.

이어, 720 단계에서, 렌더링 장치는 결정된 사용자 눈의 위치에 기초하여 3D 화소를 구성하는 부화소(subpixel)들 중 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정할 수 있다. 이때, 렌더링 장치는 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소마다 병렬적으로 결정할 수 있다. In step 720, the rendering device may determine a sub-pixel among the sub-pixels constituting the 3D pixel based on the determined position of the user's eye. At this time, the rendering apparatus can determine in parallel for each 3D pixel the sub-pixel that generates the light rays that the user's eye gazes at.

일례로, 렌더링 장치는 라이트 필드 디스플레이를 구성하는 복수의 3D 화소들 중 사용자 눈의 위치에 대응하는 3D 화소를 결정할 수 있다. 다시 말해, 렌더링 장치는 사용자 눈의 위치에 대응하는 3D 화소의 위치 좌표를 결정할 수 있다. 그리고, 렌더링 장치는 수학식 1에 따라 사용자 눈의 위치 좌표 및 3D 화소의 위치 좌표를 이용하여 가상 선의 수평 방향 기울기를 계산할 수 있다. 이어, 렌더링 장치는 수학식 2에 따라 사용자 눈의 위치 좌표 및 3D 화소의 위치 좌표를 이용하여 가상 선의 수직 방향 기울기를 계산할 수 있다. 그러면, 렌더링 장치는 위의 수학식 4에 따라, 3D 화소를 구성하는 부화소들 중 수평 방향 기울기 및 수직 방향 기울기와 가장 가까운 광선을 생성하는 부화소를 사용자 눈이 응시하는 부화소로 결정할 수 있다. 즉, 렌더링 장치는 사용자 눈이 응시하는 부화소의 위치 좌표를 결정할 수 있다.In one example, the rendering device may determine a 3D pixel corresponding to the position of the user's eye among a plurality of 3D pixels constituting the light field display. In other words, the rendering apparatus can determine the positional coordinates of the 3D pixel corresponding to the position of the user's eyes. The rendering apparatus can calculate the horizontal slope of the virtual line using the position coordinates of the user's eye and the position coordinates of the 3D pixel according to Equation (1). Then, the rendering apparatus can calculate the vertical slope of the virtual line using the position coordinates of the user eye and the 3D pixel according to Equation (2). Then, according to Equation (4), the rendering apparatus can determine a sub-pixel that generates a light ray closest to the horizontal slope and the vertical slope of the sub-pixels constituting the 3D pixel as a sub-pixel that the user's eye gazes at . That is, the rendering apparatus can determine the positional coordinates of the sub-pixel to which the user's eye gazes.

그리고, 730 단계에서, 렌더링 장치는 수평 방향 정보 및 수직 방향 정보에 기초하여 라이트 필드 디스플레이에 표시될 콘텐츠를 결정할 수 있다. 일례로, 렌더링 장치는, 위의 수학식 4를 이용하여 콘텐츠를 결정할 수 있다.Then, in step 730, the rendering apparatus can determine the content to be displayed on the light field display based on the horizontal direction information and the vertical direction information. In one example, the rendering apparatus may determine the content using Equation (4) above.

이어, 740 단계에서, 렌더링 장치는 결정된 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정할 수 있다. 일례로, 렌더링 장치는 위의 수학식 5를 이용하여 부화소의 화소값을 결정할 수 있다.In step 740, the rendering apparatus may determine the pixel value of the sub-pixel using the determined sub-pixel and the determined content. For example, the rendering apparatus can determine the pixel value of the subpixel using Equation (5) above.

그리고, 750 단계에서, 렌더링 장치는, 3D 화소를 구성하는 부화소들 중 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 제거 또는 감소시킬 수 있다. 여기서, 나머지 부화소들은 3D 화소를 구성하는 부화소들 중 사용자 눈이 응시하는 광선을 생성하는 부화소를 제외한 부화소이다. In operation 750, the rendering apparatus may remove or reduce crosstalk between the sub-pixels generating the rays of light that the user's eye looks at and the remaining sub-pixels among the sub-pixels constituting the 3D pixels. Here, the remaining sub-pixels are sub-pixels other than the sub-pixels that generate the light rays that the user's eye looks at among the sub-pixels constituting the 3D pixels.

일례로, 렌더링 장치는, 나머지 부화소들의 화소값을 0으로 설정할 수 있다. 그러면, 라이트 필드 디스플레이(570)에는 나머지 부화소들에서 생성하는 광선들은 표시되지 않으면서, 사용자 눈이 응시하는 광선이 표시될 수 있다.For example, the rendering apparatus can set the pixel values of the remaining sub-pixels to zero. Then, light rays generated by the remaining sub-pixels are not displayed in the light field display 570, and light rays striking the user's eyes can be displayed.

이상의 도 7에서, 720 내지 750 단계의 동작은 3D 화소마다 병렬적으로 수행될 수 있다.7, the operations of steps 720 to 750 may be performed in parallel for each 3D pixel.

일례로, 라이트 필드 디스플레이의 크기(size)가 1920×1080이고, 3D 화소의 크기가 10×10인 경우, 렌더링 장치는 192×108개의 연산 프로세스(process)를 이용하여 3D 화소 별로 사용자의 양 눈이 응시하는 광선을 생성하는 부화소를 병렬적으로 결정할 수 있다. 그리고, 렌더링 장치는 3D 화소 별로 결정된 부화소의 화소값에 기초하여 입체 영상을 라이트 필드 디스플레이에 재생할 수 있다. 이에 따라, 렌더링 장치는 연산 시간을 단축하여 입체 영상을 빨리 재생할 수 있다.For example, if the size of the light field display is 1920 x 1080 and the size of the 3D pixel is 10 x 10, the rendering device uses 192 x 108 computational processes to generate the user's eyes The sub-pixels generating the light rays to be gazed can be determined in parallel. The rendering apparatus can reproduce the stereoscopic image on the light field display based on the pixel value of the subpixel determined for each 3D pixel. Thus, the rendering apparatus can shorten the computation time and reproduce the stereoscopic image quickly.

지금까지, 도 5 내지 도 7에서 설명한 바와 같이, 렌더링 장치 및 방법은 수학식 1 및 수학식 2를 이용하여 사용자의 오른쪽 눈 및 사용자의 왼쪽 눈이 응시하고 있는 부화소를 각각 결정할 수 있다. 이에 따라, 렌더링 장치 및 방법은 사용자의 오른쪽 눈이 응시하는 부화소에서 생성한 광선 및 사용자의 왼쪽 눈이 응시하는 부화소에서 생성한 광선을 이용하여 입체 영상을 라이트 필드 디스플레이에 표시할 수 있다.As described in FIGS. 5 to 7, the rendering apparatus and method can determine the right eye of the user and the subpixels gazing at the left eye of the user using Equations (1) and (2), respectively. Accordingly, the rendering apparatus and method can display the stereoscopic image on the light field display using the light ray generated by the sub-pixel of the user's right eye and the light ray generated by the sub-pixel of the user's left eye.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

510: 카메라
520: 위치 결정부
530: 부화소 결정부
540: 콘텐츠 결정부
550: 화소값 결정부
560: 크로스토크 처리부
570: 라이트 필드 디스플레이510: camera
520: Positioning unit
530: Sub-
540:
550: Pixel value determination unit
560: Crosstalk processor
570: Light field display

Claims (20)

사용자 눈의 위치를 결정하는 위치 결정부; 및
3D(Dimension) 화소를 구성하는 부화소들 중 상기 사용자 눈의 위치에 기초하여 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는 부화소 결정부
를 포함하고,
상기 부화소 결정부는,
상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보에 기초하여 상기 부화소를 결정하는 부화소 렌더링 장치.A position determining unit for determining a position of a user eye; And
Pixel determining unit for determining a sub-pixel for generating a light beam that the user's eye gazes based on the position of the user's eye among the sub-pixels constituting the 3D (Dimension)
Lt; / RTI >
The sub-
And determines the sub-pixel based on horizontal direction information of a virtual line connecting the 3D pixel and the user's eye. 제1항에 있어서,
상기 부화소 결정부는,
상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수직 방향 정보를 더 이용하여 상기 부화소를 결정하는 것을 특징으로 하는 부화소 렌더링 장치.The method according to claim 1,
The sub-
Wherein the sub-pixel determination unit determines the sub-pixel by further using vertical direction information of a virtual line connecting the 3D pixel and the user's eye. 제1항에 있어서,
상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 라이트 필드(Light Field) 디스플레이에 표시될 콘텐츠를 결정하는 콘텐츠 결정부; 및
상기 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정하는 화소값 결정부
를 더 포함하는 부화소 렌더링 장치.The method according to claim 1,
A content determining unit that determines a content to be displayed on a light field display based on horizontal direction information of a virtual line connecting the 3D pixel and the user's eye and vertical direction information; And
A pixel value determination unit for determining a pixel value of the sub-pixel using the sub-pixel and the determined content,
Pixel sub-pixel. 제1항에 있어서,
상기 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 감소시키는 크로스토크 처리부
를 더 포함하고,
상기 나머지 부화소들은, 상기 3D 화소를 구성하는 부화소들 중 상기 사용자 눈이 응시하는 광선을 생성하는 부화소를 제외한 하나 이상의 부화소인 것을 특징으로 하는 부화소 렌더링 장치.The method according to claim 1,
A crosstalk processing unit for reducing a crosstalk between a sub-pixel generating the light beam that the user eye gazes and the remaining sub-
Further comprising:
Wherein the remaining sub-pixels are at least one sub-pixel other than a sub-pixel for generating a light beam that the user's eye gazes at, among the sub-pixels constituting the 3D pixel. 제1항에 있어서,
상기 사용자 눈의 위치를 촬영하는 적어도 하나의 카메라
를 더 포함하는 부화소 렌더링 장치.The method according to claim 1,
At least one camera for photographing the position of the user's eye
Pixel sub-pixel. 제5항에 있어서,
상기 위치 결정부는,
상기 카메라를 통해 촬영된 눈의 위치를 이용하여 공간 좌표 상에서 사용자 눈의 위치 좌표값을 결정하고,
상기 부화소 결정부는,
라이트 필드(Light Field) 디스플레이에서 상기 사용자 눈의 위치 좌표값에 기초하여 상기 부화소를 결정하는 것을 특징으로 하는 부화소 렌더링 장치.6. The method of claim 5,
Wherein the positioning unit comprises:
Determining a position coordinate value of the user's eye on the spatial coordinates using the position of the eye photographed through the camera,
The sub-
Wherein the sub-pixel determination unit determines the sub-pixel based on a position coordinate value of the user's eye in a light field display. 제1항에 있어서,
상기 부화소 결정부는,
상기 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소 별로 병렬적으로 결정하는 것을 특징으로 하는 부화소 렌더링 장치.The method according to claim 1,
The sub-
Wherein the sub-pixels generating the light rays that the user's eye gazes at are determined in parallel for each of the 3D pixels. 사용자 눈의 위치를 결정하는 단계; 및
3D 화소를 구성하는 부화소들 중 상기 사용자 눈의 위치에 기초하여 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는 단계
를 포함하고,
상기 부화소를 결정하는 단계는,
상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보에 기초하여 상기 부화소를 결정하는 부화소 렌더링 방법.Determining a position of the user's eye; And
Determining a sub-pixel for generating a ray of light based on the position of the user's eye among the sub-pixels constituting the 3D pixel;
Lt; / RTI >
Wherein the step of determining the sub-
And determining the sub-pixel based on horizontal direction information of an imaginary line connecting the 3D pixel and the user's eye. 제8항에 있어서,
상기 부화소를 결정하는 단계는,
상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수직 방향 정보를 더 이용하여 상기 부화소를 결정하는 것을 특징으로 하는 부화소 렌더링 방법.9. The method of claim 8,
Wherein the step of determining the sub-
Wherein the sub-pixel is determined by further using vertical direction information of a virtual line connecting the 3D pixel and the user's eye. 제8항에 있어서,
상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 라이트 필드(Light Field) 디스플레이에 표시될 콘텐츠를 결정하는 단계; 및
상기 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정하는 단계
를 더 포함하는 부화소 렌더링 방법.9. The method of claim 8,
Determining a content to be displayed on a light field display based on horizontal direction information of a virtual line connecting the 3D pixel and the user's eye and vertical direction information; And
Determining a pixel value of the sub-pixel using the sub-pixel and the determined content
Gt; sub-pixel < / RTI > 제8항에 있어서,
상기 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 감소시키는 단계
를 더 포함하고,
상기 나머지 부화소들은, 상기 3D 화소를 구성하는 부화소들 중 상기 사용자 눈이 응시하는 광선을 생성하는 부화소를 제외한 하나 이상의 부화소인 것을 특징으로 하는 부화소 렌더링 방법.9. The method of claim 8,
Reducing the crosstalk between the sub-pixels generating the light rays that the user's eye is gazing at and the remaining sub-pixels
Further comprising:
Wherein the remaining sub-pixels are at least one of the sub-pixels constituting the 3D pixel except for a sub-pixel for generating a light beam that the user's eye gazes at. 제8항에 있어서,
적어도 하나의 카메라를 이용하여 상기 사용자 눈의 위치를 촬영하는 단계
를 더 포함하는 부화소 렌더링 방법.9. The method of claim 8,
Photographing a position of the user's eye using at least one camera
Gt; sub-pixel < / RTI > 제12항에 있어서,
상기 사용자 눈의 위치를 결정하는 단계는,
상기 카메라를 통해 촬영된 눈의 위치를 이용하여 공간 좌표 상에서 사용자 눈의 위치 좌표값을 결정하고,
상기 부화소를 결정하는 단계는,
라이트 필드(Light Field) 디스플레이에서 상기 사용자 눈의 위치 좌표값에 기초하여 상기 부화소를 결정하는 것을 특징으로 하는 부화소 렌더링 방법.13. The method of claim 12,
Wherein the step of determining the position of the user's eyes comprises:
Determining a position coordinate value of the user's eye on the spatial coordinates using the position of the eye photographed through the camera,
Wherein the step of determining the sub-
Wherein the sub-pixel is determined based on a position coordinate value of the user's eye in a light field display. 제8항에 있어서,
상기 부화소를 결정하는 단계는,
상기 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소 별로 병렬적으로 결정하는 것을 특징으로 하는 부화소 렌더링 방법.9. The method of claim 8,
Wherein the step of determining the sub-
Wherein the sub-pixels generating the rays of light that the user's eye gazes at are determined in parallel for each of the 3D pixels. 제8항 내지 제14항 중 ���느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium on which a program for executing the method of any one of claims 8 to 14 is recorded. 사용자 눈을 촬영하는 카메라;
상기 촬영된 사용자 눈의 위치를 결정하고, 상기 결정된 사용자 눈의 위치에 기초하여 3D 화소를 구성하는 부화소들 중 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하며, 상기 결정된 부화소 및 디스플레이에 표시될 콘텐츠를 이용하여 상기 결정된 부화소의 픽셀 값을 결정하는 렌더링 장치; 및
상기 결정된 픽셀 값에 기초하여 광선을 생성하는 디스플레이
를 포함하고,
상기 렌더링 장치는,
상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보에 기초하여 상기 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는 라이트 필드 디스플레이 시스템.A camera for photographing the user's eyes;
Determines a position of the photographed user's eye and determines a sub-pixel that generates a light ray that the user's eye looks at, among the sub-pixels constituting the 3D pixel based on the determined position of the user's eye, A determination unit configured to determine a pixel value of the determined sub-pixel using a content to be displayed on the display unit; And
A display for generating a ray based on the determined pixel value,
Lt; / RTI >
The rendering apparatus includes:
And determines a sub-pixel for generating a light beam that the user's eye gazes based on horizontal direction information of a virtual line connecting the 3D pixel and the user's eye. 제16항에 있어서,
상기 렌더링 장치는,
상기 3D 화소와 상기 사용자 눈을 연결하는 가상 선의 수직 방향 정보를 더 이용하여 상기 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는, 라이트 필드 디스플레이 시스템.17. The method of claim 16,
The rendering apparatus includes:
Wherein the vertical direction information of the virtual line connecting the 3D pixel and the user's eye is further used to determine a sub-pixel that generates a light beam that the user's eye gazes at. ��17항에 있어서,
상기 렌더링 장치는,
상기 가상 선의 수평 방향 기울기 및 상기 가상 선의 수직 방향 기울기를 계산하고, 상기 계산된 수평 방향 기울기 및 수직 방향 기울기에 기초하여 상기 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는, 라이트 필드 디스플레이 시스템.18. The method of claim 17,
The rendering apparatus includes:
Wherein the light field display system calculates a horizontal slope of the virtual line and a vertical slope of the virtual line, and determines a sub-pixel that generates a light beam that the user eye is gazing based on the calculated horizontal slope and vertical slope, . 제17항에 있어서,
상기 렌더링 장치는,
상기 3D 화소에서 생성된 서로 다른 방향의 광선들 중에서 상기 가상 선의 수평 방향 기울기와 수직 방향 기울기에 가장 유사한 기울기를 가지는 광선을 선택하고, 상기 선택된 광선을 생성하는 부화소를 상기 사용자 눈이 응시하는 부화소로 결정하는, 라이트 필드 디스플레이 시스템.18. The method of claim 17,
The rendering apparatus includes:
A light beam having a slope most similar to a horizontal slope and a vertical slope of the virtual line among the light beams in different directions generated in the 3D pixel is selected and the sub- Pixel as a pixel. 제16항에 있어서,
상기 렌더링 장치는,
상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보 및 수직 방향 정보에 기초하여 상기 디스플레이에 표시될 콘텐츠를 결정하는, 라이트 필드 디스플레이 시스템.17. The method of claim 16,
The rendering apparatus includes:
And determines a content to be displayed on the display based on horizontal direction information and vertical direction information of a virtual line connecting the 3D pixel and the user's eyes.
KR1020100137698A 2010-12-29 2010-12-29 Apparatus and Method for Rendering Subpixel Adaptively Active KR101675961B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100137698A KR101675961B1 (en) 2010-12-29 2010-12-29 Apparatus and Method for Rendering Subpixel Adaptively
US13/333,368 US9270981B2 (en) 2010-12-29 2011-12-21 Apparatus and method for adaptively rendering subpixel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100137698A KR101675961B1 (en) 2010-12-29 2010-12-29 Apparatus and Method for Rendering Subpixel Adaptively

Publications (2)

Publication Number Publication Date
KR20120075829A KR20120075829A (en) 2012-07-09
KR101675961B1 true KR101675961B1 (en) 2016-11-14

Family

ID=46380375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100137698A Active KR101675961B1 (en) 2010-12-29 2010-12-29 Apparatus and Method for Rendering Subpixel Adaptively

Country Status (2)

Country Link
US (1) US9270981B2 (en)
KR (1) KR101675961B1 (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953686B1 (en) * 2011-11-30 2019-05-23 삼성전자주식회사 Image processing apparatus and method for rendering subpixel
US8581929B1 (en) 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
KR101944911B1 (en) * 2012-10-31 2019-02-07 삼성전자주식회사 Image processing method and image processing apparatus
KR20140061098A (en) * 2012-11-13 2014-05-21 엘지전자 주식회사 Image display apparatus and method for operating the same
RU2013118993A (en) * 2013-04-23 2013-09-10 Александр Николаевич Лукоянов ADAPTIVE VIDEO IMPLEMENTATION METHOD
KR102240568B1 (en) * 2014-08-18 2021-04-16 삼성전자주식회사 Method and apparatus for processing image
KR102250821B1 (en) 2014-08-20 2021-05-11 삼성전자주식회사 Display apparatus and operating method thereof
KR102281690B1 (en) 2014-12-01 2021-07-26 삼성전자주식회사 Method and apparatus for generating 3 dimension image
KR102333267B1 (en) 2014-12-10 2021-12-01 삼성전자주식회사 Apparatus and method for predicting eye position
EP3185550A1 (en) 2015-12-23 2017-06-28 Thomson Licensing Tridimensional rendering with adjustable disparity direction
EP3220351A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for processing lightfield data
EP4567734A3 (en) 2016-04-12 2025-07-30 Quidient, LLC Quotidian scene reconstruction engine
CN106154567B (en) * 2016-07-18 2018-12-04 北京邮电大学 A kind of imaging method and device of 3 d light fields display system
CN119135920A (en) 2018-05-02 2024-12-13 奎蒂安特有限公司 Codec for handling scenes with almost unlimited detail
US10623714B2 (en) * 2018-05-24 2020-04-14 Innolux Corporation Stereoscopic display device and method for operating using pixel offset map
KR102608471B1 (en) 2018-11-06 2023-12-01 삼성전자주식회사 Method and apparatus for eye tracking

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677569B1 (en) 2004-12-13 2007-02-02 삼성전자주식회사 3D image display apparatus
JP5006587B2 (en) 2006-07-05 2012-08-22 株式会社エヌ・ティ・ティ・ドコモ Image presenting apparatus and image presenting method
JP5235901B2 (en) * 2007-02-13 2013-07-10 三星ディスプレイ株式會社 Subpixel layout and subpixel rendering method and system for directional display devices
DE102007055026B4 (en) * 2007-11-15 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and device for autostereoscopic display of image information
KR100910922B1 (en) 2007-11-30 2009-08-05 한국전자통신연구원 Multi-layered barrier driving device and method that varies depending on viewing distance
US8179479B2 (en) * 2008-06-09 2012-05-15 Himax Media Solutions, Inc. Method for separating luminance and chrominance of composite TV analog signal
KR100976141B1 (en) 2008-12-26 2010-08-16 광운대학교 산학협력단 Image Position Control System and Method for Autostereoscopic Display Using Depth Camera
TWI459796B (en) * 2009-12-29 2014-11-01 Ind Tech Res Inst A method and a device for generating a multi-views three-dimensional (3d) stereoscopic image
US20110181587A1 (en) * 2010-01-22 2011-07-28 Sony Corporation Image display device having imaging device

Also Published As

Publication number Publication date
KR20120075829A (en) 2012-07-09
US9270981B2 (en) 2016-02-23
US20120169724A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
KR101675961B1 (en) Apparatus and Method for Rendering Subpixel Adaptively
JP4764305B2 (en) Stereoscopic image generating apparatus, method and program
KR102121389B1 (en) Glassless 3d display apparatus and contorl method thereof
KR101629479B1 (en) High density multi-view display system and method based on the active sub-pixel rendering
JP6308513B2 (en) Stereoscopic image display apparatus, image processing apparatus, and stereoscopic image processing method
KR102030830B1 (en) Curved multiview image display apparatus and control method thereof
JP6681675B2 (en) Image processing method and apparatus
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
TWI665905B (en) Method for generating three-dimensional image, imaging method and system
KR101289544B1 (en) Three-dimensional image display apparatus, method and computer readable medium
JP6060329B2 (en) Method for visualizing 3D image on 3D display device and 3D display device
US20120306860A1 (en) Image generation system, image generation method, and information storage medium
KR20130061042A (en) Image processing apparatus and method for rendering subpixel
KR101975246B1 (en) Multi view image display apparatus and contorl method thereof
EP3779892A1 (en) Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method and image display method
TWI521941B (en) Stereoscopic image display device and method
JP5476910B2 (en) Image generating apparatus, image generating method, and program
US20100079578A1 (en) Apparatus, method and computer program product for three-dimensional image processing
CN110662012A (en) Naked eye 3D display effect optimization drawing arranging method and system and electronic equipment
JP5366547B2 (en) Stereoscopic display device
US20060066718A1 (en) Apparatus and method for generating parallax image
US8849012B2 (en) Image processing apparatus and method and computer readable medium having a program for processing stereoscopic image
WO2022158328A1 (en) Information processing apparatus, information processing method, and program
WO2014119555A1 (en) Image processing device, display device and program
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 10