KR102804647B1 - Device And Method For Pre-processing Data - Google Patents

Device And Method For Pre-processing Data Download PDF

Info

Publication number
KR102804647B1
KR102804647B1 KR1020160137749A KR20160137749A KR102804647B1 KR 102804647 B1 KR102804647 B1 KR 102804647B1 KR 1020160137749 A KR1020160137749 A KR 1020160137749A KR 20160137749 A KR20160137749 A KR 20160137749A KR 102804647 B1 KR102804647 B1 KR 102804647B1
Authority
KR
South Korea
Prior art keywords
image
image frame
sensing
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160137749A
Other languages
Korean (ko)
Other versions
KR20180044094A (en
Inventor
김기열
백동석
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020160137749A priority Critical patent/KR102804647B1/en
Publication of KR20180044094A publication Critical patent/KR20180044094A/en
Application granted granted Critical
Publication of KR102804647B1 publication Critical patent/KR102804647B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

데이터 전처리 방법이 개시된다. 본 발명의 일 실시 예에 따른 데이터 전처리 방법은 적어도 하나의 센싱 디바이스로부터 수집된 데이터를 기초로 이미지 프레임을 생성하는 단계, 상기 이미지 프레임으로부터 이미지 ��처(Feature)를 추출하는 단계, 및 기계 학습을 수행하기 위해 상기 이미지 피처를 소정의 기계 학습 알고리즘의 입력 패러미터(Parameter)로 설정하는 단계를 포함할 수 있다.A data preprocessing method is disclosed. A data preprocessing method according to an embodiment of the present invention may include a step of generating an image frame based on data collected from at least one sensing device, a step of extracting an image feature from the image frame, and a step of setting the image feature as an input parameter of a predetermined machine learning algorithm to perform machine learning.

Description

데이터 전처리 방법 및 데이터 전처리 장치{Device And Method For Pre-processing Data}{Device And Method For Pre-processing Data}

본 발명은 데이터 전처리 방법 및 데이터 전처리 장치에 관한 것이다.The present invention relates to a data preprocessing method and a data preprocessing device.

지금까진 인터넷에 연결된 기기들이 정보를 주고받으려면 인간의 “조작”이 개입돼야 했다. 사물인터넷(IoT, Internet of Things) 시대가 열리면 인터넷에 연결된 기기는 사람의 도움 없이 서로 알아서 정보를 주고 받으며 대화를 나눌 수 있다. 블루투스나 근거리무선통신(NFC), 센서데이터, 네트워크가 이들의 자율적인 소통을 돕는 기술이 된다. Until now, devices connected to the Internet had to be “manipulated” by humans to exchange information. When the Internet of Things (IoT) era opens, devices connected to the Internet can communicate and exchange information with each other without human help. Bluetooth, near-field communication (NFC), sensor data, and networks are the technologies that help these devices communicate autonomously.

IoT 디바이스 각각은 센서를 구비하여 온도, 습도, 열, 가스, 조도, 초음파 등을 감지할 수 있다. IoT 디바이스로부터 수집된 데이터는 전처리 과정, 모델 학습 과정 및 테스트 과정을 수행될 수 있다. 이��, 수집되는 데이터는 형식(문자, 숫자, 상태 등)이 다를 수 있으며 숫자들의 범위도 서로 다르게 될 수 있다. Each IoT device is equipped with sensors that can detect temperature, humidity, heat, gas, illuminance, ultrasound, etc. Data collected from IoT devices can undergo preprocessing, model learning, and testing. At this time, the collected data may have different formats (characters, numbers, status, etc.) and the ranges of numbers may also be different.

이에 따라 보다 센싱 데이터를 보다 효율적으로 처리하는 방법의 대두가 요청된다.Accordingly, there is a need for methods to process sensing data more efficiently.

특허공개공보 10-2014-0096585호(공개일 2016.04.18.)Patent Publication No. 10-2014-0096585 (Published on April 18, 2016)

실시 예의 일 목적은 센싱 데이터를 이미지로 가공하여 수집하는 데이터 전처리 방법 및 데이터 전처리 장치를 제공하는데 있다.One purpose of the embodiment is to provide a data preprocessing method and a data preprocessing device that collect sensing data by processing it into an image.

실시 예의 다른 목적은 가공된 이미지에서 신경망 알고리즘을 적용하여 이미지 피처(Feature)를 추출하는 디바이스를 제공하는데 있다.Another purpose of the embodiment is to provide a device for extracting image features by applying a neural network algorithm to a processed image.

본 발명의 일 실시 예에 따른 데이터 전처리 방법은 적어도 하나의 센싱 디바이스로부터 수집된 데이터를 기초로 이미지 프레임을 생성하는 단계; 상기 이미지 프레임으로부터 이미지 피처(Feature)를 추출하는 단계; 및 기계 학습을 수행하기 위해 상기 이미지 피처를 소정의 기계 학습 알고리즘의 입력 패러미터(Parameter)로 설정하는 단계;를 포함할 수 있다.A data preprocessing method according to one embodiment of the present invention may include: a step of generating an image frame based on data collected from at least one sensing device; a step of extracting an image feature from the image frame; and a step of setting the image feature as an input parameter of a predetermined machine learning algorithm to perform machine learning.

본 발명의 일 실시예에 따른 데이터 전처리 장치는, 적어도 하나의 센싱 디바이스로부터 수집된 데이터를 기초로 이미지 프레임을 생성하는 이미지 가공부; 상기 이미지 프레임으로부터 이미지 피처(Feature)를 추출하는 피처 추출부; 및 기계 학습을 수행하기 위해 상기 이미지 피처를 소정의 기계 학습 알고리즘의 입력 패러미터(Parameter)로 설정하는 제어부;를 포함할 수 있다.A data preprocessing device according to one embodiment of the present invention may include an image processing unit that generates an image frame based on data collected from at least one sensing device; a feature extraction unit that extracts an image feature from the image frame; and a control unit that sets the image feature as an input parameter of a predetermined machine learning algorithm to perform machine learning.

실시 예에 따르면 수집되는 데이터의 형식, 종류 등에 무관하게 기계 학습 알고리즘으로 입력되는 데이터에 대한 전처리 과정 없이 데이터가 처리되어 디바이스 효율성이 향상될 수 있다.According to an embodiment, data can be processed without a preprocessing process for data input into a machine learning algorithm regardless of the format or type of data collected, thereby improving device efficiency.

도 1은 본 발명의 일 실시 예에 따른 데이터 처리 장치의 블록도이다.
도 2는 수집된 데이터를 이미지로 가공하는 방법을 설명하는 흐름도이다.
도 3은 수집된 데이터를 이미지로 가공한 일 예를 나타내는 도면이다.
도 4는 수집된 데이터를 이미지로 가공한 다른 예를 나타내는 도면이다.
도 5는 수집된 데이터를 이미지로 가공한 또 다른 예를 나타내는 도면이다.
도 6은 이미지 프레임을 이용한 이미지 피처의 추출 및 이용 과정을 설명하기 위한 도면이다.
도 7은 도 6에 도시된 CNN의 동작을 보다 상세히 설명하기 위한 도면이다.
도 8은 도 6에 도시된 기계 학습 알고리즘을 보다 상세히 설명하기 위한 도면이다.FIG. 1 is a block diagram of a data processing device according to an embodiment of the present invention.
Figure 2 is a flowchart explaining a method of processing collected data into an image.
Figure 3 is a drawing showing an example of processing collected data into an image.
Figure 4 is a drawing showing another example of processing collected data into an image.
Figure 5 is a diagram showing another example of processing collected data into an image.
Figure 6 is a drawing for explaining the process of extracting and utilizing image features using image frames.
Figure 7 is a diagram to explain the operation of the CNN illustrated in Figure 6 in more detail.
Figure 8 is a diagram for explaining the machine learning algorithm illustrated in Figure 6 in more detail.

이하에서는 도면을 참고하여 본 발명을 설명하기로 한다.Hereinafter, the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 데이터 처리 장치의 블록도이다.FIG. 1 is a block diagram of a data processing device according to one embodiment of the present invention.

도 1에 따르면, 데이터 처리 장치(100)는 센싱 데이터 수집부(110), 이미지 가공부(120), 피처(Feature) 추출부 및 제어부(140)를 포함할 수 있다.According to FIG. 1, a data processing device (100) may include a sensing data collection unit (110), an image processing unit (120), a feature extraction unit, and a control unit (140).

센싱 데이터 수집부(110)는 각종 센싱 디바이스(10)로부터 센싱 정보를 수집할 수 있다. 센싱 디바이스(10)는 온도, 습도, 열, 가스, 조도, 초음파 등을 감지하는 센서, 온/오프 상태를 갖는 스위치, 시간에 따른 전력 사용량을 측정할 수 있는 전력량 측정계, 현재 온도/설정 온도/송풍 강도 등에 대한 데이터를 수집하는 에어컨 등의 다양한 IoT(Internet of Things) 디바이스일 수 있으나, 실시 예는 이에 국한되지 않는다.The sensing data collection unit (110) can collect sensing information from various sensing devices (10). The sensing devices (10) can be various IoT (Internet of Things) devices such as sensors that detect temperature, humidity, heat, gas, illuminance, ultrasound, etc., switches having on/off states, power meters that can measure power usage over time, air conditioners that collect data on current temperature/set temperature/blowing intensity, etc., but the embodiments are not limited thereto.

또한, 센싱 데이터 수집부(110)는 각종 센싱 디바이스(10)의 디바이스 정보를 수집할 수 있다.Additionally, the sensing data collection unit (110) can collect device information of various sensing devices (10).

즉, 센싱 데이터 수집부(110)는 다수의 센싱 디바이스(10)들로부터 디바이스 정보 및 그에 대응하는 센싱 정보를 수집할 수 있으며, 센싱 정보는 센싱 디바이스(10)에 따라 데이터의 의미, 형식(format; 문자, 숫자, 상태 등), 수치의 범위(range)가 서로 달라질 수 있다.That is, the sensing data collection unit (110) can collect device information and corresponding sensing information from a plurality of sensing devices (10), and the sensing information may have different meanings, formats (characters, numbers, states, etc.), and numerical ranges depending on the sensing device (10).

이미지 가공부(120)는 제어부(140)의 제어에 따라 수집된 데이터(디바이스 정보 및 센싱 정보)를 이미지로 가공하는 모듈이다. 즉, 이미지 가공부(120)는 특정 시점에서 적어도 하나의 센싱 디바이스(10)로부터 수집된 디바이스 정보와 센싱 정보를 이미지 프레임으로 가공할 수 있다. 하나의 이미지 프레임에는 적어도 하나의 센싱값이 포함될 수 있다.The image processing unit (120) is a module that processes collected data (device information and sensing information) into an image under the control of the control unit (140). That is, the image processing unit (120) can process device information and sensing information collected from at least one sensing device (10) at a specific point in time into an image frame. One image frame can include at least one sensing value.

피처 추출부(130)는 ���미지 프레임에서 이미지 피처를 추출할 수 있다. 피처 추출부(130)는 이미지 프레임에서 기계 학습의 입력값으로 사용되는 각종 이미지 피처를 추출할 수 있다. The feature extraction unit (130) can extract image features from an image frame. The feature extraction unit (130) can extract various image features used as input values for machine learning from the image frame.

제어부(140)는 추출된 이미지 피처를 입력값으로 하여 각종 데이터를 처리 및 분석할 수 있다.The control unit (140) can process and analyze various data using extracted image features as input values.

이하에서는 제어부(140)가 센싱 데이터 수집부(110) 및 이미지 가공부(120)를 제어하여 수집된 데이터를 이미지로 가공하는 방법을 설명하기로 한다.Below, a method for processing collected data into images by controlling the control unit (140) to control the sensing data collection unit (110) and the image processing unit (120) will be described.

도 2는 수집된 데이터를 이미지로 가공하는 방법을 설명하는 흐름도이다. 도 3은 수집된 데이터를 이미지로 가공한 일 예를 나타내는 도면이다. 도 4는 수집된 데이터를 이미지로 가공한 다른 예를 나타내는 도면이다. 도 5는 수집된 데이터를 이미지로 가공한 또 다른 예를 나타내는 도면이다.Figure 2 is a flow chart illustrating a method of processing collected data into an image. Figure 3 is a drawing showing an example of processing collected data into an image. Figure 4 is a drawing showing another example of processing collected data into an image. Figure 5 is a drawing showing another example of processing collected data into an image.

도 2을 참조하면, 제어부(140)는 초기시점(t0)에 분석할 데이터를 센싱 디바이스(10)로부터 센싱 데이터 수집부(110)를 제어하여 수집한다(S210). 따라서, 분석할 데이터에는 센싱 디바이스(10)에 대응되는 디바이스 정보 및 센싱 정보가 포함될 수 있다.Referring to Fig. 2, the control unit (140) controls the sensing data collection unit (110) to collect data to be analyzed from the sensing device (10) at the initial time (t0) (S210). Accordingly, the data to be analyzed may include device information and sensing information corresponding to the sensing device (10).

이미지 가공부(120)는 N*M(N, M은 각각 픽셀의 개수를 의미하며, 1이상의 정수임) 크기의 이미지 버퍼(Image Buffer)를 할당할 수 있다(S220). 즉, 이미지 가공부(120)는 초기 시점(t0)에서 수집된 데이터를 기초로 생성될 이미지 프레임이 저장될 수 있도록 상기 이미지 프레임의 크기에 대응되는 저장 공간을 이미지 가공부(120)에 포함된 메모리에 할당할 수 있다. 여기서, 할당된 저장 공간을 이미지 버퍼라 정의하고, N과 M은 데이터 처리 장치(100)가 연결되어 데이터를 수집하는 센싱 디바이스(10)의 개수, 종류 등에 따라 가변될 수 있고 임의로 설정된 값일 수 있다. The image processing unit (120) can allocate an image buffer of the size of N*M (N and M each represent the number of pixels and are integers greater than or equal to 1) (S220). That is, the image processing unit (120) can allocate a storage space corresponding to the size of the image frame to be generated based on the data collected at the initial time point (t0) to the memory included in the image processing unit (120) so that the image frame can be stored. Here, the allocated storage space is defined as an image buffer, and N and M can vary depending on the number, type, etc. of the sensing devices (10) connected to the data processing device (100) to collect data, and can be arbitrarily set values.

이미지 가공부(120)는 시간 t에서 센싱 디바이스(10)로부터 수집된 데이터(디바이스 정보 및 센싱 정보)를 기초로 이미지 프레임을 생성할 수 있다(S230).The image processing unit (120) can generate an image frame based on data (device information and sensing information) collected from the sensing device (10) at time t (S230).

도 3을 참조하면, 센싱 데이터 수집부(110)가 수집한 데��터는 센싱 디바이스(10)의 종류(플러그)에 대한 ���바이스 정보 및 센싱 디바이스(10)의 명칭(플러그1), 모델명(SN0002), 설치장소/연결장치(TV), 상태 정보(연결된 상태)에 대한 센싱 정보를 포함한다고 가정한다. 여기서, 센싱 정보에 포함된 명칭, 모델명, 설치장소/연결장치, 상태 정보는 센싱 정보에 포함될 수 있는 정보의 예시에 불과하며, 센싱 디바이스(10)의 종류, 기종 등에 따라 센싱 정보는 다양한 정보를 포함할 수 있다.Referring to FIG. 3, it is assumed that the data collected by the sensing data collection unit (110) includes device information about the type (plug) of the sensing device (10) and sensing information about the name (plug 1), model name (SN0002), installation location/connection device (TV), and status information (connected status) of the sensing device (10). Here, the name, model name, installation location/connection device, and status information included in the sensing information are only examples of information that may be included in the sensing information, and the sensing information may include various information depending on the type, model, etc. of the sensing device (10).

이미지 가공부(120)는 N*M 픽셀의 크기를 가지는 이미지 프레임을 생성 및 저장하기 위해 N*M 픽셀의 크기를 갖는 이미지 버퍼(300)를 할당할 수 있다.The image processing unit (120) can allocate an image buffer (300) having a size of N*M pixels to generate and store an image frame having a size of N*M pixels.

이후, 이미지 가공부(120)는 디바이스 정보로부터 센싱 디바이스(10)가 플러그임을 인식할 수 있고, 플러그에 대응하는 아이콘을 이미지 버퍼(300)에 삽입함에 의해 중간 이미지 프레임(310)을 생성할 수 있다. 이미지 가공부(120)는 적어도 1회 이상 연결되었던 센싱 디바이스(10)에 대한 아이콘을 센싱 디바이스(10)의 종류별로 미리 저장할 수 있으며, 이미지 가공부(120)는 현재의 디바이스 정보에 대응하는 아이콘을 미리 저장된 아이콘들로부터 로딩하여 이미지 버퍼(300)에 삽입할 수 있다.Thereafter, the image processing unit (120) can recognize that the sensing device (10) is a plug from the device information, and can generate an intermediate image frame (310) by inserting an icon corresponding to the plug into the image buffer (300). The image processing unit (120) can store icons for sensing devices (10) that have been connected at least once in advance according to the type of sensing device (10), and the image processing unit (120) can load an icon corresponding to the current device information from the pre-stored icons and insert it into the image buffer (300).

그리고, 이미지 가공부(120)는 센싱 정보로부터 센싱 디바이스(10)의 명칭(플러그1), 모델명(SN0002), 설치장소/연결장치(TV) 및 상태 정보(연결된 상태)를 인식할 수 있고, 각 데이터를 중간 이미지 프레임(310)에 삽입함에 의해 이미지 프레임(320)을 생성할 수 있다. 여기서, 이미지 가공부(120)가 명칭(플러그1), 모델명(SN0002), 설치장소/연결장치(TV) 및 상태 정보(연결)를 인식한다 함은, 통상의 전처리 과정(수치화 및 정규화)을 의미하는 것이 아니며, 단순히 '플러그1', 'SN0002', 'TV', '연결'을 문자(숫자도 포함) 그대로 인식한다는 것을 의미한다. And, the image processing unit (120) can recognize the name (plug 1), model name (SN0002), installation location/connection device (TV), and status information (connected status) of the sensing device (10) from the sensing information, and can generate the image frame (320) by inserting each data into the intermediate image frame (310). Here, the image processing unit (120) recognizing the name (plug 1), model name (SN0002), installation location/connection device (TV), and status information (connection) does not mean a typical preprocessing process (digitization and normalization), but simply recognizes 'plug 1', 'SN0002', 'TV', and 'connection' as characters (including numbers).

따라서, 이미지 프레임(320)은 센싱 디바이스(10)의 종류(플러그), 명칭(플러그1), 모델명(SN0002), 설치장소/연결장치(TV) 및 상태 정보(연결)를 그대로 이미지화하여 생성된 것을 의미한다. 센싱 디바이스(10)의 종류, 명칭, 모델명, 설치장소/연결장치 및 상태 정보 등이 이미지 프레임(320)에 삽입되는 위치, 크기 등은 얼마든지 변형될 수 있으며, 본 발명의 범위는 도 3의 방식에 한정되지 않는다.Accordingly, the image frame (320) means that the type (plug), name (plug 1), model name (SN0002), installation location/connection device (TV), and status information (connection) of the sensing device (10) are created by directly imaging them. The location, size, etc., where the type, name, model name, installation location/connection device, and status information of the sensing device (10) are inserted into the image frame (320) can be modified in any way, and the scope of the present invention is not limited to the method of FIG. 3.

도 4를 참조하면, 본 발명의 다른 실시예에 따른 이미지 프레임(400)은 도 3의 방식으로 생성된 복수 개의 서브 이미지 프레임이 하나의 이미지 프레임으로 구현된 것에 해당한다. 즉, 시간 t에서 데이터 처리 장치(100)는 복수 개의 센싱 디바이스(10)로부터 디바이스 정보와 센싱 정보를 수집할 수 있고, 이미지 가공부(120)는 각 센싱 디바이스(10) 별로 도 3의 방식을 통해 서브 이미지 프레임(410, 420, 430…)을 생성하여 이미지 프레임(400)을 생성할 수 있다. 이때, 도 4에서와 같이 이미지 프레임(400)의 동일한 행에는 동일한 종류의 센싱 디바이스에 해당하는 서브 이미지 프레임이 배치될 수 있으나(달리 말하면, 이미지 프레임(400)의 제1행에는 제1종류에 대응되는 서브 이미지 프레임들이 배치되고, 제2행에는 제2 종류에 대응되는 서브 이미지 프레임들이 배치됨), 본 발명의 범위는 이에 한정되지 않는다.Referring to FIG. 4, an image frame (400) according to another embodiment of the present invention corresponds to a plurality of sub-image frames generated in the manner of FIG. 3 being implemented as a single image frame. That is, at time t, the data processing device (100) can collect device information and sensing information from a plurality of sensing devices (10), and the image processing unit (120) can generate sub-image frames (410, 420, 430...) for each sensing device (10) in the manner of FIG. 3 to generate the image frame (400). At this time, as in FIG. 4, sub-image frames corresponding to the same type of sensing device may be arranged in the same row of the image frame (400) (in other words, sub-image frames corresponding to the first type are arranged in the first row of the image frame (400), and sub-image frames corresponding to the second type are arranged in the second row), but the scope of the present invention is not limited thereto.

즉, 도 5의 본 발명의 또 다른 실시예에 따른 이미지 프레임(500)과 같이, 이미지 프레임(500)의 동일한 행에 서로 다른 종류의 센싱 디바이스(전력량계와 가스락, 또는 플러그와 온도 조절기)에 해당하는 서브 이미지 프레임이 배치될 수도 있다.That is, as in the image frame (500) according to another embodiment of the present invention of FIG. 5, sub-image frames corresponding to different types of sensing devices (power meter and gas lock, or plug and temperature controller) may be arranged in the same row of the image frame (500).

다시 도 2를 참조하면, 시간 t에 해당하는 이미지 프레임의 생성이 완료되면, 이미지 가공부(120)는 생성된 이미지 프레임을 할당된 이미지 버퍼에 저장할 수 있다(S240).Referring again to FIG. 2, when the generation of an image frame corresponding to time t is completed, the image processing unit (120) can store the generated image frame in the allocated image buffer (S240).

센싱 데이터 수집부(110)는 초기 시점(t0)으로부터 소정의 타임 구간(예컨대, 1초)이 경과한 뒤 다시 센싱 디바이스(10)로부터 데이터를 수집할 수 있다(S250).The sensing data collection unit (110) can collect data from the sensing device (10) again after a predetermined time interval (e.g., 1 second) has elapsed from the initial time point (t0) (S250).

여기서, 수집된 데이터가 있는 경우(S260의 Yes), 제어부(140)는 이미지 버퍼를 할당하고 이미지 프레임을 생성 및 저장하고, 수집 데이터가 없는 경우(S260의 No) 시퀀스를 종료할 수 있다.Here, if there is collected data (Yes of S260), the control unit (140) can allocate an image buffer and generate and store an image frame, and if there is no collected data (No of S260), the sequence can be terminated.

도 6은 이미지 프레임을 이용한 이미지 피처의 추출 및 이용 과정을 설명하기 위한 도면이다. 도 7은 도 6에 도시된 CNN의 동작을 보다 상세히 설명하기 위한 도면이다. 도 8은 도 6에 도시된 기계 학습 알고리즘을 보다 상세히 설명하기 위한 도면이다.Fig. 6 is a diagram for explaining the process of extracting and utilizing image features using image frames. Fig. 7 is a diagram for explaining in more detail the operation of the CNN illustrated in Fig. 6. Fig. 8 is a diagram for explaining in more detail the machine learning algorithm illustrated in Fig. 6.

도 6을 참조하면, 이미지 가공부(120), 피처 추출부(130) 및 제어부(140)가 수행하는 데이터 처리 과정이 도시되어 있다. Referring to Figure 6, the data processing process performed by the image processing unit (120), feature extraction unit (130), and control unit (140) is illustrated.

전술한 바와 같이, 이미지 가공부(120)는 제어부(140)의 제어에 따라 센싱 디바이스(10)로부터 수집된 데이터(디바이스 정보 및 센싱 정보)를 이미지 프레임으로 가공할 수 있다(S0).As described above, the image processing unit (120) can process data (device information and sensing information) collected from the sensing device (10) into an image frame under the control of the control unit (140) (S0).

피처 추출부(130)는 이미지 프레임으로부터 이미지 피처를 추출할 수 있고(S1), 피처 추출부(130)는 도 6에 도시된 바와 같이, CNN(Convolutional Neural Network; 회선 신경망 기술)을 이용해 이미지 피처를 추출할 수 있으나 본 발명의 범위는 이에 한정되지 않는다. The feature extraction unit (130) can extract image features from an image frame (S1), and the feature extraction unit (130) can extract image features using a CNN (Convolutional Neural Network) as illustrated in FIG. 6, but the scope of the present invention is not limited thereto.

도 7을 참고하여 피처 추출부(130)가 이미지 피처를 추출하는 구체적인 방법을 설명하기로 한다.Referring to Fig. 7, a specific method for extracting image features by the feature extraction unit (130) will be described.

피처 추출부(130)는 소정 시간(t1 내지 t4)에 생성된 이미지 프레임들(IF_t1~IF_t4)을 제1 컨볼루션(Convolution) 과정(예컨대, 5x5 convolution), 제1 서브 샘플링(SubSampling) 과정(예컨대, 2x2 subsampling), 제2 컨볼루션 과정(예컨대, 5x5 convolution), 제2 서브 샘플링 과정(예컨대, 2x2 subsampling)을 통해 이미지 피처 정보를 추출할 수 있다. 여기서, 소정 시간 내에 생성된 이미지 프레임들(IF_t1~IF_t4)이 피처 추출부(130)에 동시에 입력되는 것은 일 예에 불과하며, 하나의 이미지 프레임씩 또는 2 이상의 이미지 프레임씩 동시에 입력될 수도 있다.The feature extraction unit (130) can extract image feature information from image frames (IF_t1 to IF_t4) generated at a predetermined time (t1 to t4) through a first convolution process (e.g., 5x5 convolution), a first sub-sampling process (e.g., 2x2 subsampling), a second convolution process (e.g., 5x5 convolution), and a second sub-sampling process (e.g., 2x2 subsampling). Here, the image frames (IF_t1 to IF_t4) generated within a predetermined time are simultaneously input to the feature extraction unit (130) is only an example, and one image frame at a time or two or more image frames may be simultaneously input.

컨볼루션 과정은 컨볼루션 피처를 이용하여 의미있는 자질을 입력된 이미지 프레임으로부터 추출할 수 있다. 서브 샘플링 과정은 이미지의 특성상 픽셀이 다수 존재하므로 피처를 줄이기위해 수행하는 과정이다(예컨대, max-pooling). 이는, 이미지 프레임으로부터 한 단계 더 높은 추상화된 정보를 추출�� 다음, 추상화된 정보로부터 가장 중요한 정보 만을 남기도록 압축 또는 요���하��� ���정이 ������되는 ������이다.The convolution process can extract meaningful features from the input image frame using the convolution feature. The subsampling process is a process performed to reduce features because there are many pixels due to the nature of the image (e.g., max-pooling). This is a structure in which the process of extracting one level higher abstract information from the image frame and then compressing or summarizing only the most important information from the abstract information is repeated.

다음으로, 도 8을 참고하여 제어부(140)가 수행하는 기계 학습 알고리즘을 보다 상세히 설명하기로 한다.Next, the machine learning algorithm performed by the control unit (140) will be described in more detail with reference to FIG. 8.

이미지 가공부(120)는 소정 시간(t1 내지 tn; n은 1이상의 정수)에 생성된 이미지 프레임(IF_t1~IF_tn)을 생성하고, 피처 추출부(130)는 이미지 프레임(IF_t1~IF_tn)을 입력으로 하여 각 시점에 대응하는 이미지 피처(또는 feature vector)를 출력할 수 있다.The image processing unit (120) generates image frames (IF_t1 to IF_tn) generated at a predetermined time (t1 to tn; n is an integer greater than or equal to 1), and the feature extraction unit (130) can input the image frames (IF_t1 to IF_tn) and output image features (or feature vectors) corresponding to each time point.

제어부(140)는 각 시점에서의 이미지 피처를 기계 학습 알고리즘의 입력 패러미터로 설정하여 기계 학습을 수행할 수 있는데(S2), 예컨대, RNN(Recurrent Neural Network) 알고리즘이 이용될 수 있다.The control unit (140) can perform machine learning by setting image features at each point in time as input parameters of a machine learning algorithm (S2). For example, a RNN (Recurrent Neural Network) algorithm can be used.

RNN 알고리즘은 순차적인 시점에 대응하는 이미지 피처를 분석 및 처리하는데 효과적이며, 동시에 입력되는 이미지 프레임의 수는 임의로 설정될 수 있다. RNN 알고리즘의 동작은 당업자에게 알려진 사항이므로, 구체적인 설명은 생략하기로 한다.The RNN algorithm is effective in analyzing and processing image features corresponding to sequential points in time, and the number of image frames input simultaneously can be arbitrarily set. Since the operation of the RNN algorithm is known to those skilled in the art, a detailed description will be omitted.

제어부(140)는 RNN 알고리즘을 통해 이미지 프레임(IF_t1~IF_tn) 각각에 포함된 정보를 추출할 수 있다.The control unit (140) can extract information included in each image frame (IF_t1 to IF_tn) through the RNN algorithm.

예를 들어, 제어부(140)는 도 3에 도시된 이미지 프레임(320)으로부터 센싱 디바이스(10)의 종류(플러그), 명칭(플러그1), 모델명(SN0002), 설치장소/연결장치(TV) 및 상태 정보(연결)를 인식할 수 있다.For example, the control unit (140) can recognize the type (plug), name (plug 1), model name (SN0002), installation location/connection device (TV), and status information (connection) of the sensing device (10) from the image frame (320) illustrated in FIG. 3.

이때, 제어부(140)는 센싱 디바이스(10)의 종류가 플러그이고, 명칭이 플러그 1이며, 모델명이 SN0002이고, 설치장소/연결장치가 TV이며, 상태가 연결된 상태라는 것을 비로소 인식할 수 있다.At this time, the control unit (140) can finally recognize that the type of the sensing device (10) is a plug, the name is plug 1, the model name is SN0002, the installation location/connection device is TV, and the status is connected.

또한, 제어부(140)는 도 4에 도시된 이미지 프레임(400)으로부터 복수의 센싱 디바이스(10) 각각에 대응하는 센싱 디바이스(10)의 종류, 명칭, 모델명, 설치장소/연결장치 및 상태 정보를 인식할 수 있다.In addition, the control unit (140) can recognize the type, name, model name, installation location/connection device, and status information of each sensing device (10) corresponding to a plurality of sensing devices (10) from the image frame (400) illustrated in FIG. 4.

아울러, 도 8에 도시된 이미지 프레임들(IF_t1~IF_tn)이 도 5에 도시된 이미지 프레임(500)과 같이 전력량계로부터 수집된 데이터에 기초하여 생성된 이미지 프레임일 경우, 제어부(140)는 각 시점에서의 전력 사용량(150kWh, 151kWh, … , 200kWh)을 인식할 수 있다.In addition, if the image frames (IF_t1 to IF_tn) illustrated in FIG. 8 are image frames generated based on data collected from a power meter, like the image frame (500) illustrated in FIG. 5, the control unit (140) can recognize the power usage (150 kWh, 151 kWh, ..., 200 kWh) at each point in time.

그리고, 제어부(140)에 의해 인식된 데이터의 검증을 통해, CNN과 RNN에 이용되는 학습 파라미터는 최적화될 수 있도록 조정될 수 있다.And, through verification of data recognized by the control unit (140), learning parameters used in CNN and RNN can be adjusted to be optimized.

데이터 처리 장치(100)에 의해 수행되는 동작 중에서 제어부(140)에 의한 기계 학습 이전의 동작들 즉, 이미지 가공부(120)에 의해 수행되는 적어도 하나의 센싱 디바이스로부터 수집된 데이터를 기초로 이미지 프레임을 생성하는 동작, 상기 이미지 프레임으로부터 이미지 피처를 추출하는 동작, 및 기계 학습을 수행하기 위해 상기 이미지 피처를 소정의 기계 학습 알고리즘의 입력 패러미터로 설정하는 동작은 데이터 전처리 방법을 구성할 수 있다.Among the operations performed by the data processing device (100), operations prior to machine learning by the control unit (140), that is, an operation of generating an image frame based on data collected from at least one sensing device performed by the image processing unit (120), an operation of extracting an image feature from the image frame, and an operation of setting the image feature as an input parameter of a predetermined machine learning algorithm to perform machine learning may constitute a data preprocessing method.

실시예에 따라, 제어부(140)가 수행하는 기계 학습은 외부에 구현되는 독립적인 장치에 의해 수행될 수 있으며, 이 경우 데이터 처리 장치(100)는 데이터 전처리 방법 만을 수행하는 데이터 전처리 장치로 정의될 수 있다. 여기서, 데이터 처리 장치(100)에 의한 데이터 전처리 방법은 통상적인 데이터 전처리 과정(수치화, 정규화 등)을 의미하는 것이 아니며, 이러한 데이터 전처리 과정 없이 데이터를 이미지화하고 이미지 인식을 통해 기계 학습에 이용되는 입력 패러미터를 추출하는 것을 의미한다.According to an embodiment, the machine learning performed by the control unit (140) may be performed by an independent device implemented externally, in which case the data processing device (100) may be defined as a data preprocessing device that performs only a data preprocessing method. Here, the data preprocessing method by the data processing device (100) does not mean a typical data preprocessing process (digitization, normalization, etc.), but means extracting input parameters used for machine learning by imaging data and using image recognition without such a data preprocessing process.

따라서, 본 발명의 일 실시예에 따른 데이터 처리 방법 및 데이터 처리 장치에 의하면, 기계 학습 알고리즘을 수행하기 위해 각 센싱 디바이스로부터 수집된 개별 데이터를 전처리(수치화, 정규화 등)하지 않고, 개별 데이터를 이미지화하고 이미지화된 데이터를 CNN을 통해 이미지 피처를 추출함으로써 개별 데이터의 전처리에 소요되는 시간 및 불필요한 연산을 최소화할 수 있다.Therefore, according to the data processing method and data processing device according to one embodiment of the present invention, the time required for preprocessing individual data and unnecessary operations can be minimized by imaging individual data and extracting image features from the imaged data through CNN without preprocessing (digitizing, normalizing, etc.) individual data collected from each sensing device to perform a machine learning algorithm.

상기와 같이 설명된 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. The method described above can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording media that store data that can be deciphered by a computer system. For example, there may be a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, etc. In addition, the computer-readable recording medium can be distributed to computer systems connected to a computer communications network, and stored and executed as a code that can be read in a distributed manner.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In addition, although the above has been described with reference to preferred embodiments of the present invention, it will be understood by those skilled in the art that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below.

Claims (10)

이미지 가공부와, 피처 추출부, 및 제어부를 포함하는 데이터 처리 장치에서의 데이터 전처리 방법에 있어서:
상기 이미지 가공부에서 적어도 하나의 센싱 디바이스로부터 수집된 디바이스 정보와 센싱 정보 중 적어도 하나를 포함하는 데이터를 기초로 N*M(N과 M은 1이상의 정수) 픽셀의 크기를 갖는 이미지 버퍼를 할당하고, 상기 디바이스 정보와 상기 센싱 정보 중 적어도 하나로부터 상기 센싱 디바이스에 대한 이미지 프레임을 가공하며, 상기 가공된 이미지 프레임을 생성하여 상기 할당된 이미지 버퍼에 저장하는 단계;
상기 피처 추출부에서 상기 이미지 프레임을 CNN(Convolutional Neural Network)의 입력으로 하여 이미지 피처(Feature)를 생성 추출하는 단계; 및
상기 제어부에서 기계 학습을 수행하기 위해 상기 이미지 피처를 RNN(Recurrent Neural Network) 알고리즘의 입력 패러미터(Parameter)로 설정하는 단계;를 포함하는 데이터 전처리 방법.A data preprocessing method in a data processing device including an image processing unit, a feature extraction unit, and a control unit:
A step of allocating an image buffer having a size of N*M (N and M are integers greater than or equal to 1) pixels based on data including at least one of device information and sensing information collected from at least one sensing device in the image processing unit, processing an image frame for the sensing device from at least one of the device information and the sensing information, and generating the processed image frame and storing it in the allocated image buffer;
A step of generating and extracting image features by using the image frame as input to a CNN (Convolutional Neural Network) in the above feature extraction unit; and
A data preprocessing method, comprising: a step of setting the image feature as an input parameter of an RNN (Recurrent Neural Network) algorithm to perform machine learning in the above control unit. 삭제delete 제1항에 있어서,
상기 이미지 가공부에서 상기 이미지 프레임의 가공은,
상기 디바이스 정보에 따른 상기 센싱 디바이스에 대응하는 아이콘 및 상기 센싱 정보에 따른 문자를 이미지로 생성하는 것을 특징으로 하는 데이터 전처리 방법.In the first paragraph,
In the image processing section above, the processing of the image frame is performed,
A data preprocessing method characterized by generating an icon corresponding to the sensing device according to the device information and a character according to the sensing information as an image. 제1항에 있어서,
상기 이미지 프레임은, 상기 이미지 프레임의 제1행에 배치되는 제1 종류의 센싱 디바이스에 대응되는 서브 이미지 프레임과, 상기 이미지 프레임의 제2행에 배치되는 제2 종류의 센싱 디바이스에 대응되는 서브 이미지 프레임을 포함하는 데이터 전처리 방법.In the first paragraph,
A data preprocessing method, wherein the image frame includes a sub-image frame corresponding to a first type of sensing device arranged in a first row of the image frame and a sub-image frame corresponding to a second type of sensing device arranged in a second row of the image frame. 삭제delete 적어도 하나의 센싱 디바이스로부터 수집된 디바이스 정보와 센싱 정보 중 적어도 하나를 포함하는 데이터를 기초로 N*M(N과 M은 1이상의 정수) 픽셀의 크기를 갖는 이미지 버퍼를 할당하고, 상기 디바이스 정보와 상기 센싱 정보 중 적어도 하나로부터 상기 센싱 디바이스에 대한 이미지 프레임을 가공하고, 상기 가공된 이미지 프레임을 생성하여 상기 할당된 이미지 버퍼에 저장하는 이미지 가공부;
상기 이미지 프레임을 CNN(Convolutional Neural Network)의 입력으로 하여 이미지 피처(Feature)를 생성 추출하는 피처 추출부; 및
기계 학습을 수행하기 위해 상기 이미지 피처를 RNN(Recurrent Neural Network) 알고리즘의 입력 패러미터(Parameter)로 설정하는 제어부;를 포함하는 데이터 전처리 장치.An image processing unit which allocates an image buffer having a size of N*M (N and M are integers greater than or equal to 1) pixels based on data including device information collected from at least one sensing device and at least one of the sensing information, processes an image frame for the sensing device from at least one of the device information and the sensing information, and generates the processed image frame and stores it in the allocated image buffer;
A feature extraction unit that generates and extracts image features by using the above image frame as input to a CNN (Convolutional Neural Network); and
A data preprocessing device including a control unit that sets the image feature as an input parameter of an RNN (Recurrent Neural Network) algorithm to perform machine learning. 삭제delete 제6항에 있어서,
상기 이미지 가공부는,
상기 디바이스 정보에 따른 상기 센싱 디바이스에 대응하는 아이콘 및 상기 센싱 정보에 따른 문자를 이미지로 생성하는 데이터 전처리 장치.In Article 6,
The above image processing section,
A data preprocessing device that generates an icon corresponding to the sensing device according to the device information and a character according to the sensing information as an image. 제6항에 있어서,
상기 이미지 프레임은, 상기 이미지 프레임의 제1행에 배치되는 제1 종류의 센싱 디바이스에 대응되는 서브 이미지 프레임과, 상기 이미지 프레임의 제2행에 배치되는 제2 종류의 센싱 디바이스에 대응되는 서브 이미지 프레임을 포함하는 데이터 전처리 장치.In Article 6,
A data preprocessing device, wherein the image frame includes a sub-image frame corresponding to a first type of sensing device arranged in a first row of the image frame, and a sub-image frame corresponding to a second type of sensing device arranged in a second row of the image frame. 삭제delete
KR1020160137749A 2016-10-21 2016-10-21 Device And Method For Pre-processing Data Active KR102804647B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160137749A KR102804647B1 (en) 2016-10-21 2016-10-21 Device And Method For Pre-processing Data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160137749A KR102804647B1 (en) 2016-10-21 2016-10-21 Device And Method For Pre-processing Data

Publications (2)

Publication Number Publication Date
KR20180044094A KR20180044094A (en) 2018-05-02
KR102804647B1 true KR102804647B1 (en) 2025-05-12

Family

ID=62183760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160137749A Active KR102804647B1 (en) 2016-10-21 2016-10-21 Device And Method For Pre-processing Data

Country Status (1)

Country Link
KR (1) KR102804647B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023008983A1 (en) 2021-07-30 2023-02-02 주식회사 딥엑스 Method for controlling image signal processor, and control device for performing same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075081A1 (en) * 2014-11-10 2016-05-19 Lego A/S System and method for toy recognition
KR101657495B1 (en) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 Image recognition method using deep learning analysis modular systems

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140096585A (en) 2013-01-28 2014-08-06 엘지전자 주식회사 Motion sensing remote control and operating method thereof
KR101665861B1 (en) * 2015-04-02 2016-10-14 한국과학기술원 System and method for processing data in environment of internet of things

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075081A1 (en) * 2014-11-10 2016-05-19 Lego A/S System and method for toy recognition
KR101657495B1 (en) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 Image recognition method using deep learning analysis modular systems

Also Published As

Publication number Publication date
KR20180044094A (en) 2018-05-02

Similar Documents

Publication Publication Date Title
CN112232293B (en) Image processing model training method, image processing method and related equipment
CN111444878B (en) A video classification method, device and computer-readable storage medium
EP3779800B1 (en) Image recognition method, apparatus, electronic device and storage medium
US11908160B2 (en) Method and apparatus for context-embedding and region-based object detection
JP6731529B1 (en) Single-pixel attack sample generation method, device, equipment and storage medium
CN111414913B (en) Character recognition method, recognition device and electronic equipment
CN112508041A (en) Training method of neural network for spray control based on classification result label
CN109740553B (en) Image semantic segmentation data screening method and system based on recognition
CN111226226A (en) Motion-based object detection method, object detection device and electronic device therefor
KR20200137107A (en) Apparatus and method for analyzing time-series data based on machine learning
CN111797971B (en) Method, device and electronic system for processing data by using convolutional neural network
KR102804647B1 (en) Device And Method For Pre-processing Data
KR102290857B1 (en) Artificial intelligence based smart user detection method and device using channel state information
CN112989875B (en) Face recognition method, face recognition device and storage medium
KR20190056873A (en) Apparatus for detecting object using multi neural network and method thereof, and method for learning detection of object
CN112766176A (en) Training method of lightweight convolutional neural network and face attribute recognition method
CN114596634A (en) Human behavior recognition method and device
CN112949694A (en) Intelligent hair care parameter control method based on information entropy of temperature label
CN116311551B (en) Liveness detection methods and systems
CN113837272B (en) Automatic driving long tail data enhancement method
CN112584108B (en) Monitoring method of line physical damage for UAV inspection
CN114511766A (en) Image identification method based on deep learning and related device
CN119544906B (en) Image processing methods, apparatus and storage media
KR102302745B1 (en) Method of acquiring image data, apparatus for acquiring image data, and computer program for the method
KR102932851B1 (en) Zero-knowledge proof-based method and system for determining object identity

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161021

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211019

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20161021

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240729

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250424

PG1601 Publication of registration