특허문서의 상세한 설명을 이용한 특허 자동분류에 1D-Convolutional Layer를 적용한 모델의 성능비교
Comparison of Performance of Models Applying 1D-convolutional Layer to Automatic Patent Classification using Detailed Descriptions of Patent Documents
김성훈(한성대학교 스마트융합컨설팅); 김승천(한성대학교 스마트융합컨설팅학과)
59권 1호, 21~28쪽
초록
사용자 정의 클래스를 이용한 특허분류에 있어서 특허분류 관점에 따라 특허의 상세한 설명이 분류 관점에 중요한 역할을 하는 경우가 있다. 이러한 특허분류를 순환신경망을 사용해서 자동분류를 한다면 상세한 설명의 긴 길이로 인해 좋은 성능을 내지 못하는 경우가 발생한다. 이러한 긴 시퀀스를 가진 데이터를 분류에 적용하는 방법으로 1D Convolutional Layer를 이용해서 긴 시퀀스를 줄인 후 순환신경망에 적용하거나 1D Convolutional Layer만을 사용하는 모델을 이용하는 방법이 있다. 본 연구에서는 특허 문서의 상세한 설명을 이용해서 특허 분류의 성능을 측정하고자 한다. 기존의 순환신경망인 LSTM 모델, 1D Convolutional Layer를 거친 후 LSTM 모델에 적용하는 방법(1D Conv. LSTM), 그리고 1D Convolutional Layer 만을 사용하는 WaveNet을 사용하는 모델을 정의하였다. 시퀀스의 길이가 6,000이상인 3가지의 특허 데이터셋의 분류 성능을 3가지 모델에 적용하여 정확도를 비교하였다. WaveNet이 3가지 데이터셋에 대해서 가장 높은 정확도를 보였고, LSTM이 가장 낮은 정확도를 보였다. WaveNet은 다른 두 모델에 비해 검증 손실에서도 안정적인 추이를 보였다. 데이터셋 #1에서 WaveNet는 1D Conv. LSTM 에 비해 14.5%, LSTM에 비해 17% 높은 정확도를 기록하였다. 데이터셋 #2에서 WaveNet는 1D Conv. LSTM 에 비해 3.1%, LSTM에 비해 9.8% 높은 정확도를 기록하였다. 데이터셋 #3에서 WaveNet과 1D Conv. LSTM 은 동일한 정확도를 기록하였고, LSTM에 비해 7.3% 높은 정확도를 기록하였다. 특허의 상세한 설명을 이용해서 만들어진 특허의 사용자 정의 클래스를 분류하는 경우 WaveNet은 기존의 순환신경망에 비해 적합한 모델이라고 판단된다.
Abstract
In patent classification using user-defined classes, the detailed description of a patent sometimes plays an important role in the classification point of view depending on the patent classification point of view. If such patent classification is automatically classified using a recurrent neural network, good performance may not be achieved due to the long length of the detailed description. As a method of applying the data having such a long sequence to classification, there is a method of reducing the long sequence by using a 1D convolutional layer and then applying it to a recurrent neural network or using a model using only the 1D convolutional layer.In this study, we intend to measure the performance of patent classification using detailed descriptions of patent documents. The existing LSTM model, which is a recurrent neural network, a method applied to the LSTM model after going through 1D convolutional layer (1D Conv. LSTM), and a model using WaveNet using only 1D convolutional layer were defined. The classification performance of three patent datasets with a sequence length of 6,000 or more was applied to three models to compare the accuracy. WaveNet showed the highest accuracy for the three datasets, and LSTM showed the lowest accuracy. WaveNet showed a stable trend in verification loss compared to the other two models. In dataset #1, WaveNet uses 1D Conv. Accuracy was recorded 14.5% higher than LSTM and 17% higher than LSTM. In dataset #2, WaveNet uses 1D Conv. The accuracy was 3.1% higher than that of LSTM and 9.8% higher than that of LSTM. WaveNet and 1D Conv. LSTM recorded the same accuracy, and 7.3% higher accuracy than LSTM. When classifying user-defined classes of patents made using detailed descriptions of patents, WaveNet is judged to be a more suitable model compared to the existing recurrent neural network.
- 발행기관:
- 대한전자공학회
- 분류:
- 전자/정보통신공학