비계층적 클러스터링을 위한 SVDD 기반 유효성 지수
Clustering Validity Index Based on Support Vector Data Description for Nonhierarchical Clustering
이수현(전남대학교); 정영선(전남대학교); 김재윤(전남대학교)
27권 12호, 2219~2237쪽
초록
빅 데이터가 경영과 경제 분야에서 활용범위가 확대되고 비지니스에 중요한 영향을 미치면서 빅 데이터분석에 대한 관심이 증대하고 있다. 군집분석은 빅 데이터를 분석하는 대표적인 분석방법중의 하나이다. 군집분석에 의한 군집화 결과는 기업의 가치를 극대화 시킬 수 있는 핵심자원의 역할을 하게 된다. 따라서군집화 결과에 대한 신뢰성을 검증하는 것은 중요한 이슈가 된다. 본 연구는 군집화 결과의 유효성을 판단하는 클러스터링 유효성 지수(Clustering Validity Index: CVI)를 다룬다. 본 연구는 CVI 중, 기존 연구들에서 많이 사용한 Davies-Bouldin(DB) 지수의 설계원리를 응집도와 분리도의 개념으로 분해하고 응집도에 새로운 계산원리를 반영한다. 기존 CVI들은 데이터의 구조가 복잡한 노이즈, 부분군집, 임의형상, 그리고 비대칭 분포 등의 형태를 가질 때 그 성능이 민감한 것으로알려져 있다. 본 연구에서는 서포트 벡터 데이터 표현(Support Vector Data Description: SVDD) 개념을기존 DB 지수의 응집도 계산에 반영하여 새로운 CVI를 제안한다. 제안된 CVI는 비선형 데이터를 고차원 데이터로 변환할 수 있도록 커널(Kernel) 함수를 이용한다. 이를 통해 DB 지수가 취약했던 데이터들의 민감성을 보완할 수 있다. SVDD 개념을 반영한 CVI는 DB 지수뿐만 아니라 거리 척도를 이용한 많은 CVI에 적용이 가능하며, 기존 CVI들의 성능 개선에 도움이 될 수있다.
Abstract
The purpose of our research is to propose the new clustering validity index (CVI) fornonhierarchical clustering method. In this paper, we propose a modified Davies-Bouldin (DB)index using the support vector data description (SVDD)-based compactness. The existing validityindex is sensitive to arbitrary shapes of clusters with high dimension. By using kernel function,the proposed CVI, called Support Vector Davies-Bouldin (SVDB), can overcome the sensitivity ofarbitrary shape, which have caused in most of existing indices. By using the diversebenchmarking data sets including high dimension, sub-cluster, and arbitrary shape, theexperiments demonstrate the excellence of the SVDB by comparing the performances of severalclustering validity indices using K-means algorithm. The result of the experiment shows that thenew index outperforms the original index and has an outstanding performance among the others,especially for arbitrary shape data sets. From this approach, it is possible to provide the decisionmaker in management science with meaningful information from large-sized data base.
- 발행기관:
- 대한경영학회
- 분류:
- 경영학