DATA/BIGDATA(59)
-
방향과 백터
거리로 유사성을 표현할 수 있지만 방향이 비슷한 경우 서로 유사하다고 볼 수 있다. 경향이란 현상이나 사상 행동이 어떤 방향으로 기우는 것이다. 기울어지는 정도, 방향성이 같다면 서로 유사한 성향을 지닌다고 볼 수 있다. 유클리디안 유사도로만 생각한다면 거리로 판단하기 어려운 경우가 있다. 이럴 때 방향과 함께 표현하는 값을 벡터라고 한다. 여러 영화의 선호도를 표현하면 원점에서 좌푯값 까지 벡터로 표현할 수 있는데 벡터가 이루는 각의 크기가 작다면 방향이 비슷하고 두 사례가 서로 유사하다고 판단할 수 있고 각의 크기가 커지면 두 사례가 서로 유사하지 않다고 판단할 수 있다.
2024.02.17 -
K means clustering
K-means 클러스터링은 비지도 학습 알고리즘이다. 주어진 데이터를 K개의 클러스터로 그룹화하는 작업을 수행 이 알고리즘은 데이터를 클러스터 내의 평균으로 표현되는 중심으로 그룹화하며, 각 데이터 포인트는 가장 가까운 중심에 할당된다. K-means 알고리즘 진행 단계는 첫 번째 K 개의 중심을 임의로 선택하거나 랜덤하게 배정하는 초기 중심 설정이다. 두 번째 각 데이터 포인트를 가장 가까운 중심에 할당한다. 세 번째, 각 클러스터의 중심을 해당 클러스터에 속한 데이터 포인트들의 평균으로 업데이트한다. 네 번째 할당과 업데이트 단계를 반복하여 클러스터의 중심이 더 이상 변하지 않을 때까지 반복한다. K-means 클러스터링은 간단하고 효율적인 알고리즘으로 데이터의 패턴을 발견하고 클러스터를 형성하는 데..
2024.02.11 -
논리와 추론
추론은 이미 알고 있는 정보로부터 논리적인 결론을 이끌어 내는 것이다. 추론 방법에는 유비 추리, 귀납 추리, 연역 추리가 있다. 유비 추리는 유추라고 하며 하나의 현상과 다른 한 개 이상의 현상들이 기본 속성이나 구조, 관계, 기능 등이 유사하면 다른 요소들도 유사할 것이라는 전제하에 추리하는 방법을 말한다. 기존에는 알지 못했던 새롱누 영역을 이해하는 데 도움이 된다. a 백신은 쥐의 질병 예방에 효과적이다 ->쥐와 사람의 유전자 구조가 유사하다 ->a백신은 사람의 질병 예방에도 효과적일 것이다. 귀납 추리는 귀납법으로 불리며 개별적인 현상이나 특수한 사실을 분석하고 현상과 사실이 포함되어 있는 보다 큰 범주의 일반화된 사실을 도출해 내는 방법이다. 개연성에 의존하거나 새로운 지식이나 이론의 발견과 ..
2024.02.07 -
휴리스틱 탐색
휴리스틱 탐색은 시간이나 정보가 부족하여 합리적으로 판단할 수 없거나 굳이 체계적이고 합리적으로 판단할 필요가 없는 경우 어림으로 탐색하는 방법이다. 언덕오르기 방법, A*알고리즘 , 최상 우선 탐색 ,빔 탐색이 있다. 언덕 오르기 기법은 적합도 검사를 통하여 주변 값을 탐색하여 적합도를 높이는 방법으로 해를 찾아간다. 빔 탐색은 적합도가 우수한 특정 개수의 노드만 확장하여 메모리에 관리하면서 목표 상태를 찾아 나가는 방법을 말한다. A*알고리즘 앞으로의 경로와 함께 지금까지 온 경로도 고려하여 최단 경로로 해를 찾는 방법이다. 목표 상태까지 남은 경로는 정확히 계산할 수 없으므로 비용 추정 함수를 사용한다. 휴리스틱 탐색큰 내비게이션, 열차 스케줄링, 게놈 분석 등에 활용된다. TSP와 휴리스틱 알고리..
2024.02.02 -
데이터 분석 모델 평가
분석 4단계 탐색 EDA exploratory data analysis 그래프, 평균, 편차 같은 통계적 지표를 활용하여 데이터에 대한 이해를 높인 후 데이더 전처리를 한다. 전처리가 완료된 데이터를 회귀 분석, 분류분석 등 다양한 머신러닝 기법을 활용하여 분석모델링을한다. 그 후 모델에 맞는 평가지표로 모델평가를 한다. 한 번에 적절한 분석 모델을 만들 수 없기 때문에 4단계를 비순차적으로 검토해야한다. 분석 모델링 단계에서 전체 데이터를 학습, 테스트 데이터로 나눈 후 학습 데이터를 머신러닝 모델에 적용하여 분석 모델을 만든다. 그리고 테스트 데이터를 분석 모델에 적용하여 평가 단계에 활용한다. 머신러닝은 지도,비지도 학습과 강화 학습으로 나누어진다. 지도 학습은 정답을 알려주며 학습하는 방법으로 회..
2024.01.11