규칙기반 머신러닝 (Rule-Based Machine Learning with 가설 알고리즘)

 

규칙기반 머신러닝 

Rule-Based Machine Learning

 

주어진 예제(example)에 대해서 가설(hypothesis)을 만들고 결과(concept)을 도출하는 방법이다. (귀납적 사고방식)

가설을 최대한 일반화 하기위해, Find-S 알고리즘, Version Space / Candidate 알고리즘 등을 차용한다.

 

 

---

 

1) Find-S 알고리즘

Positive 예제(Instance)에서 추출한 가장 구체적인 가설로부터 시작하여, 점점 General한 가설을 찾는 방법이다.

positive tranning example 만 선별하여 적용한다.

특정 예제로부터 도출된 결과를 그 다음 예제에 적용을 반복하여 변경된 부분만 don't care condition으로 변경하고,

최종적 가설 h 를 만들어 낸다.

 

 

이미지 출처: Machine Learning, Tom Mitchell

 

Find-S 알고리즘의 한계 

데이터의 일관성이 떨어지거나, 오염되었다는것을 판단 할 수 없다
최종적으로 하나의 일반화된 가설을 도출하기 때문에, 가설의 집합이 존재할 경우를 고려할 수 없다.
nagative 인 예제를 고려하지 않음

 

---

2) Candidate Algorithm

예제에 일치하는 모든 가설의 집합(version space) 를 도출하는 알고리즘

가설이 하나인 find-s 알고리즘에서 발전된 형태

 

 * 이미지에서는 최종적으로 6개의 가설(version space)를 형성

Positive 케이스

Positive 예제의 경우 가장 특정화된 케이스 S0 < null, null, null, ..., null > 이 스타팅 포인트이다.

각각의 예제를 반복해서 처리하며 점점 덜 특정화된 가설을 찾는다.

 

Nagative 케이스

Nagative 예제의 경우 G0 < ? ,  ? ,  ? , ... , ? > 부터 거꾸로 인스턴스를 대입하여 점점 덜 일반적인 가설을 찾는다

 

위 케이스들을 Tranning 하며, 최적의 가설 집합을 찾아낸다.

 

 

 

 

Inductive Bias

연역적 방법으로 풀어나가기 위한 첫 번째 결론(전제)를 Inductive bias 라고 한다.

Inductive Leep : 기존에 얻은 결과(Concept) 에 새로운 인스턴스(예제) 를 적용하는것.

Rote Learning	전제조건 존재하지 않음. (새로운 Instance 적용 불가 )
Find-S	Only Positive Instance 전부 에서 결론을 도출할 수 있다는 전제조건
Version Space	가설 공간에 결론이 들어있다는 전제조건