Approximation in the uniform norm
파프누티 리보비치 체비셰프는 uniform-norm에서 최적함수를 구하기 위한 아이디어를 처음 낸 사람이다. 그는 스스로 아래 문제를 제시하고 이에 대한 해법을 제시하기 위한 과정을 진행하였다.
Problem 2.
폐구간 에서 정의된 연속함수 에 대해 임의의 점 에서 기준으로 를 차 다항식 로 표현할 수 있는가? (여기서 )
즉, 에러 를 최소화하는 를 구할 수 있는가를 문제로 정의하였다. 본 챕터는 이 문제에 대해 다루는 챕터이다. 여기선 이러한 함수가 있는지(exists, 존재성)와 유일한가(unique, 유일성)에 대해 다뤄볼것이다.
4.1 Existence
1854년에 체비셰프는 최적근사문제에 대한 솔루션을 찾았다.
Lemma 1.
에 대해 부분공간 에서 최적근사하는 함수를 라 하자(여기서 는 연속함수(continuous function)을 의미한다). 이 때, 를 만족하는 서로 다른 점 가 최소 두 개 존재한다.
Proof. 귀류법(contradiction)을 이용하여 증명한다. 귀류법은 어떤 명제가 ‘참’임을 주장하려 할 때, 이를 거꾸로 ‘거짓’이라고 가정하고 이 때 모순을 지적하여 최종적으로 해당 명제가 ‘참’ 임을 보이는 방법이다.
먼저 손실값을 정의하면 가 된다. 만약에 위 lemma가 거짓이라면 위 식을 만족하는 점은 한 개만 존재한다고 할 수 있다. 따라서 가 성립하는 어떤 가 존재한다. 여기서 최소손실값 에 대해선 아래 식이 성립한다.
위 식은 최대손실값이 이므로 최소손실값은 최대손실값에 마이너스를 곱한 보다 작을 순 없기 때문에 성립한다. 때문에 이고 따라서 를 만족하는 에 대해 정의할 수 있다. 이에 따라 식을 전개하면
가 되고 정리하면
가 된다. 이는 의 값이 보다 작다는 것이며 이는 함수 의 최적근사함수는 라는 가정에 위배되므로 모순이다. 이에 따라 귀류법에 의해 lemma 1은 참이다.
Corollary 1.
에서 최적근사함수의 상수값은
이고 손실값은
를 만족한다.
Proof. 다시 귀류법을 통해 증명한다. 먼저 를 만족하는 를 잡는다. 만약 가 아닌 다른값 라고 가정하면
이고 이는 을 보인다. 이는 lemma 1과 모순된다.
다음으로 lemma 1을 일반화하여 최적 선영근사가 있을경우 최적 근사 다항식의 차수를 나타내는 에 대해 가 사이에 부호가 번갈아 나타나는 점이 적어도 개 존재함을 보이고자 한다.
이 일반화를 보이기 위해 먼저 몇가지 정의를 해야한다.
Definition 1.
연속함수 에서
만약 에 대해 면 는 (+)point라 한다.
만약 에 대해 면 는 (-)point라 한다.
만약 에 대해 가 (+)point와 (-)point로 반복되는 값이면 서로 다른점들 의 집합을 alternating set이라 한다. 이는 모든 에 대해 고 를 만족한다는 것을 말한다.
위 개념을 활용하여 lemma 1을 일반화시키고 최적 근사 다항식에 대한 특징을 보이려 한다.
Theorem 2.
에 대해 가 에서 최적근사함수라 하자. 이때, 의 alternating set이 최소 개 존재한다.
Proof. 이면 이므로 이 경우엔 이므로 의 alternating set이 존재하지 않는다. 따라서 이다.
(균등)연속함수 를 잡는다(Compact set에서 연속하면 균등연속이다). 다음 단계는 폐구간 에서 작은구간값을 가지도록 를 면 를 만족하도록 잡는다. 즉 모든 구간에서 값이 를 넘지 않도록 한다.
만약 폐구간 에서 에 대해 (+)point를 포함하면 는 폐구간 에서 전부 양수이다.
유사하게 만약 폐구간 에서 에 대해 (-)point를 포함하면 는 폐구간 에서 전부 음수이다. 따라서 어떤 구간도 (+)point와 (-)point를 모두 포함할 순 없다. 때문에 (+)point를 포함하는 구간을 (+)interval이라 부를 수 있고 (-)point를 포함하는 구간을 (-)interval이라 부를 수 있다. 따라서 interval은 0을 포함하는 interval에 의해 나눠질 수 있게 된다.
다음 단계로 각 interval을 라벨링 한다. 여기서 의 인덱스는 전체 구간을 순서대로 인덱싱한것이 아니라 interval에 대한 인덱싱이다.
를 모든 부호가 있는 intervals(()interval, ()interval)의 합집합이라고 하자. 그리고 은 나머지 intervals(0을 포함하는 intervals)의 합집합이라고 하자. 와 은 에서 compact set이다.
우리가 증명하고 싶은것은 interval의 개수 이 를 만족하는 것이며 이를 귀납법으로 증명하기 위해 라 가정하자.
()interval과 ()interval는 서로 separated하므로 점 을 아래와 같이 표현할 수 있다.
이를 통해 아래 다항식을 만들 수 있다.
를 가정했으므로 을 만족하기 때문에 가 된다.
다음은 가 에 대해 보다 더 최적근사함수임을 보일것이다.
는 ()intervals에서 0이 아니므로 와 같은 부호를 가진다. 따라서 에서 이므로 다. 마찬가지로 에서 이므로 다.
다음은 를 찾을 것이다. 라 한다. 정의에 의해서 가 성립한다. 이라 잡으면 가 된다.
다음 단계로 가 보다 에 더 최적근사함수임을 보인다. 이를 위해 일 때와 일 경우를 나눠서 진행한다.
만약 라면 삼각부등식에 의해 아래 수식이 성립한다.
만약 라면 는 ()interval 또는 ()interval이다. 위 수식 4.1에 의해서 가 성립한다. 그러므로 와 는 같은부호를 가지게 된다. 가 위에서 이 아니므로 아래 식이 성립한다.
결국에 대해 가 보다 더 최적화된 근사함수이므로 가 최적근사함수라는 가정에 모순된다. 그러므로 는 거짓이기 때문에 가 성립한다.
4.2 Uniqueness
Theorem 3.
일 때 에 최적근사 차 다항식 는 유일하게 존재한다.
Proof. 에서 에서 최적근사함수가 와 두 개 존재한다고 가정하자. 이 때 가 서로 같음을 보일것이다.
만약 두 다항식 모두 최적근사함수라면 를 만족한다. 또한 두 함수의 평균 또한 이므로 최적근사함수가 된다. 따라서 가 성립한다.
Theorem 2에 의해 은 개의 alternating set 를 갖는다.
각 에 대해
가 성립하고 가 성립하기 때문에 위 식이 성립하기 위해선
가 성립해야 한다. 따라서 은 에서 뿐 만 아니라 와 에서도 alternating set이 되어야 한다.
따라서 다항식 는 의 해를 가진다. 그러나 이므로 는 최대 차 다항식이므로 최대 개 해를 가져야한다. 이를 만족하는 차 다항식은 없으므로 가 되며 최종적으로 최적근사함수는 유일하게 존재한다.
Theorem 4.
이고 이라 하자. 만약 가 개 이상의 alternating set을 포함하고 있다면 는 에서 의 최적근사함수이다.
Proof. 귀류법을 통해 증명한다. 만약 가 보다 의 더 좋은 최적근사함수라면 와 는 서로 같다는 과정을 진행할 것이다.
그러므로 가 의 alternating set이라 하고 가 보다 더 최적근사함수라고 가정한다. 그러므로 가 성립한다.
은 가 의 alternating set이므로 성립한다. 또한 가 에서 alternating set인진 모르지만 가 의 -norm( 함수)인 보단 작을것이므로 위 부등식이 성립한다. 위 부등식을 통해 최종적으로 가 성립하게 된다.
lemma 4.1
가 성립하면 와 는 같은 부호를 갖는다.
이를 위 부등식에 적용하면 와 가 같은 부호를 갖게 된다. 가 같은 부호를 가지므로 또한 번 이상 부호를 바꾸는 함수가 되며 이는 즉, 가 최소 개의 해를 가짐을 말한다. 이 때, 이므로 개 이상의 해를 갖기 위해선 여야 한다. 이는 위에서 가정한 에 모순되므로 는 에서 의 최적근사함수이다.
위 Theorem 2와 Theorem 4를 합치면 아래와 같이 두 명제가 서로 필요충분 조건이 된다.
이고 이라 하자.
가 개 이상의 alternating set을 포함하고 있다 는 에서 의 최적근사함수이다.
결론적으로 는 적어도 개 이상의 해를 갖는다.
Example 1.
폐구간 에서 함수 가 있다고 하자. 아래 그림은 이 때 최적근사함수는 이 된다는 것을 보여준다.
손실값 은 에서 8개의 다른 alternating set을 가지게 된다. 8개의 alternating set을 가지고 있으므로 Theorem 2와 Theorem 4에 의해 이 최적근사함수가 된다. 즉, 까진 최적근사함수 차 다항식 이 된다. 따라서 은 개 이상의 alternating set이 있어야 최적근사함수이므로 이 아니다. 따라서 에선 보다 더 좋은 최적근사함수가 존재한다.
Example 2.
의 선형 최적근사함수는 을 보일것이다(최적근사함수를 찾는법은 6장에서 배우므로 여기선 넘어간다).
선형이므로 최적근사함수의 차수 이다. 따라서 는 적어도 번 부호가 바뀌어야 한다. 결국 는 적어도 2개의 해를 갖게 된다. 즉, 아래 그림과 같이 f-p는 부호가 3번 바뀌고 2개의 해: 를 가진다.
본 과정들을 통해 최적근사 다항식의 특징을 알았으므로 다음단계는 와 최적근사함수 의 최대손실값을 찾을것이다. 이를 드라발레 푸생이란 수학자가 아래 Theorem을 통해 손실값 의 하한값을 증명하는 법을 제시하였다.
Theorem 5 (드라발레 푸생)
고 에서 개의 점에서 부호가 바뀌는 가 존재한다고 하자. 이 때 아래 식이 성립한다.
이 Theorem을 증명하기 전에 밑에 그림을 참고하여 어떻게 이 Theorem이 동작하는지 확인한다.
만약 함수 에 5차다항식(quintic polynomial)을 최적화 한다고 하자. 아래 그림은 5차 다항식 가 이 7번 부호가 바뀌게 함을 보인다. 이 때 는 최적근사함수는 아니다. 붉은색 곡선은 최적근사함수 의 오차를 보여주며 7개의 점에서 오차의 부호가 바뀐다.
의 부호가 번 바뀌었기 떄문에 부호를 바꾸는 어떤 점 에서 오차 는 를 초과한다.
드라발레 푸셍의 이론은 의 하한을 결정하는데 좋은 매커니즘을 제공한다.
Proof. 귀류법을 통해 증명한다. 이를 위해 부등식이 성립하지 않는다고 가정하면 최적근사함수 는 아래 부등식을 만족한다.
의 최대값이 의 최소값보다 작으므로 아래 식이 성립한다.
이므로 아래와 같이 정리할 수 있다.
의 크기가 의 크기보다 항상 크기 때문에 이를 lemma 4.1을 이용하면 의 부호가 와 항상 같게 된다. 정리하면
가 성립한다 (은 부호를 구하는 함수다).
부호가 바뀌는 점이 개 존재한다고 했고 이는 해가 개 존재하는 것을 의미한다. 그러나 차 다항식에서 개의 해를 가지려면 이 되는 방법밖에 없다. 따라서 여야 하며 이는 모순이므로 적어도 한개의 에선 가 성립한다.