엔트로피 (entropy)
낮은 확률값 큰 엔트로피를 가진 사건은 드물게 발생한다는 뜻이다
-> 귀한 정보 고급정도
엔트로피가 크다 고급정보 불확실성이 높다라는 뜻이다
높은 확률값 작은 엔트로피를 가 사건은 자주 발생한다는 뜻이다
-> 흔한 정보딥러닝의 손실함수
예측값과 정답값의 크로스 엔트로피 값을 줄이기 위해 가중치와 편향을 업데이트 하여 학습을 수행크로스 엔트로피
모델에서 에측한 확률과 정답확률을 모두 사용해 측정한 값이다
모델에서 에측한 확률값이 실제값과 비교했을때 틀릴수 있는 정보량
예측값이 정답과 얼마나 근사한지 알아보기 위한 것이므로
정보량은 예측값의 확률을 사용해야하기 때문'데이터 수학 > 이론' 카테고리의 다른 글
| 표본 (sample), 확률(probability) (0) | 2023.02.20 |
|---|---|
| 선형 회귀 분석 (Linear Regression Analysis) (0) | 2023.02.20 |
| 정밀도(Precision), 재현율(Recall), 정확도(Accuracy) (0) | 2023.02.20 |
| 벡터 (vector) (0) | 2023.02.17 |
| 통계적 가설검정 (statistical hypothesis test) (0) | 2023.02.17 |