２つの変数の相関関係を評価する尺度として相互情報量があります。 以下の式で、２つの変数X,Yの相関関係を評価する尺度になります。 XとYが独立におこる時、xとyが同時に起こる確率P(x,y)=P(x)P(y)で, となり、I(X;Y)=0になります。 XとYに正の相関関係があ…

分析の仕事でよく使う情報量基準について書いていきます。相関係数とかはよく使われることが多いのですが、情報量基準となると丸の内界隈では親しみがない方も多い印象です。今回はエントロピーから。 エントロピー みんな大好きエントロピー 決定木分析など…