エントロピー（情報不確定度、乱雑さ）に関する考察

突然だけれども「有限体上の離散対数問題*」に関するweb論文を読んでいてふと書きなぐりたくなりました。

情報理論におけるエントロピーとは、情報不確定度のことをあらわす。
情報不確定度とは何か、イメージ的なことを話すと「それが何であるか解らない事について数値化した度合い」だ。
これは情報理論に限ったことではなく、科学と言うか自然摂理において「何であるかわからない」ことがとても重要である。

情報量をいかに少なくするかということが、情報不確定度（エントロピー）を増大させるコツである。
で、前置きはこれくらいにして、本題。
情報圧縮化技術において、エントロピーをいかに増大させ情報量を少なくさせるかがファイル容量を抑えるコツといっても良い。
ただ、エントロピーを増大させる（情報量を少なくさせる）ことには限界があるのでおのずと情報圧縮の限界も決まってくる。

10000という数字。これを別の角度から見てみる。
10000には無駄な情報がある。
まず同じ数字が4個も並んでいる。

この（無駄な）情報量を減らし、エントロピーを増大させるにはたとえば、こう書けば良い。
「 104 」
こうすることによって数字は５つ並んでいたのが3つまで減った訳だ。

ただこれでは何がなんだか、最初の決まりごとを覚えておかないとわからない。
数字の104（ひゃくよん）と間違えてしまうかもしれない。確実に情報量は減っている。
「これを情報不確定度（エントロピー）が増大した。」という。

このようにしてあらかじめ決められた決まりごとに従いパソコンのファイル圧縮技術はなりたっている。

余談だけれども、「自分の部屋が掃除しても掃除しても汚くなるのは何故か？」についてであるが、
自然の摂理として、エントロピーは常に増大する方向に向かう性質があるので、
自分の部屋が汚くなってモノがどこにおいてあるのか解らなくなる（乱雑さが増す）という現象がおこるのだと

個人的には思っている。
イメージとして、整理整頓し、片付けることで情報量が増えどこに何があるかわかるようになるということ、
そして自然にまた汚くなるということこれをイメージしていただければ、エントロピーに対して親近感がわくのかもしれない。