Matematiksel Entropi

Varlığın ve yokluğun yasası Entropi:

Entropi Kavramını ve termodinamiğin 2. Yasasını matematiksel olarak ele alan yazımda entropi kavramından bahsedilmişti. Linke tıklayarak ulaşabilirsiniz.

https://www.kooplog.com/termodinamigin-2-yasasi-ve-matematiksel-entropi-hesaplama/?blog_post_submission=success

Kısaca değinmek gerekirse entropi bir düzensizlik ölçütüdür. Kapalı sistemlerde düzensizlik artmaktadır.

Bir kelime oyununda olduğunuzu düşünün ve bu kelime oyununda bilmeniz gereken 3 harfli bir kelime var. Size ilk harf verildi sizce İlk harfi B olursa mı bilme olasılığınız artar yoksa j olursa mı? J olursa kelimeyi tahmin etme olasılığınız artacaktır çünkü j ile başlayan kelimeler daha az bulunmaktadır. Örneğin B ile başlayan dilimizde 100 kelime varsa J ile başlayan 5 kelime var diyelim. 100 kelimeden mi doğru olanı bulmanız daha olası 5 kelimeden mi? Kısacası bir olasılık dağılımından gelen içerik arttıkça olasılık düşüyor.

Şimdi bunu kelimelerden daha kolay hesaplanabilecek bir şeye taşıyalım. 0,1 dizileriyle düşünmeye devam edelim. 0 ve 1 ile oluşturulabilecek her türlü bilginin basamağına “bit” denilmektedir. Mesela 1010011 altı bitliktir. Eğer bilgilerin her bir basamakta 0 ve 1’lerin görülme olasılığı eşit olsa bir kelimede ne kadar bilgi olacağına içerik sayısına yani bite göre karar verebiliriz. Örneğin 010 olarak kodlanan bir bilgi 3 bitlik içeriğe sahip. Peki 3 bitle kaç farklı bilgi derleyebiliriz?

000

001

010

100

110

011

111

101

Kaynakça

Duran, S. (2020, Haziran 28). Bilginin Entropisi. matkafası: http://erdos2.matkafasi.com/?p=1114 adresinden alındı

Bu yazıyı nasıl buldunuz?

Bir cevap yazın

E-posta hesabınız yayımlanmayacak.