Oletame, et meil on mingi kogus informatsiooni ja me soovime tuletada reegleid, kuidas mingi tulemus on tekkinud ehk luua decision tree, nagu alloleval joonisel
Arvutame nn “Target” entroopia . Target jaguneb 5 X No ja 9 X Yes. Kokku on 14 kirjet. 5/14 ümardame ja saame 0.36. 9/14 ümardame ja saame 0.64.
Nüüd otsime, millieses tulbas on kõige rohkem informatsiooni:
, kus T on target ja X on tulp.
Meil on neli tulpa: Outlook, Temp, Humidity ja Windy.
Outlook arvutamine:
Kasutame valemit:
ehk:
0.94-0.69=0.25
Temp arvutamine:
Humidity arvutamine:
Windy arvutamine:
Selgus, et kõige rohkem informatsiooni sisaldab tulp outlook – 0.25. Siit saame joonistada välja esimesed harud:
Kuna Outlook -> Overcast target on igal juhil Yes, siis joonistub siit nn leht:
Siit edasi tuleb harud, mis sisaldavad entroopiat (suuremat, kui 0) edasi harutada Outlook > Sunny, saame info:
Kõik hakkab otsast peale. Arvutame target tulba entroopia:
Windy annab kahtlemata lehed Yes/No:
Tulemus:
Nüüd on jäänud haru Outlook > Rainy, mis sisaldab informatsiooni:
Siin võib kasutada juba visuaalset analüüsi:
Siit saame viimased lehed:
Decision tree meetodit on samuti pseodokeeles hea esitleda: