0440949 Andreas van Cranenburgh, Leren
November 2008

1. Mitchell Exercise 8.3

Een mogelijke variatie op het ID3 algoritme is om alle instanties te bewaren,
en alleen als er geclassificeerd hoeft te worden een boom te construeren.
Hierdoor kan de wortel van de boom (het attribuut met de hoogste
informatiewinst) dus veranderen als er meer instanties worden gepresenteerd.

Nadelen zijn dat dit veel ruimte kost en dat classificeren een behoorlijke
berekening vergt. Voordeel is wel dat de resultaten zeer dynamisch zijn en
zich steeds aanpassen aan het lopende gemiddelde onder de
trainingsvoorbeelden. Uiteindelijk zal dit algoritme niet heel werkbaar zijn.


2. Bedenk 3 zo klein mogeljke datasets met onderliggende patronen/functies,
zonder ruis, waarvoor geldt dat slechts 1 van de volgende methodes het goede
patroon vindt: Naive Bayes, beslisbomen leren, 1-nearest neighbour.


Patroon dat alleen door Id3 geleerd wordt:
1,1,2,f
1,2,2,t
2,2,1,t
test concept: 2,1,1,f

Hier zit het test concept expres niet in het trainingscorpus, zodat alleen Id3,
die generaliseert, het juiste antwoord vindt.


Patroon dat alleen door Nearest Neighbor geleerd wordt:
1,1,3,f
1,2,1,f
2,1,1,f
1,2,2,t
2,1,2,t
test concept: 1,1,2,f

Hier zit weer het test concept niet in het trainingscorpus, maar deze keer zit
er een concept in die er wel dichtbij zit.


Patroon dat alleen door Naive Bayes geleerd wordt:
1,1,3,t
3,1,2,f
2,1,1,t
1,2,1,f
test concept: 1,1,2,f

Waarheidswaarde van de dichtsbijzijnde buur 1,1,3 is expres omgedraaid. Naive
Bayes ziet eigenschappen als onafhankelijk en vindt het goede antwoord.

3. Wat zou er gebeuren als we hetzelfde patroon hadden, maar meer data en zou
(random) ruis / onzekerheid? Blijven de classifiers verschillende resultaten
geven?

Nee, met genoeg data convergeren alle algoritmes naar het goede resultaat. Met
ruis en onzekerheid kan nearest-neighbor fouten gaan maken (als er ruis is die
even dichtbij zit als het echte antwoord). Naive Bayes en ID3 kunnen wel goed
tegen ruis.