决策树---ID3算法（介绍及Python实现）

<tr>
<td width="100">
<p align="center">Outlook

</td>
<td width="147">
<p align="center">Temperature

</td>
<td width="105">
<p align="center">Humidity

</td>
<td width="105">
<p align="center">Windy

</td>
<td width="107">
<p align="center">PlayGolf?

</td>
</tr>
<tr>
<td width="100">
<p align="center">sunny

</td>
<td width="147">
<p align="center">85

</td>
<td width="105">
<p align="center">85

</td>
<td width="105">
<p align="center">FALSE

</td>
<td width="107">
<p align="center">no

</td>
</tr>
<tr>
<td width="100">
<p align="center">sunny

</td>
<td width="147">
<p align="center">80

</td>
<td width="105">
<p align="center">90

</td>
<td width="105">
<p align="center">TRUE

</td>
<td width="107">
<p align="center">no

</td>
</tr>
<tr>
<td width="100">
<p align="center">overcast

</td>
<td width="147">
<p align="center">83

</td>
<td width="105">
<p align="center">86

</td>
<td width="105">
<p align="center">FALSE

</td>
<td width="107">
<p align="center">yes

</td>
</tr>
<tr>
<td width="100">
<p align="center">rainy

</td>
<td width="147">
<p align="center">70

</td>
<td width="105">
<p align="center">96

</td>
<td width="105">
<p align="center">FALSE

</td>
<td width="107">
<p align="center">yes

</td>
</tr>
<tr>
<td width="100">
<p align="center">rainy

</td>
<td width="147">
<p align="center">68

</td>
<td width="105">
<p align="center">80

</td>
<td width="105">
<p align="center">FALSE

</td>
<td width="107">
<p align="center">yes

</td>
</tr>
<tr>
<td width="100">
<p align="center">rainy

</td>
<td width="147">
<p align="center">65

</td>
<td width="105">
<p align="center">70

</td>
<td width="105">
<p align="center">TRUE

</td>
<td width="107">
<p align="center">no

</td>
</tr>
<tr>
<td width="100">
<p align="center">overcast

</td>
<td width="147">
<p align="center">64

</td>
<td width="105">
<p align="center">65

</td>
<td width="105">
<p align="center">TRUE

</td>
<td width="107">
<p align="center">yes

</td>
</tr>
<tr>
<td width="100">
<p align="center">sunny

</td>
<td width="147">
<p align="center">72

</td>
<td width="105">
<p align="center">95

</td>
<td width="105">
<p align="center">FALSE

</td>
<td width="107">
<p align="center">no

</td>
</tr>
<tr>
<td width="100">
<p align="center">sunny

</td>
<td width="147">
<p align="center">69

</td>
<td width="105">
<p align="center">70

</td>
<td width="105">
<p align="center">FALSE

</td>
<td width="107">
<p align="center">yes

</td>
</tr>
<tr>
<td width="100">
<p align="center">rainy

</td>
<td width="147">
<p align="center">75

</td>
<td width="105">
<p align="center">80

</td>
<td width="105">
<p align="center">FALSE

</td>
<td width="107">
<p align="center">yes

</td>
</tr>
<tr>
<td width="100">
<p align="center">sunny

</td>
<td width="147">
<p align="center">75

</td>
<td width="105">
<p align="center">70

</td>
<td width="105">
<p align="center">TRUE

</td>
<td width="107">
<p align="center">yes

</td>
</tr>
<tr>
<td width="100">
<p align="center">overcast

</td>
<td width="147">
<p align="center">72

</td>
<td width="105">
<p align="center">90

</td>
<td width="105">
<p align="center">TRUE

</td>
<td width="107">
<p align="center">yes

</td>
</tr>
<tr>
<td width="100">
<p align="center">overcast

</td>
<td width="147">
<p align="center">81

</td>
<td width="105">
<p align="center">75

</td>
<td width="105">
<p align="center">FALSE

</td>
<td width="107">
<p align="center">yes

</td>
</tr>
<tr>
<td width="100">
<p align="center">rainy

</td>
<td width="147">
<p align="center">71

</td>
<td width="105">
<p align="center">91

</td>
<td width="105">
<p align="center">TRUE

</td>
<td width="107">
<p align="center">no

</td>
</tr>

这个例子是根据报告天气条件的记录来决定是否外出打高尔夫球。

作为分类器，决策树是一棵有向无环树。

由根节点、叶节点、内部节点、分割属性、分割判断规则构成

生成阶段：决策树的构建和决策树的修剪。

根据分割方法的不同：有基于信息论（Information Theory）的方法和基于最小GINI指数（lowest GINI index）的方法。对应前者的常见方法有ID3、C4.5，后者的有CART。

ID3 算法

ID3的基本概念是：

熵

热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。热力学第二定律（second law of thermodynamics），基本定律之一，又称“熵增定律”，表明在自然过程中，一个孤立系统的总混乱度（即“熵”）不会减小。

（编辑：安卓应用网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

<p style="text-align: center;"><span style="font-size: 18pt;">决策树---ID3算法 决策树： 以天气数据库的训练数据为例。 <table style="width: 564px;" border="1" cellspacing="0" cellpadding="0">