对之前练习项目的一个笔记(所以个人注释比较多)，数据集已上传在网盘(有期限(6个月)，多了一个生成对抗网络的数据集，到期后的可以评论区留言，看情况会更新)，分别通过BP神经网络与决策树算法对银行客户流失分析预测，两种方法各有特点。

　　数据集链接：

　　链接：https://pan.baidu.com/s/1seFbXJISoo7MOiJGfHJrxQ?pwd=b4ly

　　提取码：b4ly

　　完整文件(包含代码与专属数据集):

　　https://download.csdn.net/download/piaomiaoxiaoke/89628439

　　BP神经网络方法需要预安装tensorflow框架(安装过程不在介绍，可以参考网上其他文章)，所以准备工作比较多，比较麻烦一些。决策树算法实现（包括和MLP神经网络，SVM支持向量机算法的对比）时没有用TensorFlow框架，因此不用安装，可以自行选择用哪种方法。决策树的预处理更全一些(因为是用的原始数据集)，BP神经网络用的数据集是做了一部分预处理后的数据集。

　　决策树算法绘制流程图需要安装 Graphviz 包，这边简单介绍一下安装过程:

　　第一步，访问网站，网址如下:

　　https://graphviz.org/download/

　　第二步:选择指定系统，指定版本的文件下载，我这边是2.5版本，windows64位的操作系统。

　　第三步:下载后双击此文件

　　第四步:图片展示

　　
wps最新官网中文的下载的网址在哪呢
　　

　　wps office 的官方的下载的入口是多少
wps最新中文版的下载的网站
　　这边可以自定义路径:

　　最后点安装就行，如果安装成功，在命令行窗口(win +R 然后输入 cmd)输入:dot -version。

　　wps电脑版下载地址怎么找

　　出现下图，则安装成功。

　　然后在 pycharm 中安装 graphviz 包，在pycharm终端输入:

　　pip install graphviz

　　引入一些包，我的是TensorFlow 2.x 版本的，所以需要通过tensorflow.compat.v1等方式来调用TensorFlow 1.x一些函数，如果本身就是TensorFlow 1.x，可以适当修改一下代码：

　　属性介绍

　　共有11个属性，包括10个条件属性，1个决策属性(Exited)

　　数据读取

　　构建向量

　　为了方便数据处理，需要将列表转化为numpy数组，并且要二维，target是一维所以需要reshape转化为二维，具体如下：

　　占位符定义

　　占位符定义的其实是后面代码中

　　的内容，类似于预定义变量名，TensorFlow中用到

　　定义神经网络结构&wps的电脑版的下载入口的方法#xff0c;包括几个隐藏层，隐藏层几个神经元，初始权重，初始偏移量等等。具体几个隐藏层不一定是2，我只是以2作为例子，说不定1个隐藏层或者三个隐藏层效果更好，可以自己慢慢调试看看。

　　第一个隐藏层的第一维是10，是和条件属性数量对应的，输出成的2是和决策属性类别对应的(二分类，所以是2)，具体如下，有注释说明(也包含了其他的一些定义，如准确率，优化器函数等等):

　　按照预定义模型进行训练与预测，并给出准确率，这个设计了一个isTrain来决定是训练还是直接用训练好的模型测试，一般是先把 wps的的官网最新下载的地方是什么 wps office的免费版的下载的地址是多少 isTrain=1，然后训练出一个最优模型，然后将模型参数保存起来，后面就可以直接用这个模型参数，不用再训练了(将isTrain=0)。不过保存参数与调用的时候主要路径别弄错了。

　　训练模型

　　当isTrain等于1时，会先训练模型然后再进行预测，并画出准确率与损失值曲线，然后将模型参数保存起来，具体如下,黄色的是测试集准确率变化，绿色为训练集准确率变化，红色为损失值变化(模型我没有仔细调整，所以准确率不是特别高，有兴趣的可以自己调看看，比如增加神经网络层数，神经元数量，换个激活函数等等，效果应该是可以更好的):

　　这是控制台的输出结果，第一列为批次，第二列为训练集预测准确率，第二列为测试预测准确率比训练集低一些，不过也是正常的，最后一列是损失值

　　使用训练好的模型直接预测

　　当isTrain=1，代码已经训练好并保存了模型参数，如果想直接用此模型进行预测，省去训练步骤，则可以直接调用，将isTrain=0，可以直接得到预测结果,给出预测的类别。使用时注意模型的保存路径别弄错。

　　代码如下:

　　由于原始数据集数据有非数值型比如地址等等，因此需要对这些特征数值化，函数如下（要注意文件的保存路径问题）:

　　结果如下图所示:

　　
中文最新版的wps的下载网站哪里有
　　由于决策树需要的是离散型数据，而原本的数据集中比如年龄，收入等是连续型数据，因此如果想要处理，需要转化为离散型数据.

　　具体如何离散化，每个特征列分为几等分根据实际情况判断，如下函数:

　　保存后文件如下图：

　　删除无用的特征列，比如编号等等，并筛选数据用欠采样解决类别不均衡问题，它从原始数据集中选取一定数量的样本，使得在输出的数据集中，代码如下函数所示:

　　结果如下:

　　按照4:1的比例划分训练集和测试集，具体比例也可以9:1或者其他，可以自己修改，代码如下:

　　设置决策树模型参加，具体可以再调整，比如数的最大深度等参数，代码如下:

　　流程图的保存方式可以是pdf，也可以是图片格式，具体可以调整，且在代码中做了注释说明:

　　决策树图如下所示：

　　绘制ROC曲线 可用来评估模型分类性能，图片中，曲线下的面积越大，代表准确度越高。

　　代码如下:

　　ROC曲线如下图所示:

　　绘制混淆矩阵，混淆矩阵上的4个数字，从左到右，从上到下依次是真正例，假正例，真反例，假反例的数量。

　　代码如下:

　　混淆矩阵如图:

　　十折交叉验证

　　五折交叉验证

　　十五折交叉验证

　　对比结果

　　十折交叉验证：

　　五折交叉验证:

　　十五折交叉验证:

　　给出了SVM分类器的准确率（70.06）和混淆矩阵:

　　给出了MLP神经网络分类器的准确率（76.44）和混淆矩阵，一开始迭代次数太少没有找到最优的，后来增加了迭代次数:

　　代码如下：

　　代码如下：