这篇文章主要为大家详细介绍了python实现求特征选择的信息增益,可以同时适用于二值离散型和连续型的属性,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

使用python语言,实现求特征选择的信息增益,可以同时特征中有连续型和二值离散型属性的情况。

师兄让我做一个特征选择的代码,我在网上找了一下,大部分都是用来求离散型属性的信息益益,但是我的数据是同时包含二值离散型和连续型属性的,所以这里实现了一下。

代码块

import numpy as np
import math

class IG():
  def __init__(self,X,y):

    X = np.array(X)
    n_feature = np.shape(X)[1]
    n_y = len(y)

    orig_H = 0
    for i in set(y):
      orig_H += -(y.count(i)/n_y)*math.log(y.count(i)/n_y)

    condi_H_list = []
    for i in range(n_feature):
      feature = X[:,i]
      sourted_feature = sorted(feature)
      threshold = [(sourted_feature[inde-1]+sourted_feature[inde])/2 for inde in range(len(feature)) if inde != 0 ]

      thre_set = set(threshold)
      if float(max(feature)) in thre_set:
        thre_set.remove(float(max(feature)))
      if min(feature) in thre_set:
        thre_set.remove(min(feature))
      pre_H = 0
      for thre in thre_set:
        lower = [y[s] for s in range(len(feature)) if feature[s] < thre]
        highter = [y[s] for s in range(len(feature)) if feature[s] > thre]
        H_l = 0
        for l in set(lower):
          H_l += -(lower.count(l) / len(lower))*math.log(lower.count(l) / len(lower))
        H_h = 0
        for h in set(highter):
          H_h += -(highter.count(h) / len(highter))*math.log(highter.count(h) / len(highter))
        temp_condi_H = len(lower)/n_y *H_l+ len(highter)/n_y * H_h
        condi_H = orig_H - temp_condi_H
        pre_H = max(pre_H,condi_H)
      condi_H_list.append(pre_H)

    self.IG = condi_H_list


  def getIG(self):
    return self.IG

if __name__ == "__main__":


  X = [[1, 0, 0, 1],
     [0, 1, 1, 1],
     [0, 0, 1, 0]]
  y = [0, 0, 1]


  print(IG(X,y).getIG())

输出结果为:

[0.17441604792151594, 0.17441604792151594, 0.17441604792151594, 0.6365141682948128]

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持爱安网。

最新资讯
周五收盘瑞幸咖啡再跌近16%

周五收盘瑞幸咖啡再跌

周五收盘,瑞幸股价再次大跌15.94%,报5.38美元。中国证监
贝索斯捐1亿美元 用于为受疫情影响的家庭提供食物

贝索斯捐1亿美元 用于

亚马逊总裁捐1亿美元,用于为受疫情影响的家庭提供食物]
B站4月4日暂停所有直播内容 当日更新番剧延期至5日

B站4月4日暂停所有直

哔哩哔哩发布暂停直播和番剧更新的公告,以悼念抗击新冠
瑞幸咖啡股价大幅震荡是否应该被退市?专家分析来了

瑞幸咖啡股价大幅震荡

华尔街上不少投资者质疑瑞幸咖啡是否应该被退市。有分
瑞幸暴雷背后:三只基金踩雷,中金和香椽遭打脸

瑞幸暴雷背后:三只基金

瑞幸咖啡暴雷引发的连锁反应,根据2019年年报显示共牵连
字节跳动:与欢喜传媒联合打造首映App的消息不属实

字节跳动:与欢喜传媒联

今日有媒体报道称字节跳动将与欢喜传媒联合推出的首映
最新文章
在Python中使用MongoEngine操作数据库教程实例

在Python中使用MongoE

这篇文章主要介绍了在Python中使用MongoEngine操作数
win10系统Anaconda和Pycharm的Tensorflow2.0之CPU和GPU版本安装教程

win10系统Anaconda和P

这篇文章主要介绍了win10系统 Anaconda 和 Pycharm 的
使用python和pygame制作挡板弹球游戏

使用python和pygame制

这篇文章主要介绍了使用python和pygame制作挡板弹球游
使用pygame写一个古诗词填空通关游戏

使用pygame写一个古诗

这篇文章主要介绍了使用pygame写一个古诗词填空通关游
Anaconda 查看、创建、管理和使用python环境的方法

Anaconda 查看、创建

这篇文章主要介绍了Anaconda 查看、创建、管理和使用p
python 读取数据库并绘图的实例

python 读取数据库并

今天小编就为大家分享一篇python 读取数据库并绘图的