《教育信息处理》
• 互信息的另一种定义方法是直接定义X和Y之间的互信息为
•
K
由上式可I以(得x;到y) k 1
jJ 1p(ak,bj)lopg p (a (a k)kp ,b (b j)j)
• I(x;y)= H(x)+H(Y)- H(XY)
《教育信息处理》
《教育信息处理》
互信息的性质:
• 一般情况下,有0≤I(X;Y)≤min[H(X),H(Y)]
第三节 熵函数的展开
• 一、联合熵 • 二、条件熵 • 三、互信息 • Kullback信息量(不讲)
《教育信息处理》
一、联合熵
• 设有两道多重选择问题X、Y。问题X有r个预选 答案,问题Y有c个预选答案。
• 通过测试,学生对问题X选中第s个预选答案, 对问题Y选中第t个预选答案的概率为pst.这是一
《教育信息处理》
第四节 测试问题的信息量
• 一、测试问题信息熵的计算 • 二、等价预选项数(等价选项个数) • 三、对不确定程度的判断 • 四、互信息在标准化试卷评分中的应用
《教育信息处理》
《教育信息处理》
《教育信息处理》
《教育信息处理》
《教育信息处理》
《教育信息处理》
《教育信息处理》
• 给定的问题是:从外观上看,12个小球完全相 同,在这12个小球中,仅有一个小球的重量与 其它小球不一样。请使用天平,能否在三次以 内找出这个重量不同的小球,并且指明该小球 比其它小球是重还是轻。
《教育信息处理》
• 分析与求解:
• 比较12个小球,并判定轻、重,应是12x2种比较当中 的一种。在比较的过程中,开始的不确定程度为 log24=4.585(bit)
《教育信息处理》