原则
模型内省
训练好模型之后,真正有价值的下一步是观察它偏爱什么、怎样表征问题,而不只是看它答对多少。
原则释读
向后查询的精彩之处,在于它给了黑盒一个侧门。你开始看到网络认为什么样的笔画更像某个数字,也开始理解模型并不是懂了世界,而是形成了一组自己偏好的内部表征。
为什么重要
没有内省视角,模型表现就只剩准确率一维,很难真正理解其强弱边界。
怎么用到自己的学习/工程系统
训练后至少做一次反向查询或中间表示可视化,看模型到底把什么当成关键信号。
行动规则
- 别只看最终分数。
- 看模型偏好什么形状和结构。
- 可视化是理解黑盒的重要窗口。
常见误区
- 把高准确率直接等同于高理解。
- 从不检查模型内部偏好。
辨析题
为什么向后查询这件事对理解神经网络特别有帮助?
因为它把原本只会吐答案的网络,变成了能反向显露自身表征偏好的对象。