信息论

本文围绕“压缩即理解”，指出记住只能复述、理解能够预言。500个偶数需1947个字符，而公式2n仅2个字符；信息量取决于意外程度，预测越准，记录越少，预测与压缩是同一种能力。第谷的火星观测被开普勒压缩为椭圆定律，再被牛顿压成万有引力公式。规律等于最短程序，纯随机不可压缩；理解有损，须舍弃细节、抽取结构。人脑和大语言模型都在压缩后预测。学习时，能否用几句话概括并推导新内容，可检验是否真正理解。