如果是现实中遇到的，侧面应该就是白色的，个人观点

这个图，现实中遇到：我认为B就是白色的，而A是黑色的。就好比柱子的阴影会让白色土块发灰，那发灰的图块本身是什么颜色呢？一个物体不能因为叠加了一层阴影和另一个物体颜色数字上一样，就认为这两个物体是同一个颜色吧

回到楼主的图中，首先阳光是从左侧上方打过来的，而右下角有阴影，说明，B侧是光线照不到的阴影区。而A面是光线完全照亮的区域。
B叠加了阴影之后的区域，在数值上和A一样，是不是说明如果A和B在同一光照的条件下，B实际要比A白一些

我们眼睛看到的并不会直接成为认知，而是需要大脑这个“中间商”经过辨识，修正。
视觉错觉正是利用大脑的辨识盲区，导致眼睛的认知偏差。

眼镜是根据显示经验判断的，自动修正阴影。
而如果不修正阴影，上下确实颜色一样。