Потому что когда он летит вверх, ему приходится приодолевать ускорение свободного падения, которое и уменьшает его скорость, а когда камень падает вниз, ускорение свободного падения наоборот увеличивает его скорость, т. к. ускорениее свободного падения всегда направлено вниз.
