Гуси (и утки) могут взлетать прямо с воды – их оперение остается всегда готовым к полету благодаря тому, что не намокает. Поэтому, сколько на гуся не лей воды, она с него скатится, как с любой масляной поверхности и не пристанет. Отсюда и смысл выражения Как с гуся вода – то есть не пристает к человеку, что бы о нем не говорили.