Skąd się wzięło powiedzenie "mieć coś za uszami"?

"Mieć coś za uszami" czyli wyrażenie określające, że nie jest się bez winy i ma się coś na sumieniu. Ale skąd w tym powiedzeniu uszy? Jest kilka wyjaśnień, a jedno z nich to, że chodzi o sprawy, które są niewidoczne - "poza uszami" czyli w ukryciu. A jeżeli coś się ukrywa, to może oznaczać, że nie mamy czystego sumienia...