Es una forma colorida de decirle a alguien que se calle o deje de meterse en lo que no le importa. Mezcla el campo con darle una bajada rápida a quien esté hablando de más.
Vieras cómo andaba diciendo que yo no hago bien mi trabajo hasta que le dije '¡Caite de la milpa, compadre!', y se quedó calladito.