Si es por eficiencia, y de acuerdo a mi experiencia, yo sólo compilaria de esa forma kernel y bibliotecas. Igual no he notado mucha diferencia con los equipos actuales. Si las notaba hace 15 años. Saludos