Hombre Pepe, no hace falta que lo quites, lo dejas de usar y ya está. Alguna vez te puede venir bien, pues hay páginas que sólo se abren con el IE (sobre todo, cómo no, las de Microsoft)
Una vez instalado le dices que sea tu navegador por defecto y fuera. Así tendrás 2, pero el Firefox sería el principal...