Seria así:

rm -r fichero_o_carpeta_a_eliminar

Ejemplo de como borrar el archivo repositorio de Chrome:

rm r /etc/yum.repos.d/google-chrome.repo

Para una carpeta seria lo mismo:

rm r Descargas