Una pregunta que me han realizado varias veces últimamente a causa de las incompatibilidades de esta versión y que está generando tantos quebraderos de cabeza a los usuarios de Lemp, Magento el famoso script web hosting WHMCS y tantos otros.
Realmente… NO se puede.
PHP 5.5.9 es la única versión incluida con Ubuntu 14.04. Para degradar deberíamos purgar el PHP del sistema e instalar una versión antigua del tipo 5.5.X, y aunque funcione es posible que os generara errores en el sistema, no es recomendable.
Si realmente necesitas Php 5.4.x, sugiero que te instales Debian 7.0 como base. Se distribuye con PHP 5.4.4, junto con varias correcciones de seguridad.