Realmente… NO se puede.

PHP 5.5.9 es la única versión incluida con Ubuntu 14.04. Para degradar deberíamos purgar el PHP del sistema e instalar una versión antigua del tipo 5.5.X, y aunque funcione es posible que os generara errores en el sistema, no es recomendable.

Si realmente necesitas Php 5.4.x, sugiero que te instales Debian 7.0 como base. Se distribuye con PHP 5.4.4, junto con varias correcciones de seguridad.