Según Wikipedia, técnica utilizada para medir el rendimiento de un sistema o componente del mismo …

Anteriormente ya publicamos benchmarks con diferentes frameworks php en el blog y wiki, pero ya son antiguos. Esta vez usaremos los datos de una comparativa independiente, que emplea versiones actualizadas de los frameworks.

Estos datos de rendimiento son resultado de un trabajo serio y bien hecho de Kenjis en Github. En el link pueden encontrar todo el código, ejecutarlo en sus propios ordenadores y ver las gráficas interactivas con mucha información. Además encontrarán los datos del equipo que se usó, incluyendo notas. Finalmente pueden aportar pasando un pull request o indicando un error.

Resultados del benchmark de Kenjis, realizado el 14 de febrero de 2017.

Comparativa de velocidad de los frameworks php

Las diferencias de velocidad son más grandes

Como muy bien indica Kenjis, hay 2 notas debajo de la tabla de resultados de velocidad de los frameworks:

Nota 1: Estos resultados son con la extensión Phalcon.so

Si no cargas «phalcon.so», las respuestas por segundo aumentarán un poco excepto para phalcon.

¿Cuánto exactamente?  Phalcon hace php y cualquier framework php, aproximadamente un 10% más lento. Ver issue #8. Así que todos los demás frameworks php, tienen una desventaja de ~10%.

Nota 2: Este benchmark está limitado por la velocidad de ab

El Apachebench es suficientemente rápido para los frameworks más lentos, sin embargo se queda corto con los más veloces. Ver issue #62. En este caso, la herramienta wrk es una excelente opción para realizar bechmarks, pues es moderna y multihilo, lo cual no marca mucha diferencia con los frameworks más lentos, pero sí en los más rápidos, que tienden a disparar exponencialmente sus tiempos de respuestas por segundo.

Hola mundo benchmark

Hay mucha polémica sobre los benchmarks que sólo usan una salida de «Hola mundo!». (Aquí tenéis una buena discusión sobre este tema.)

Que si no tienen nada que ver con una aplicación real, que no usan cache ni templates, que para eso se usa php puro, en fin, existen mil excusas y características a analizar.
Entre ellas, que los micro frameworks (siler, slim, lumen, silex,..) tienen ventajas en estos tests sobre los full stack frameworks (symfony, laravel, kumbiaphp, cakephp,…), y en parte tienen razón, pues este tipo de benchs no miden la aplicación ni la velocidad de la cache, así que estos serían otros bechmarks a realizar.

Esta comparativa mide el máximo rendimiento posible del framework sin cachear, de lo contrario sería un bench de la cache, que todos tienen y pueden usar. De todas formas para crear la cache de un «Hola mundo!», requerirán el tiempo y memoria que se indica en esta comparativa. Además es necesario crear la cache e invalidarla, esto añade complejidad en partes de tu aplicación que no lo necesitan. Incluso en algunas aplicaciones, no se puede usar cache eficientemente.

Solución de algunos frameworks a estos datos: si quito este componente y este otro, será más rápido. Si no necesita ese componente, ¿Por qué se ejecuta? Hace mucho tiempo que usamos autoload en php, para cargar las clases cuando se necesitan. ¿Fallo de diseño o exceso de ingeniería?

Estamos de acuerdo que un «hola mundo» solamente, no es suficiente, se deben hacer más benchmarks, y aunque como veremos más adelante, las diferencias de velocidad se suelen mantener en otros tipos de benchmarks, no se puede negar que esto dice mucho sobre un framework.

Ejemplo: Framework A -> hola mundo: 1.000 r/s | complejo: 400 r/s, Framework B -> hola mundo: 500 r/s | complejo: 400 r/s. ¿Qué framework es más eficiente?

Otros benchmarks de frameworks

Crear benchmarks correctos es todo un arte y se necesitan conocimientos específicos, para lograr comparar en igualdad de condiciones o como se dice en el argot popular, comparar manzanas con manzanas y no con peras.

Hemos visto de todo durante estos años, desde uno que el más rápido era porque no recibía más que un error 500 del servidor, hasta otros que uno sólo enviaba «Hola mundo!» y otros todo un template con css incluido y dentro el «Hola mundo!». Alguno de estos casos, se han visto en los más que discutibles benchs propios de phalcon y symfony.

TechEmpower benchmark (Actualización)

Un gigante benchmark muy completo y serio, que mide el rendimiento más parecido a una aplicación real es de TechEmpower. Compara el rendimiento de web frameworks de cualquier lenguaje, usando acceso a base de datos y wrk, con PHP5, PHP7 y HVMM. Este benchmark también es completamente abierto para que la gente colabore, y necesitan ayuda para mantener los más de 250 frameworks. Curiosamente el ratio de velocidad es muy parecido a este de Hola mundo (no se fíen de los datos del round 13).

Queríamos añadir KumbiaPHP a este bench (y lo haremos en breve), pero vimos fallos de configuración en el código para PHP. Así que comprobamos los datos de php5-raw con 1 consulta a la base de datos, round #12: 116,628 r/s y round #13: 40,046 r/s (8\). Enviamos los commits de corrección, del php.ini y del nginx (aun se puede mejorar más esta configuración) y también se ha realizado el cambio para que cada fw tenga su propio php.ini. En el próximo round #14 verán brillar otra vez a PHP frente a otros lenguajes.

Las mejoras a la configuración de PHP fueron aceptadas, logramos agregarlo y en el round 16 hemos aparecido en el top: Round 16 results – TechEmpower Framwework Bechmarks

Publicaremos otro artículo en añadir KumbiaPHP, y explicaremos las notas de este benchmark, que son individuales para cada framework.

Kenjis y ORM benchmarks

Kenjis tiene otros bechmarks de php muy interesantes: User Agent Parser y PHP ORM . François Zaninotto php-orm , es un fork más actualizado y con más ORMs. Si unimos un framework lento con un ORM lento, será siempre una mala combinación. Hoy en día casi todos los frameworks permiten usar cualquier ORM. Próximamente añadiremos el nuevo ActiveRecord de KumbiaPHP a estas comparativas (rapidísimo y sin uso de memoria prácticamente).

Esperamos que Kenjis use wrk y separe el php.ini, para el próximo. Sino crearemos un fork para que se aprecien bien las diferencias. Siempre nos fijamos en las r/s, pero hay otro dato muy importante, que añadiremos. La transferencia de datos, en esta comparativa usando wrk los más rápidos con ~6 Mb/s y los más lentos con ~130 Kb/s. :P

Conclusión

Los datos hablan por si solos, saquen sus conclusiones. No se fíen de cualquier benchmark que vean. Estas comparativas no son una competición entre frameworks php, son una gran herramienta de ayuda para mejorar todos los frameworks. Es normal que un framework que hace más cosas sea más lento, 2 – 3 veces más lento pero no 25.

La velocidad de un framework es muy importante para muchas aplicaciones. Pero hay más detalles a tener en cuenta, en el momento de elegir uno: la curva de aprendizaje, facilidad de uso, comunidad, entre otros. Tengan en cuenta todos los factores, pero también recuerden que después no podrán hacer su framework más rápido.

Para terminar, espero que no se queden callados y nos dejen conocer sus opiniones y comentarios.

Hasta la próxima.
Corrección de estilo por: Alejandra Morales

La entrada Los frameworks de php más rápidos, benchmark 2017 se publicó primero en KumbiaPHP Framework PHP en español.

UPDATE:

Benchmark actualizado 2017, con las últimas versiones de frameworks php

UPDATE:

Nuevo benchmark con APC y sin con la nueva estructura de directorios. También añadidos más frameworks a la comparativa. Enlace:

KumbiaPHP_vs_(Yii_CodeIgniter_Kohana_Zend_Prado_CakePHP_Symfony)

Mucho más rápido ahora con la nueva estructura

Comenzamos a publicar una serie de Benchmark que hemos realizado a la versión 1.0 Spirit pre beta vs (Symfony, Zend y Cake) la intención es mostrar los avances que hemos obtenido con la última versión (Spirit) de kumbiaphp framework.

Seguimos trabajando para mejorar más la velocidad antes de la versión final. Además de velocidad, se han hecho cambios para que también sea todavía más fácil y rápido su uso, al facilitar el reuso de código en diferentes partes y que se podrán compartir con la comunidad.

La Metodología, cada Framework que se le aplico las pruebas se hace utilizando las mas mínima medidas de configuración y control posible, de manera de hacer efectiva un «Hola Mundo», el enfoque minimalista mide la capacidad de respuesta de los componentes del Framework. No hay código de aplicación para ejecutar el controlador de las acciones en el Framework de cada uno haga lo menos posible para llamar a una vista. Esto nos muestra el máximo rendimiento posible, añadiendo código sólo reducirá la respuesta.

Cada Benchmark de los Framework’s usa los siguientes scripts o equivalentes…

• Bootstrap.
• Configuración por defecto.
• Front-controller ó dispatcher.
• Page-controller ó action-controller.
• Una acción sin código, otras que invocan una vista.
• Vista estática con solo «Hello World!».
• Sin usar cache de Framework.

Se utiliza el Apache por referencia «ab» herramienta para la medición de las solicitudes por segundo, en localhost para negar los efectos de latencia de red, con 10 peticiones concurrentes durante 60 segundos, sin APC. El comando es así:

ab -c 10 -t 60 http://localhost/[path]

Servidor

• Intel(R) Core(TM)2 Duo CPU T7300 @ 2.00GHz.
• 3GiB Memoria RAM.
• 160GiB Disco Duro.
• Server version: Apache/2.2.11 .
• S.O. Debian Squeeze.
• ApacheBench, Version 2.3.

Resultados

Document Path: /phpmark-read-only/baseline/index.html
Requests per second: 2124.27 [#/sec] (mean)
Document Path: /phpmark-read-only/baseline/index.php
Requests per second: 1255.32 [#/sec] (mean)
Document Path: /phpmark-read-only/kumbiaphp-1.0/hola_mundo
Requests per second: 34.07 [#/sec] (mean)
Document Path: /phpmark-read-only/cakephp-1.2.0/benchmark
Requests per second: 15.87 [#/sec] (mean)
Document Path: /phpmark-read-only/cakephp-1.2.1/benchmark
Requests per second: 15.91 [#/sec] (mean)
Document Path: /phpmark-read-only/symfony-1.1.6/web/index.php
Requests per second: 12.60 [#/sec] (mean)
Document Path: /phpmark-read-only/symfony-1.2.1/web/index.php
Requests per second: 10.10 [#/sec] (mean)
Document Path: /phpmark-read-only/symfony-1.2.2/web/index.php
Requests per second: 11.55 [#/sec] (mean)
Document Path: /phpmark-read-only/zend-1.6.2/index.php
Requests per second: 23.71 [#/sec] (mean)
Document Path: /phpmark-read-only/zend-1.7.2/index.php
Requests per second: 23.26 [#/sec] (mean)
Document Path: /phpmark-read-only/zend-1.7.3/index.php
Requests per second: 23.50 [#/sec] (mean)

Ver Detalles del Benchmark de frameworks PHP o toda la información sobre el Benchmark de Frameworks PHP en nuestro wiki.

Gráfica

La entrada Benchmark Frameworks KumbiaPHP vs (Symfony, Zend y CakePHP) se publicó primero en KumbiaPHP Framework PHP en español.

Spirit, es el primero de los dos robots que forman parte del Programa de Exploración de Marte. Nuestra versión tiene como características principales, fuerza y velocidad. Fuerza, porque su comunidad cada vez mas grande hace que nuestro framework KumbiaPHP avance a pasos agigantados. Velocidad,  porque nuestro core team que pertenece a otro planeta, continuamente esta aplicando las últimas técnicas y haciendo que otros frameworks se queden atrás día a día. En definitiva Spirit, hace que tus aplicaciones vuelen, resulten más atractivas y fáciles de mantener.

La entrada Por qué se llama Spirit? se publicó primero en KumbiaPHP Framework PHP en español.