Questo forum non si occupa di ottimizzazione siti: la questione esula dai problemi strettamente inerenti WP.
Puoi fare test con tool on line come questo e questo per vedere cosa rallenta e come migliorare.
Ci sono anche plugin come questo, utile per testare la velocità di caricamento dei plugin installati.
Usa Google-questo-sconosciuto per trovare tutorial e soluzioni alle varie problematiche.
Consiglio poi l’installazione di un plugin di cache.