Puedes optar por cargarla dinamicamente asi la dll solo se carga en la memoria cuando la necesites y luego podras descargarla cuando ya no te sea de uso, la carga sinamica tiene esa ventaja. otra solucion es que quites de sus usos todas aquellas librerias que no se esten utilisando; si hay formularios dentro de la dll te seria conveniente quitar la unidad "Variants" de sus clausulas.
