SQL Server - Como hacer esta intruccion SQL???

Hola....
Haber si alguien me ayuda con esta consulta....

Como puedo sumar estos Valores

Tabla A (Material)
_IdOrden,_IdMaterial, _CantiRecibida
_01_____,_M1______,_27
_06_____,_M2______,_21


Tabla B (ConsumoMaterial)
_IdProceso__,_IdMaterial, _CantidadConsumida
_P1________,_M1_____,_4
_P2________,_M1_____,_24

Necesito saber cuanto material disponible tendria de la tabla A Restandole la cantidad consumida en la Tabla B

Para este ejemplo deberia de devolverme 21 el Material(2) que no esta el la tabla B

yo hice esto... pero me devuelve 48

Select SUM(CantiRecibida - sum(isnull(CantidadConsumida,0))
From TablaA a
inner join TablaB b
on a.idmaterial = b.idmaterial

me devuelve 48 porque suma la cantidad recibida tantas veces este en consumoMaterial....?
como puedo hacer k me reste solamente una vez el material de la Tabla A independientemente de las veces k este en la tabla B?
si me pueden ayudar?

Gracias de Antemano

Creo que seria

Select CantiRecibida - SUM((isnull(CantidadConsumida,0))
From TablaA a
inner join TablaB b
on a.idmaterial = b.idmaterial