SQL - Ayuda con consulta Complicada

En una db la cual tiene categoria, producto y subproducto
subproducto almacena el id del producto al que pertenece y el id de la categoria
producto almacena el id de la categoria a la cual pertenece.

Tengo una tabla visitas
esta almacena

tabla_visita
id_tabla

en la cual, el campo tabla_visita puede ser cualquiera de las 3 tablas (categoria, producto, subproducto).

La consulta que necesito hacer es acerca de que categoria tiene mas visitas, de acuerdo tambien a las visitas que se hicieron sobre producto y subproducto que se asocian a una categoria

ejemplo:
categoria 1 = visitas 3
producto 1 = pertenece a categoria 1 = visitas 3
subproducto 1 = pertenece a categoria 1 = visitas 3

en total necesitaria obtener ese 9 que suman las visitas de todos los que corresponden a la misma categoria.
Espero que se haya entendido y alguien me pueda ayudar.
Saludos.

¿Que base de datos manejas?

Mysql, pero digamos, las sentencias son las mismas.

En teoria si, ANSI SQL siempre sera la norma, pero cada motor tiene sus pequeñas diferencias.

Asi es, igualmente [ara este caso no valen. Tienes alguna idea para decirme?
Lo que yo pienso es hacer algo asi

Sumar el count de:
visita.id_tabla cuando tabla_visita=categoria
visita.id_tabla.id_categoria cuando tabla_visita=producto
visita.id_tabla.id_categoria cuando tabla_visita=subproducto
Nose si me estoy complicando, tirando subconsultas o que pero no lo puedo sacar. La verdad es que con tanta cosa me mareo
Gracias y saludos.