Si quieres usar código nativo de la plataforma debes usar JNI. Tienes un tutorial en http://java.programacion.net/jni/.
Personalmente no me parece una buena idea el empleo de DLLs ya que el código dependerá de librerías propias de la plataforma, y pierdes la capacidad multiplataforma de Java. Para hacer aplicaciones Windows que usen DLLs ya dispones de otros lenguajes como C++ o Visual Basic (si es que VB se puede considerar un lenguaje de programación ;-) )