tienes que mirarte la clase TextAttribute
java.awt.font.TextAttribute,
al crear la fuente (o una vez creada) la puedes
derivar pasándole un Map (hastable por ej) con
los atributos, TextAttribute.UNDERLINE como key
y TextAttribute.UNDERLINE_ON como value