Hola, si te refieres al texto que uno coloca claro que si y esto es con el método que tiene la clase JLabel setFont en donde recibe un objeto tipo Font. Fíjate como puedes crear varios estilos en la letra y busca el estilo para el subrayado correspondiente.