Private Sub TextBox1_KeyPress(ByVal sender As Object, ByVal e As System.Windows.Forms.KeyPressEventArgs) Handles TextBox1.KeyPress
If e.KeyChar = Chr(Asc(".")) Then e.Handled = True
End Sub
Esto evitaria poner el ".". Puedes hacer igual para cualquier caracter o para todos, solo hace falta poner e.Handled=True para indicarle que el evento ya ha sido gestionado y que no hace falta que haga nada