Visual Basic.NET - Eliminar una Row de un DataGrid

Estoy creando una base de datos a con un DataGrid, agrege un botón de eliminar pero solamente me elimina el primer registro y después ya no borra nada, hasta que vuelvo a cargar la base, me podrían ayudar con este problema gracias, el código que estoy utilizando es:

Private Sub btnEliminar_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles btnEliminar.Click
Dim RegistroActual As Long
RegistroActual = Me.BindingContext(dsClientes03, "Clientes").Position

If MsgBox("¿Eliminar elemento Seleccionado?", MsgBoxStyle.Question + MsgBoxStyle.YesNo) = MsgBoxResult.Yes Then

dsClientes03.Tables("Clientes").Rows(RegistroActual).Delete()
End If
End Sub

MUCHAS GRACIAS