Visual Basic - Algoritmo de seguimiento con camara

Espero alguien me pueda ayudar ya que tengo un programa y ese programa recibe imagen de una camara web, el chiste es que si un objeto se mueve a la derecha o a la izquierda quiero que la camara lo siga, ovio el mecanismo para el movimiento de la camara ya lo tengo, el control del puerto también, solo falta que mi software me a donde va el movimiento o si la imagene es estatica.

espero me puedan ayudar

Se me ocurre un truco

Checar ciertos puntos de la imagen, osea unas de la parte derecha y otras de la izquierda

Checa esta Api

Private Declare Function GetPixel Lib "gdi32.dll" (ByVal hdc As Long, ByVal nXPos As Long, ByVal nYPos As Long) As Long

GetPixel(Picture1.hdc, x,y)

Si hay varios pixeles diferentes en alguno de los 2 lados entonces mueves la camara hacia ese lado

Claro, es solo una suposicion, no se si en realidad funcione pero se ve bien