Java - Uso de Sets

Las clases que implementan la interface Set se supone que no deben contener elementos repetidos. Como debo hacer para tener un Set cuyos elementos sean arreglos y que no existan dos arreglos con sus elementos en las mismas posiciones? No entiendo por que no funciona la logica aqui ya que como se ve en las ultimas dos lineas del codigo, se puede comparar dos arreglos en base a sus elementos (si los arreglos tienen los mismos elementos en las mismas posiciones, entonces son iguales)
Este es mi codigo:
Set<int[]> arrays=new HashSet<int[]>();
int[]array1=new int[]{1,2};
int[]array2=new int[]{1,2};
arrays.add(array1);
arrays.add(array2);
for(int[]array:arrays)
for(int element:array)
System.out.println(element);
if(Arrays.equals(array1,array2))
System.out.println("yes, They're equal");
Y esta la salida:
1
2
1
2
yes, They're equal

Gracias por su ayuda

Soy Carlos Andres Villacreses de colombia me gustaria saber de que pais es usted ya que mi apellido no es muy conocido por qui y somos una familia relativamente pequeña escribame a mi correo y conversamos ok?