GTX 1060 de 3GB possui menos stream processors (cuda cores), por isso é mais lenta. Fora que 3GB tá no limite, tem vários games que ultrapassam isso. Já a RX 580 tem as mesmas especificações independente da quantidade de VRAM (claro, a depender do fabricante, mas no geral são iguais, Nitro Sapphire é o mesmo clock nas duas versões). 4GB tá se tornando limítrofe tmb, mas é uma melhor pedida em relação a 1060 3GB em qualquer situação.