Dentro da pasta ~/.ssh crie um arquivo chamado config, dentro dele coloque o seguinte:

Host <hostname ou IP>
    IdentityFile <caminho do arquivo>

Por exemplo:

Host 172.16.0.1
    IdentityFile ~/.ssh/privkey

Caso o host tenha mais do que uma chave privada, simplesmente adicione uma segunda, ou terceira, linha abaixo de IdentityFile.

Caso a chave tenha sido gerada utilizando o PuTTYgen, é preciso primeiro a exportar para um formato válido para esse caso, para isso clique em Conversions -> Export OpenSSH key.