Eu não trocaria, primeiro porque pra mim o Galaxy SIV é um excelente aparelho, segundo que para você vender ele para comprar o outro há grande chance de prejuízo, pois smartphones usados não tem um bom valor de revenda e ainda não gosto de aparelhos da LG. Mas se não for esse o caso e você estiver insastifeito com o Galaxy, pode pegar qualquer um dos dois, pois têm praticamente as mesmas configurações, Snapdragon 800, quad-core 2,3GHz, Adreno 230, as principais diferenças entre eles está na tela, sendo a do G2 de 5,2", 0,25" a mais que o Nexus, tanto a câmera principal (traseira) como a frontal são melhores, o G2 grava em 60 quadros por segundo, o dobro do Nexus, além de uma bateria com maior capacidade, 3000mAh contra 2300mAh do Nexus.
Como eu já disse, preferia ficar com o Galaxy SIV mesmo do que trocar por um dos dois, agora se quiser mesmo trocar vai de LG G2, que as configurações são um pouco melhores e pode ser encontrado até mais barato que o Nexus 5, mas se quiser pegar um Android puro, com todos os benefícios que ele proporciona, vai de Nexus.
