Primeiro : O preço.
Segundo: O Hardware e processamento. O do Moto X é bem melhor e superior, ele tem um processador Quad-core de 2.5 Ghz, do G é 1.2 Ghz e do Moto E é um dual-core de 1.2 GHz. O G e o E tem uma Ram de 1 gb e a do X é 2 gb. Sem contar a GPU, a do Moto X é uma adreno 330, do G é uma adreno 305 e do E é uma Adreno 302. O X garante uma experiência melhor em jogos e outras atividades.
Terceiro: a Tela. A do G é 5 polegadas, do X é 5,2 e do E é 4.3.
Quarto: Câmera. A do Moto E é 5 Mp e não vem flash, do X é 13 mp e vem dual Flash, e do G é 8 mp e vem flash (porém a câmera do G é melhor que a do X, isso mostra que nem sempre quantidade de pixels significa qualidade)
Bom, existe milhares de diferença entre os 3, mas acho que só essas já basta pra você ver.