Les mitochondries répliquent leurs génomes plus d'une fois par cycle de division cellulaire, et elles le font dans un environnement plein de radicaux libres ; molécules endommageant l'ADN, produits comme sous-produit du processus métabolique (processus responsable des fonctions du corps) qui génère l'ATP (Adénosine Triphosphate) dans les organites (composants de la cellule). Ces facteurs contribuent au taux de mutation rapide de l'ADN mitochondrial, qui dépasse largement celui du génome nucléaire. De plus, les génomes mitochondriaux ne subissent pas de recombinaison (mélange entre les gènes), donc si une mutation survient dans le génome mitochondrial, il est difficile de s'en débarrasser. Étant donné que les produits géniques mitochondriaux interagissent souvent avec les ARN et les protéines codés dans le noyau, une telle mutation exerce une pression sélective pour une mutation compensatrice dans le génome nucléaire pour maintenir le bon fonctionnement de la cellule. Avec les mutations qui s'accumulent dans les génomes mitochondrial et nucléaire, des populations isolées se séparent, génétiquement parlant. À terme, le génome mitochondrial d'une population pourrait devenir incompatible avec le génome nucléaire de l'autre et conduire à un isolement reproductif.
Ce processus pourrait expliquer la spéciation, et c’est idée qui peut être intégrée dans le concept « d'espèce mitonucléaire ». S’il y a accouplement en dehors des limites d'une espèce, vous créez de mauvaises combinaisons de gènes nucléaires et mitochondriaux qui conduisent à une mauvaise fonction mitochondriale. Par exemple, les espèces étroitement apparentées de la paruline à ailes dorées et de la paruline à ailes bleues, petits oiseaux chanteurs qui vivent dans le sud-est et le centre-sud du Canada et dans les Appalaches, partagent 99,9% de leur génome nucléaire, mais elles ont des génotypes mitochondriales uniques.
L’un des défis de l’étude des interactions mitonucléaires dans le contexte de la spéciation est qu’il est difficile d’établir une relation causale: il est possible que des mésappariements mitonucléaires surviennent en raison de la dérive après un événement de spéciation, plutôt que de conduire à l’isolement reproductif en premier lieu. Une étude sur les poissons de la famille des Poeciliidae, dont plusieurs lignées se sont adaptées pour vivre dans des sources riches en sulfure d'hydrogène au Mexique, tend à y répondre.
Le sulfure d'hydrogène est extrêmement toxique et interrompt la fonction mitochondriale. Et donc comment les poissons pouvaient survivre dans ces conditions et est-ce que les adaptations mitochondriales aux environnements sulfidiques pouvaient entraîner des incompatibilités mitonucléaires qui favoriseraient la spéciation ?
Par cette étude on a découvert que dans certaines lignées, l'une des protéines mitochondriales de l'enzyme cytochrome c oxydase a développé une forme qui ne peut pas être inhibée par le sulfure d'hydrogène. La protéine modifiée, ainsi que les changements évolués dans l'expression des gènes, permettent au poisson de survivre à l'environnement toxique. Cela devrait, en théorie, exercer une pression sélective pour les changements compensatoires dans les composants nucléaires du cytochrome c oxydase quelque chose que les chercheurs de cette étude essayent actuellement de repérer à travers des lignées qui ont été séparées de leurs cousins dans des eaux non sulfidiques pendant différentes durées.
Il s'agit d'un système d'étude idéal car il permet d’obtenir des données à différents moments de la spéciation, révélant des indices sur la façon dont les animaux ont évolué.