Mark Harmon est né à Burbank. Il est le fils de Tom Harmon et de l'actrice Elyse Knox.
Il commence une brillante carrière dans le football mais arrête pour devenir comédien.
Il fera sa première apparition à la télé dans "Emergency", puis enchaîna des rôles dans divers films et téléfilms. Tout commence quand on lui propose un rôle dans une série nommée "St Elsewhere". Il jouera ce rôle pendant 6 saisons. Puis en 1991, il jouera dans "Reasonable doubts" jusqu'a l'arrêt de la série. En 1995, Mark renoue avec la TV. On lui propose le rôle principal de la série "Charlie Grace" mais cette série est un échec et s'arrête au bout d'une seule saison. Suite à cet échec, Mark rebondit très vite et rejoint le cast de la série "Chicago Hope" dans laquelle il jouera 4 saisons.
En 2003, il joue dans le film "Freaky Friday" aux côtés de Jamie Lee Curtis et Lindsay Lohan. Enfin, on lui propose de rejoindre le cast de "NCIS".
Depuis, Mark n'a participé qu'a un seul film en 2004 : Chasing Liberty.
En 2008, il devrait apparaître dans un film intitulé : Weather Girl.
