Suite logique du Merkava I, cette version conserve les principales caractéristiques du modèle original. Néanmoins, elle intègre les leçons tirés de l’opération «Paix en Galilée». Fin 1983, les premiers Merkava II sortent d’usine jusqu’à la fin de l’année 1989, où apparait le Merkava III, à la conception différente.

Considéré comme un char de deuxième génération, le Merkava II reprend la même silhouette que celle de son prédécesseur. Toutefois, des aménagements, désormais en séries, tels que les boules anti-RPG sous la nuque de tourelle, sont introduits. Par ailleurs, il est équipé d’un matériel électronique de bord plus poussé, comme un contrôle de tir par ordinateur, un système laser et une vision thermique de nuit. La prise de vue informatique connaît également une amélioration.

Niveau armement secondaire, une seconde mitrailleuse FN MAG de 7,62mm prend place à bord du char et ces dernières sont renforcées, sur certains modèles par une mitrailleuse calibre 12,7mm placée directement au dessus du tube, sur le nez avant de la tourelle, et qui sert également de direction de tir pour le canon. Le mortier de 60mm est désormais noyé dans le blindage et seuls quelques centimètres du tube dépassent.

A l’extérieur, le Merkava II présente aussi, à l’arrière de la caisse et de chaque coté de la porte, deux paniers pouvant accueillir des réservoirs supplémentaires, du matériel pour l’équipage ou tout autre sorte d’équipements additionnels. Sur les versions IIB et IIC, la principale différence visuelle est l’ajout de plaques de blindage sur le dessus du capot moteur, ainsi que sur les cotés de la tourelle pour le IIB. Le IIC possède également du sur-blindage sur le dessus de la tourelle.

Les jupes ne sont désormais plus constituées de cinq portions comme le Merkava I, mais de dix, attachées par tronçons de deux. Le Merkava II garde cependant le système d’attache de jupe du I, alors que les versions suivantes porteront des attaches propres.

Ultime version du Merkava II, le IID ne ressemble plus du tout, extérieurement parlant, aux Merkava I et II, bien qu’il reprenne en intégralité leurs caractéristiques. En effet, des caissons de blindage composite modulaire sont placés sur la tourelle, ce qui lui donne une allure de soucoupe volante à la façon du Mervaka IV, développé en même temps.

Cette version est largement utilisé pendant l’opération «Plomb durci» déclenchée en 2008-2009 dans la bande de Gaza. Toutes sous-versions confondues, le Merkava II est produit à quelque 580 exemplaires.