Quizás en las ciudades donde los rasgos más típicos del andaluz están muy suavizados si que se puede decir que queda en una mera diferencia fonética y en la pérdida o aspiración suave de alguna ese, pero los rasgos diferenciadores del andaluz auténtico con respecto al castellano son muchos. Son 20 el número de formas lingüísticas que difieren entre asturiano y castellano, algunas menos pero parecido es numero de las que difieren entre castellano y andaluz. Y muchas de estas diferencias son compartidas. De hecho por la propia fonética que comentas el asturiano puede pasar por más parecido al castellano ya que ambos tienen 5 vocales (el andaluz 8) y el uso de la zeta y de la ese es el mismo, mientras que en andalucía sesean y cecean.
Esa multitud de subdialectos que comentas se da en todas las lenguas/dialectos que no han tenido unas normas. El castellano está tan estandarizado por eso. Ahora solo tiene 2 subdialectos norteño y sureño. Pero hasta hace 3 siglos o algo menos la rioja tenía sus particularidades, tierra de campos también, en Toledo se pronunciaba la h aspirada, en la meseta norte se decía "xugar" y no "jugar"...
Mismamente el asturiano varia mucho, solo en el centro de asturias se da ese plural tan curioso en -es, en el occidente y en el oriente de Asturias no lo usan...
Sobre las provincias orientales de andalucía es que más que andaluz lo que allí se habla es castellano sureño (como el extremeño y manchego) con algun rasgo andaluz. Y es que al final el propio andaluz es una mezcla de asturiano, castellano sureño y algún rasgo del mozárabe. El murciano ya es harina de otro costal ya que mezcla castellano sureño con rasgos aragoneses y valencianos.