В 656 г. оппозиционно настроенные арабы подняли восстание и убили Османа. Халифом был провозглашен двоюродный брат Мухаммеда Али. Правитель Сирии Муавия не признал его и, сплотив вокруг себя довольно значительную группировку арабской знати, начал военные действия.

При этом он опирался на арабов сиро-палестинского региона, а Али — на восточные области Халифата. В 657 г. противники заключили между собой мирное соглашение. Али признал Муавию самостоятельным правителем сиро-палестинского региона. Однако отношения между ними и в последующее время были весьма враждебными. К тому же на политической арене тогда выступила еще третья группировка — хариджиты. Так стали называться наиболее крайние из сторонников Али, отделившиеся от него после соглашения последнего с Муавией. Хариджиты одинаково враждебно относились к обоим правителям и потому подвергались преследованиям.

В то же время постепенное усиление податного гнета, стремление арабских властей уничтожить остатки местной автономии в покоренных странах способствовали росту национально-освободительных движений. Еще при жизни халифа Османа восстало население Мидии. Сопротивление мидийцев было столь ожесточенным, что арабские завоеватели не могли справиться с этим восстанием в течение нескольких лет. После того как в Халифате начались смуты, Мидия признала над собой власть Византии.

После убийства Османа и начала гражданской войны в арабском государстве армяне также восстали и перешли под протекторат империи ромеев. В ответ на это арабы убили 1775 заложников, которых Хабиб увел в Сирию. Спаслись только 22 человека, находившиеся тогда в другом месте. Мушег Мамиконян, у которого четверо сыновей были заложниками у арабов, по этой причине остался верен Халифату. Но князья, участвовавшие в восстании, напали на Мушега и его единомышленников и схватили их. Затем император Констант II призвал к себе Мушега Мамиконяна, а остальных его сторонников отпустили.

Одновременно с Арменией власть Византии признали над собой Картли и Албания. Тогда же союзные ромеям хазары заняли Дербент.