В 639 г. началось также завоевание Северной Месопотамии (ал-Джазиры). Еще в 638 г. после отражения ромейского десанта под Эмесой Абу-Убейда послал для завоевания еще незавоеванной части Сирии полководца Ияда-ибн-Ганма-ал-Фихри.

Когда его войска достигли Евфрата, жители ал-Джазиры решили не допустить вторжения в их область. Так как неудача под Эмесой показала, что арабы — грозные противники, они решили заключить с Иядом мирное соглашение. К этому их побуждало то, что ал-Джазира раньше уже подвергалась нападению арабов со стороны Ирака (см. выше) и сражаться на два фронта при небольшой численности ромейских войск, бывших в Месопотамии, не представлялось возможным. Правитель (эпитроп) Осроены Иоанн явился к Ияду в Киннесрин и заключил с ним соглашение, по которому выдал ему всю годовую подать, которую раньше посылал в Константинополь, а Ияд обязался в течение годового срока не переходить Евфрат.

Обязательство выплачивать подать, размер которой составлял 100 тыс. динариев, арабам было для византийского правительства равносильным потере своих заевфратских владений. Когда Ираклий узнал о состоявшемся соглашении, он немедленно сместил Иоанна и отправил его в ссылку в Африку, а на его место назначил военачальника Птолемея.

По истечении года Ияд уже не получил указанной суммы и потому разорвал перемирие. По свидетельству арабских источников, он в месяце шабане (августе) 639 г. перешел Евфрат с пятитысячным отрядом и осадил Ракку (Каллиник). Если учесть, что впоследствии войско Ияда уничтожало и брало в плен людей в несколько раз больше 5000, то станет ясно, что после перехода Евфрата он получал значительные подкрепления. Впрочем, число 5000 может быть обычным преуменьшением мусульманских авторов.

После того как Ракка сдалась по договору, Ияд двинулся к Эдессе. Воинских сил в распоряжении Птолемея было явно недостаточно, и поэтому население после недолгого сопротивления решило капитулировать. Ияд принял условие жителей Эдессы выпустить из города Птолемея и ромейских воинов и заключил с ними договор о сдаче. Одновременно капитулировал Харран. Затем после осады сдалась Самосата — стратегически важный пункт к северу от Эдессы. С ее захватом Месопотамия была отрезана от Византии, и завоевать ее не составляло труда, что вскоре и осуществилось. Большинство городов сдалось по договору, Исключением явились лишь Телла-Маузелат и Дара, где византийские гарнизоны оказали ожесточенное сопротивление (о сопротивлении их жителей источники не упоминают). После взятия этих городов арабы перебили защищавших их ромеев.