Когда ему это удалось, оказалось необходимым совершить поход в Италию: этот поход был для него обязанностью, почти долгом. К этому его вынуждал титул римского императора, настолько же многозначащий и громкий, как и титул папы. Восстановление этого значительного политического понятия, естественно, привело к тому, что все недовольные германской властью в Италии обратили взоры в сторону Константинополя, где многие, и не только в придворных кругах, смотрели на власть германского императора в Италии как на узурпацию. Там же в 976 г. умер Иоанн Цимисхий, сумевший быстро поднять значение Греческой империи и своим необычайно счастливым походом на восток вновь заставивший уважать могущество Византии. Сам халиф Багдадский трепетал перед победоносным войском «ромеев», уже занявших Месопотамию. И вдруг государство оказалось во власти двоих братьев супруги Оттона II — Василия II и Константина IX, не обладавших ни воинской, ни какой-либо иной энергией. Разумеется, и по отношению к итальянским владениям Византии в Апулии и Калабрии они находились в полной нерешительности: и уступить не хотели, и защитить их надлежащим образом не могли. Эти местности, а вместе с ними и вся Южная и Средняя Италия, были совершенно беззащитны от нападений страшнейшего из всех врагов — арабов, которые в 976 г. под начальством Абу-л Касима, наместника Северной Африки (начиная с 969 г. в Северной Африке и в Египте утвердилась могущественная династия Фатимидов), огнем и мечом опустошили Апулию и Калабрию и угрожали ломбардским княжествам Беневентскому и Сполетскому, составлявшим как бы преддверие Рима. Таким образом, в Италии ислам опять начал переходить к наступлению.