Родился в 1006 году в Трапезунде в богатой и знатной семье. Отец его скончался, когда Иоанн был еще ребенком. Заботами матери получил прекрасное образование в родном городе.
Ученый муж в Константинополе
Отправился в Константинополь, где был принят в круг наиболее просвещенных мужей, наиболее яркими представителями которых были, из старшего поколения - святитель Иоанн Мавропод, и ровесники - будущий патриарх Константин Лихуд, и один из величайших восточно-римских историков Михаил Пселл. Иоанн в основном занимался изучением права, хотя не пренебрегал и такими науками как философия, риторика, диалектика.
Как только власть захватил император Константин Мономах, он привлек к процессу восстановления образования наиболее просвещенных людей того времени, в первую очередь Михаила Пселла, ставшего "ипатом философов" и Иоанна Ксифилина, который был, вероятно, 21 апреля 1047 года назначен номофилаксом - главой юридической школы.
Однако, вскоре в Константинополе среди представителей старой элиты началось движение против призванных императором специалистов, которое коснулось и Иоанна. Некий Офрида, поддерживаемый высшим юридическим сообществом Константинополя, обвинил Иоанна перед императором в невежестве и, прежде всего, в свободомыслии, проистекающем из его молодого возраста. Несмотря на поддержку Михаила Пселла, Иоанн был отстранен от занимаемой должности. Своих должностей также лишились Константин Лихуд, Иоанн Мавропод, Михаил Пселл и многие другие. Всех их постригли в монахи и изгнали из столицы.
Монашество
Приняв монашество, отправился в один из Олимпийских монастырей в Вифинии, где жил десять лет.
За этот период Михаил Пселл, вернувшись в столицу, восстановил там свое влияние и даже сумел убедить императора Исаака Комнина постричься в монахи и отречься от престола в пользу Константина Дуки, в результате чего Пселл стал первым советником нового императора, а патриархом – друг Пселла и Иоанна Константин Лихуд. После кончины патриарха Константина в 1063 году на патриарший Константинопольский престол, также видимо стараниями Пселла, был приглашен Иоанн. Он был рукоположен сначала в иереи, а через неделю, 1 января 1064 года – во епископы.
Патриарх Константинопольский
Его первой заботой на посту патриарха стал вопрос о ересях на восточных границах империи. Он немедленно осудил и отправил в изгнание яковитского епископа Митилены, насаждавшего монофизитство, а в 1066 году объявил о церковном союзе Армении и Константинополя, целью которого было укрепление позиций империи на разоряемых турками восточных рубежах.
В делах престолонаследия
Также патриарх Иоанн деятельно входил в дела престолонаследия. В частности, участвовал в вопросе престолонаследия после кончины императора Константина Дуки. Так, незадолго до 21 мая 1067 года он, по просьбе умирающего императора, принял клятву императрицы Евдокии Макремволитиссы в том, что она по смерти супруга не выйдет вновь замуж, чтобы трон занял один из сыновей Константина Дуки. Патриарх пригрозил Евдокии анафемой в случае клятвопреступления и таким образом способствовал сосредоточению власти в руках Михаила Пселла и кесаря Иоанна Дуки, брата умершего императора.
Однако, спустя несколько месяцев опасность оживления деятельности турок на восточных границах империи вынудила патриарха, вопреки желаниям Пселла и кесаря, освободить Евдокию от клятвы и разрешить ей вступить в брак с Романом Диогеном, который казался способным справиться с нашествием варваров.
Впоследствии патриарх дал разрешение на смешанный брак Константина Дуки, сына императора Михаила Дуки, и Елены, дочери норманнского герцога Роберта Гвискара, дабы попытаться устранить нависшую над западными владениями империи в Италии угрозу норманнского завоевания.
Внутрицерковная деятельность и кончина
Патриарх проявлял великую заботу об украшении и обновлении столичных храмов, в особенности Храма Святой Софии.
Каждый день отправлял службы и проповедовал в столичных храмах. Раздавал бесплатно хлеб и зерно бедным.
Оставаясь на престоле до своей кончины, последовавшей 2 августа 1075 года. Был похоронен в монастыре Ангуриев (Μονή των Αγγουρίων, "Огуречный монастырь") на Боспоре.