В 1850 году из Рима в Россию уехал Ф. И. Иордан, с которым Иванов много лет поддерживал если и не подлинно дружеские, то, во всяком случае, приятельские отношения. От него из Петербурга Иванов мог узнать о судьбе многих из своих вернувшихся за это время на родину собратьев по искусству. Ожидания его подтвердились: большинство из них остепенились и хорошо устроили свою жизнь.

Что касается Брюллова, то его благополучие имело свою оборотную сторону: приветствуемый обществом и обласканный властями, он тяготился «неволей» николаевского режима и не находил полной отрады даже в творчестве.

Сверстникам Иванова, устроившим свои личные дела, казалось, что и вокруг наступило подлинное благоденствие. В письме к Иванову Иордан рассказывал, как он был поражен комфортом петербургской жизни и, в частности, яркими газовыми фонарями на улицах. Другой художник того времени в письме Брюллову восхищается тем, что присутствовал при открытии железной дороги между столицей и Москвой. «Дивный мост, — восклицает он, — охватывает стан Невы чудным поясом, Исаакий коронует город, железная дорога дружит две столицы, голову и сердце Руси! Эрмитаж приютил гениальные произведения, и в заключение всего Россия… показала всю свою нравственную и материальную силу».

Но Иванов видел печальные плоды политики правительства в области искусства на судьбе нового поколения русских пенсионеров, которые появились в Риме в 50-х годах. В Рим посылали только академическую молодежь. Судя по ней, академия теряла свой прежний престиж, искусство ее заметно мельчало; в нем все сильнее проявлялись приспособленчество, робость, безличие, шаблон. Если в академии и были заметны признаки нового, то это были лишь слабые отголоски той жизни, которая пробуждалась за ее пределами и тщетно толкалась в ее дверь.

Мертвенные, чуждые подлинному творчеству произведения академических живописцев давали далеко не полную, одностороннюю картину художественной жизни России того времени. В конце 40-х и в начале 50-х годов уже выступило целое поколение художников-новаторов. Семена, брошенные Венециановым и позднее Федотовым, не пропали даром. В русском искусстве, особенно в графике, все сильнее выступают демократические тенденции. Эти художники, нередко выходцы из разночинной среды, были далеки от официальных кругов; многие из них мужественно вели неравную борьбу с тогдашней твердыней официального искусства — императорской академией; большинство их страдало от непризнания и бедствовало. Они отстаивали искусство, близкое, нужное народу. В своих небольших, согретых теплотой чувства и искренностью жанровых картинах, в рисунках и литографиях они открывали поэзию каждодневной жизни простых людей, обитателей петербургских трущоб и чердаков. Эти художники были предтечами демократического подъема национальной русской школы второй половины XIX века. Но, конечно, в своем римском уединении Иванов ничего не знал, да и не мог знать об этом демократическом лагере. О Венецианове ему было известно только понаслышке, о его учениках он мог узнать от тех, которые перешли в академический лагерь. О Федотове он услышал впервые лишь по возвращении в Россию. В силу непреодолимых условий своей работы Иванов оказался оторванным от той среды, которая способна была помочь ему в поисках нового, плодотворного пути в искусстве, от художников, которые, конечно, признали, бы в нем труженика-собрата и в большей степени оценили бы его искания, чем это делали те римские пенсионеры, с которыми он вынужден был постоянно общаться.

Видимо, среди новою поколения «русских римлян» Иванов чувствовал полное одиночество. Все лучшие друзья покинули его. Ослепший Лапченко давно уже уехал с красавицей женой, «девушкой из Альбано», на родину — на Украину. Он получил там место управляющего в одном из воронцовских имений, проявил на этом посту большую деловитость и изобрел новый способ вести бухгалтерский учет. Иванов изредка писал ему, передавая поклоны красавице супруге.

В конце 40-х годов Иванова покинул и Чижов, с которым он дружил много лет. Незадолго до того Чижов побывал на Балканах — в Истрии, Далмации и Сербии — и завязал там связи с представителями местного освободительного движения. Он помогал далматским партизанам выгружать оружие, которое те собирались пустить в ход против австрийских властей. Это стало известно последним, и они пожаловались Николаю I. Когда Чижов по случаю тяжелой болезни матери должен был поспешно вернуться в Россию, на границе его окружили агенты царской полиции и под арестом отправили в Петербург, прямо в Петропавловскую крепость. Здесь заключенный был подвергнут строжайшему допросу (один из пунктов его был: «Почему носите бороду?»). В пространном ответе, занимающем пятьдесят страниц, Чижов пытался изложить свое политическое кредо славянофила и защитника национально-освободительного движения на Балканах. Николай наложил резолюцию: «Чувства хороши, но выражены слишком живо и горячо. Запретить пребывание в обеих столицах».

Иванов все реже получал письма от неизменно ценимого им Гоголя. В них иногда звучало ласковое слово, напоминавшее о счастливых днях, проведенных вместе в трактире Фальконе или в студии. Весть о кончине Гоголя глубоко взволновала художника. Личность гениального писателя оставила неизгладимый след в памяти Иванова. Он позаботился о том, чтобы портрет его был выгравирован Иорданом, и писал об этом Жуковскому, но в ответ на письмо получил траурное извещение о смерти и Жуковского. При жизни Гоголя Иванов страстно желал иметь письма его «собственной руки», хотя иногда долгое время не решался вскрывать некоторые из них. После смерти Гоголя Иванов вклеил его последнее письмо в качестве титульного листа в одну из своих тетрадей.

Что касается самого Иванова, то в Петербурге, особенно в академических сферах, о нем уже давно сложилось самое отрицательное мнение. Его возвращения ожидали достаточно долгое время, несколько раз распространялся слух о его скором прибытии, потом все постепенно привыкли относиться к нему, как к заживо погребенному. С конца 40-х годов об Иванове ходили самые разноречивые и вздорные слухи, и оставшиеся в Петербурге родные, в частности сестра Екатерина, не щадя чувств художника, считали своим долгом сообщать ему эти слухи. Светская чернь, особенно люди, близкие к академическому начальству, упорно твердили о том, будто казна давно уже передала Иванову больше; пятидесяти тысяч рублей. По этому поводу высказывали возмущение и лицемерно восклицали: «Довольно потворствовать бесплодному художнику!» Чижову приходилось уговаривать свою «великосветскую покровительницу» графиню Бобринскую и опровергать мнение, будто Иванов «лениво провел время в Италии». Даже расположенные к Иванову люди с обидной усмешкой говорили о пресловутых «трех годах», которых ему всегда не хватало на окончательное завершение картины. Незадолго до смерти старик отец в письме к сыну Сергею недовольно брюзжит на Александра за то, что картина его «могла бы быть давно приведена к концу, если бы он ею занимался по обыкновению всех художников, не выжидая какого-то вдохновения свыше». Иордан писал Иванову из Петербурга: «На вас кричат не в пару, а в четверку: зачем не оканчиваете картину!»— и настоятельно советовал: «Имейте бодрость сказать: кончена». Теперь не было Гоголя, который по собственному опыту мог оценить взыскательность художника и оправдать его.

Одиночество Иванова скрасил только приезд младшего брата Сергея. В судьбе его Александр всегда принимал близкое участие, находясь за границей, переписывался с ним, следил за его учением, направил его на занятия архитектурой. Благодаря Александру Сергей избавился от глухоты удачной операцией, сделанной доктором Иноземцевым в Москве. Александр и позднее помогал ему советами, особенно когда тот послан был за границу и по дороге в Рим остановился в Париже. «Сердце у меня забилось от радости, — писал Иванов отцу, — при известии о том, что брат пересек границу». Александр помнил Сергея мальчиком, и когда у дверей своей студии он увидал незнакомого молодого человека с тонкими, правильными чертами лица и небольшой бородкой, художник долго не мог поверить, что это и есть тот самый долгожданный Сережа, которого почти двадцать лет назад он оставил в Кронштадте восьмилетним малышом. К брату своему Иванов почувствовал большую нежность. Братья стали жить вместе и разлучались только во время летних поездок в Неаполь. Хотя Александр не мог отвыкнуть от взгляда на Сергея, как на младенца, тот скоро оказался в роли заботливой и внимательной няньки своего старшего гениального брата. Он устраивал его дела, следил за его здоровьем, не отходил от него, чтобы предупредить какой-либо опрометчивый поступок.