Среди многочисленных портретов героев советской разведки в «комнате памяти» Первого главного управления лишь один принадлежит человеку, который не был офицером НКВД. Это единственное исключение — генерал Ян Карлович Берзин, командовавший отрядом ЧК во время Гражданской войны, но более всего известный как начальник советской военной разведки (в те годы Четвертое Управление Генерального Штаба, позднее ГРУ, Главное Разведывательное Управление) в период с 1924 по 1935 год. Берзин родился в Латвии в 1890 году, подростком вступил в революционное подполье, провел несколько лет в тюрьмах и на каторге в Сибири. В 1919 году он работал в недолговечном Советском правительстве в Латвии. В начале карьеры Берзина в военной разведке его ближайших соратников, биография многих из которых напоминала биографию самого Берзина, называли «латышской фракцией» — точно так же, как в течение некоторого времени основные помощники Дзержинского были известны как «польская фракция». В 1935 году Берзина отправили на Дальний Восток в качестве армейского командира, в августе 1936-го отозвали в Москву, где он получил назначение руководителя советского военного представительства при республиканском правительстве Испании. Годом позже, в разгар репрессий, ему было приказано вернуться в Россию, где он и был ликвидирован.

Берзин обязан местом в зале славы ПГУ своему вкладу в сбор разведданных с помощью перехвата и внедрения агентов. В начале тридцатых годов он принимал участие в организации объединенного подразделения ОГПУ и Четвертого Управления в рамках Специального отдела ОГПУ. Задачей этого подразделения был гражданский и военный перехват. Возглавляли его Глеб Бокий из ОГПУ и его заместитель полковник Четвертого Управления П. Харкевич. Подразделение было самым секретным во всем ОГПУ. До 1935 года оно размещалось не на Лубянке, а в здании Народного комиссариата по иностранным делам на Кузнецком мосту. Согласно показаниям Евдокии Карцевой (впоследствии Петровой), поступившей на работу в подразделение в 1933 году, сотрудникам было строго запрещено сообщать адрес своего места работы даже собственным родителям. Как и большинство молодых сотрудниц подразделения, Карцева постоянно испытывала страх перед его руководителем. Бокий сутулился при ходьбе и имел странную привычку носить плащ круглый год. Карцеву бросало в дрожь от взгляда его «холодных, проницательных голубых глаз, которые заставляли людей думать, что ему противен сам их вид». Несмотря на годы, а ему было за пятьдесят, Бокий продолжал гордиться своими сексуальными подвигами и по выходным регулярно устраивал оргии у себя на даче. Когда Карцева задала коллеге мужского пола вопрос об этих оргиях, он ответил: «Если ты только обмолвишься кому-нибудь об этом, он сделает твою жизнь невыносимой. Ты играешь с огнем». Карцева жила в страхе быть приглашенной на дачу своего начальника. В ночную смену, чувствуя себя наиболее уязвимой, она надевала «самые простые и невзрачные платья, боясь привлечь его непрошеное внимание».

Несмотря на развратность своего начальника, объединенное подразделение ОГПУ и Четвертого Управления оставалось самым крупным в мире и лучше всех оснащенным органом перехвата и дешифровки. Оно, в частности, получило больше выгоды от шпионажа, чем любое другое аналогичное ведомство на Западе. В большинстве своем ведомства, занимавшиеся агентурной разведкой, время от времени получали в свое распоряжение шифрованные материалы, но в тридцатых годах только ОГПУ и Четвертое Управление, следуя примеру, положенному еще «охранкой» в дореволюционное время, сделало приобретение таких документов одним из основных приоритетов. В первые годы существования объединенного подразделения перехвата и дешифровки наибольшее влияние на советскую внешнюю политику оказали материалы, поступавшие из Японии. Работая в японской секции подразделения, Евдокия Петрова обнаружила, что шифрованные материалы из Японии «добывались с помощью агентов». В разное время в тридцатые годы среди таких агентов были сотрудники японских посольств в Берлине и в Праге.

Второй крупной заслугой Берзина внутри КГБ и ГРУ было его участие в приспособлении техники внедрения агентов, разработанной ОГПУ в двадцатых годах главным образом для борьбы с белогвардейской эмиграцией, для проникновения в аппарат иностранных правительств и военных служб в тридцатые годы. Согласно засекреченной истории ИНО, подготовленной в 1980 году по случаю шестидесятой годовщины, эта стратегия родилась в беседах Берзина, начальника ИНО (Иностранный отдел ОГПУ) Артузова и начальника ОМС (отдела международных связей) Коминтерна Пятницкого. Вполне вероятно, что инициатива в этом деле принадлежала Берзину. В начале тридцатых годов главным объектом внедрения все еще были белогвардейские организации, которые вскоре уступили место троцкистам. Берзина же в большей степени интересовало использование внедренных агентов для сбора разведданных. Его инициативе быстро последовали ОГПУ и НКВД. В тридцатых годах не существовало четкого разделения обязанностей между Четвертым Управлением и ОГПУ/НКВД. Агенты Четвертого Управления обычно собирали как политическую, так и военную информацию. ОГПУ/НКВД занимались этим реже. При этом обе организации во все большей степени замещали сеть ОМС по сбору разведывательных данных.

Самым удачливым внедренным агентом был Рихард Зорге. В 1964 году, двадцать лет спустя после своей смерти, Зорге стал Героем Советского Союза. Его память почтили серией официально санкционированных приукрашенных биографий и, что было весьма необычно для иностранного агента, специальным выпуском почтовых марок. Когда Зорге в 1929 году пришел на работу в Четвертое Управление, он произвел впечатление на коминтерновского агента Хеду Массинг как «романтически и идеалистически настроенный ученый» с «необычайно привлекательной внешностью» и вообще очень обаятельный человек: «Холодные голубые глаза, слегка раскосые, густые брови придавали его лицу довольное выражение без каких бы то ни было на то причин».