Закончив среднюю школу, Цузе проявил незаурядные способности к изобразительному искусству и поступил в Берлинский Технический университет на факультет архитектуры и гражданского строительства, который с успехом закончил в 1935 году. В период обучения в университете Конрад сильно увлекся математикой и физикой. На лекциях он неоднократно сталкивался с необходимостью выполнять громоздкие вычисления, например, для расчета внутренних напряжений в строительных материалах при конструировании мостов и других навесных сооружений. Обычно инженеры пользовались специальными таблицами, в которые были занесены формулы для выполнения основных операций в двоичной системе исчисления. Именно тогда Цузе впервые пришло в голову решение автоматизировать данный процесс с применением несложного вычислительного устройства.
Эта идея побудила его заняться разработкой программируемой двоичной вычислительной машины «Z1», которую он начал кропотливо собирать на квартире своих родителей в Берлине в 1936 году
В то время, как за разработчиками американских вычислительных систем стояли целые университеты, министерство обороны США и мощные корпорации, Цузе работал самостоятельно, на свой страх и риск. Ему помогали лишь несколько друзей, выделивших небольшую сумму денег на его исследования.
К 1938 году «Z1» была полностью закончена. Не имея ни малейшего представления об устройстве и принципах работы других вычислительных машин, Цузе полностью и фактически на пустом месте разработал не только механику, но и математическую логику своего устройства. При этом если все существовавшие в конце 1930-х годов механические вычислительные машины были построены на основе вращающихся элементов и оперировали десятичными числами, «Z1» обрабатывала числа в двоичной системе.
Машина имела сложный набор металлических пластин, каждая из них могла перемещаться в строго определенном направлении. Смещение нескольких пластин, указывающих значения вычисляемых величин и математическую операцию, которую необходимо произвести, вызывало перемещение ряда других пластин, изменяющих регистр двоичных чисел и «запоминающих» промежуточный результат. С полученными таким образом данными впоследствии можно было выполнять другие преобразования.
Оператор мог по желанию задать несложный последовательный алгоритм вычислений, являвший собой прообраз современной компьютерной программы.
Практическая ценность этого механического устройства была достаточно низка, но зато настоящим открытием была логика аппарата, ведь по сути Цузе доказал саму возможность создания программируемых вычислительных машин, работающих с двоичным кодом.
Друг Цузе, инженер-электронщик Гельмут Шреер, по достоинству оценив эту перспективную разработку, предложил молодому изобретателю создать электронную вычислительную машину на вакуумных трубках и реле, использующую логические принципы «Z1», но позволявшую операторам выполнять математические операции и с десятичными числами. Цузе сомневался в целесообразности использования вакуумных трубок, которые позволяли достичь высокой скорости работы ЭВМ, но отличались крайне низкой надежностью. Он мечтал сделать предназначенную для продажи коммерческую модель компьютера, которая могла бы заменить настольные счетные машины, а потому должна быть легко настраиваемой и безотказной.
В 1938 году Цузе и Шреер выступили с докладом перед аудиторией Берлинского университета, изложив суть своего проекта, однако идея создания ЭВМ с использованием двух тысяч вакуумных трубок и нескольких тысяч других компонентов вызвала у слушателей недоверие и была признана неосуществимой – в те времена самые сложные электронные схемы насчитывали не более ста элементов. Шреер, несмотря на отсутствие необходимых средств и всеобщее недоверие к своей затее, все же собрал несколько логических электронных схем для разработанной Цузе машины «Z2».
Конец их совместным исследованиям положила Вторая мировая война. Цузе был призван в армию.
Демобилизовавшись из нее спустя шесть месяцев, он вернулся в 1940 году в Берлин и продолжил работу над проектом релейной ЭВМ. Гельмут Шреер, трудившийся инженером в Берлинском университете, снова предложил ему свою помощь. В попытке раздобыть необходимые средства ученые обратились к военному руководству Германии с предложением создать для ВВС и систем ПВО вычислительную машину, которая обеспечит быстрое выполнение всех сложных расчетов и повысит эффективность использования тактической авиации. По предварительным оценкам изобретателей, такой компьютер они могли создать за два года. Однако высшие чины вермахта ответили, что Германия достигнет мирового господства гораздо раньше, а потому подобные исследования попросту не имеют смысла.