Детство Каскырбая пришлось на тяжёлые годы. Его родители были простыми колхозниками: отец, Абу, работал горючевозом, возил керосин и нефтепродукты из районного центра в Карагуль, мать, Батжан, весь день проводила в полевом стане.
Семья жила небогато, а времени и сил на воспитание детей у родителей почти не оставалось.
Когда Каскырбаю было всего 15 лет, умер его отец. Для подростка это стало переломным моментом. На плечи юноши легли новые обязанности, и он рано понял, что отныне рассчитывать придётся только на себя. С тех пор он часто называл себя «жетім» — сирота.
«Он никогда не рассказывал подробно о своём детстве. Иногда, если и вспоминал, то говорил: "Я жетім — сирота". Думаю, он чувствовал это с ранних лет» (Ханшаим).
Учёба тоже была непростой. В 1943 году он пошёл в первый класс, но в родном селе школы было только начальное образование. Чтобы продолжить учиться, в 1954 году его отправили в интернат соседнего села Шукуркуль. Там он жил неделями вдали от семьи и возвращался домой только на выходные.
Однажды, будучи ещё маленьким, он провёл в интернате один из Новых годов совсем один. Родители не смогли его забрать, и ночь в пустом холодном здании запомнилась ему на всю жизнь. Позже он редко делился воспоминаниями о детстве, но эта история передавалась в семье как пример того, как рано ему пришлось столкнуться с одиночеством.
«Страшную ночь в интернате он запомнил навсегда. Думаю, именно тогда у него внутри появилось чувство, что всего нужно добиваться самому» (Нурлан).
В детстве у него почти не было близких отношений с отцом: тот много работал, а потом ушёл из жизни слишком рано. Мать заботилась о детях, но силы её были ограничены. Каскырбай рос самостоятельным и рано научился принимать решения сам.
Несмотря на трудности, он активно участвовал в общественной жизни. В школе и интернате его заметили как активного и энергичного ученика. Когда в 1953 году умер Сталин, он даже написал стихи и выступил с ними на митинге - это было смелым поступком для подростка из сельской семьи. Советская власть поддерживала инициативных ребят, и Каскырбай почувствовал, что через активность можно пробиться вперёд.
«У него был тяжёлый старт: интернат, безотцовщина. Но он ухватился за возможность, которую давала советская власть. Тогда человек мог проявить себя и благодаря этому подняться» (Ханшаим).
Среднюю школу он так и не окончил полностью, но это не стало для него преградой.
Он много читал, занимался самообразованием, проявлял интерес к общественной работе. Всё это стало основой для его будущего стремительного карьерного роста.