张九龄的母亲卢氏在始兴已怀孕满十月仍未分娩。
其父见妻身体粗大面黄体弱，疑是得了黄肿病。一日遇见一个看病兼算命的老先生，经诊断后，老先生告诉张九龄之父，“腹中胎儿乃非凡人物，因这个地方太小，容其不下，恐须到大地方出生。”
听罢先生一言，张家只好迁到韶州。而张九龄据说就是在那里出生的。
但张九龄出生后也曾返回始兴故里。始兴县民间流传的“捉鼠解朝廷”的故事就是来自张九龄年幼时在石头塘读书的经历。
张九龄，自幼天资聪慧，才智过人，五六岁便能吟诗作对，一时人称神童。
七岁那年春天，张九龄随家人游宝林寺。
宝林寺是名刹，香火鼎盛，风景秀丽，游客如云。张九龄被迷住了，看得津津有味。
忽报韶州府太守率州衙官员进香朝拜。殿前香客赶忙回避。
张九龄把进寺前折的桃花藏于袖中，若无其事地看着太守随从摆弄供品，没有一点害怕的样子。太守见九龄活泼天真十分可爱，想试试他的才气如何。
便问：“你莫非想吃供果？我出个对子，若对上，就给你供果吃。”
张九龄信口道：“好呀。”
太守早已看见九龄袖藏桃花，就出了个上联“白面书生袖里暗藏春色”。
张九龄接口应道：“黄堂太守胸中明察秋毫。”
太守思忖，这小孩真是个神童，再考考他。
又出一对“一位童子，攀龙攀凤攀丹桂”，张九龄猛一抬头，正对面前三尊大佛像，触景生情，便应“三尊大佛，坐狮坐象坐莲花。”
太守与随从无不惊叹：此子日后定非等闲之辈。
张九龄拿着太守赏给的供果去后面玩，被一和尚看见，以为他偷吃供果。张九龄说是太守赏赐的，和尚不信：“凭什么说太守给你的？”张九龄诉说原委。和尚好生奇怪，便让张九龄说太守出的对子。张九龄念出太守上联，和尚又问“那你又是怎应对的。”张九龄灵机一动，便说我对的下联是：“满寺和尚，偷猪偷狗偷青菜。”
和尚一听下联，心头一惊，便拔脚要追太守去说个明白。