随州的“随”最早出于西周“汉东之国随为大”，隋书当时随国为一诸侯国，附庸在楚国之下，附近有陈国、蔡国、唐国等。自西周后，“随”这一古地名得以流传下来。

《隋书》卷五十《庞晃传》云：“……时高祖出为随州刺史，路经襄阳，卫王令〔庞〕晃诣高祖。……”这里的“随州刺史”，就是现位于湖北北部、桐柏山脉以南的“随州市”。周武帝即位时，杨坚“迁左小宫伯。出随州刺史，进位大将军。后征还，遇皇妣寝疾三年，昼夜不离左右，代称纯孝。宇文护执政，尤忌高祖，屡将害焉，大将军侯伏、侯寿等匡护得免。其后袭爵隋国公。”这里的“袭爵”要特别说明一下，“爵”是北周封杨坚之父杨忠“随国公”的“爵”。可以毫不夸张的说，杨坚发迹就是在随州（当然这也是很正常的，自秦后，各“王公”都有自己的封地，有自己的诸侯王国，杨坚的父亲杨忠的封地在随州，他儿子在随州能够得到人民的支持，取得武功是占了“人和”的因素），他的封号也是以封地“随州”为名的，这就解释了杨坚为何建“隋朝”的原因（杨坚夺位后立国号为“随”，他以自己曾受封于随，因以为国号，又忌恶“随”字带“走”旁，恐不祥遂改为“隋”。同年，随州改为“隋州”。中国历史上统一王朝把州郡名的文字拆去偏旁而为国号，这是仅有的一次。）。

公元581年二月甲子日，周静帝以杨坚众望有归下诏宣布禅让。杨坚三让而受天命，自相府常服入宫，备礼即皇帝位于临光殿，定国号隋，改元开皇，是为隋文帝。

隋朝建立之初，即着手改革地方行政制度，按照“存要去闲，并小为大”的原则，把北朝的州、郡、县三级改为州、县二级，炀帝大业三年（607年）又改州为郡。随州改置为汉东郡，领随、土山、安贵、顺义、光化、平林、上明、唐城等8县。然而，隋王朝国祚短促，汉东郡在隋的地位和发展尚未充分显现出来。