1916年5月，二十七师师长张作霖与二十八师师长冯德麟为争“奉天王”秣马厉兵，吴俊升向张作霖表示：“若大帅想打（指打冯），俊升带兵打前敌。”
冯因附张勋复辟被解职，由张作霖兼任二十八师师长。
1917年6月，张作霖将后路巡防营与骑兵第二旅合并，改编为陆军第二十九师，任命吴俊升为师长，以报答吴助臂之功。吴对张表示：“虽不能同生，但愿同死。”
同年10月，吴俊升受张作霖派遣进驻齐齐哈尔，解除黑龙江省驻军旅长巴英额、英顺的兵权。
1919年7月，吉林督军孟恩远被解职，以鲍贵卿继任，孟不服，孟的外甥吉林师长高士傧请收回罢免孟的成命，并兴师讨伐张作霖。
张任命孙烈臣为东三省南路总司令，吴俊升为北路总司令，进行夹击，高士傧被撤职查办，孟只好交出吉林政权。
1921年3月，孙烈臣调任吉林省督军兼省长，由吴俊升署黑龙江省督军兼省长，6月加陆军上将衔。
从此，以江省为基地，发展地方势力，实行军阀统治。
他统治黑龙江达七年之久，极力驾驭部下，培植爪牙，把江省变成吴家天下，百般弄权，简直就是当地的土皇帝。
民间盛传“石家兄弟，刘家外甥，靖家有旅长、县长，董家有厅长、道尹”。
1927年6月，吴俊升、孙传芳等再次拥戴张作霖为中华民国陆海军大元帅，组织安国军政府，其军队统称安国军，吴俊升任第七军团军团长。
9月，齐齐哈尔人民示威游行，反对日本在临江设领事，吴派大批军警进行弹压。
10月，吴被任命为东三省边防司令兼保安总司令。翌年1月，以通化为中心的东边道大刀会暴动，反对封建军阀和日本帝国主义侵略。
吴亲自率部配合宪兵司令齐恩铭督“剿”，残酷屠杀大刀会员和无辜农民三千余人，烧毁民房数千间。