早在公元前三世纪时，回纥人即在丁零的名义下，其后又在铁勒（或高车）的名义下，在土刺河、鄂尔浑河及色楞格河沿岸游牧，牲畜有马驼牛羊。直到唐初吐迷度称可汗以前，《隋书》及《新唐书》、《旧唐书》都说回纥“无君长，居无恒所，随水草流移。善骑射，以寇抄为生”。这里所谓无君长，是指无酋长世袭制：所谓以寇抄为生，是指掠夺人口和财产的战争。这种掠夺战争是最原始的劳动形式之一，既用以保护财产，又用以获得财产，所有游牧人都一样，并不是回纥人的特征。依据史书所记，吐迷度称汗以前，回纥社会还没有形成阶级，还停留在原始社会阶段上。

　　当然，吐迷度称汗以前，回纥社会已经在变化，时健和菩萨任酋长时期，正是变化的开始，菩萨击破东突厥，俘获了大量突厥人。吐迷度灭薛延陀汗国，尽杀它的贵族，合并它的部曲（民众），又增加了大量俘虏。按照俘虏为奴的惯例，一部分自然要被用作畜牧奴隶和家内奴隶，不过，这两种都有一定的限量，很大部分不得不用作农奴性质的牧奴，主人发给一些掳来的牲畜，对他们进行残酷的剥削。薛延陀灭亡后，薛延陀人不再见于史书，意味着在回纥社会里产生了奴隶和牧奴阶级。回纥贵族与本部平民，也在形成为阶级。自菩萨时起，回纥逐渐强盛，战利品（人口和牲畜等）的分配，加速了阶级的形成。吐迷度建立汗国，正是从原始社会进入阶级社会的标志，由于内部缺乏发展奴隶制度的条件，来自唐朝封建社会的影响又特别强大，因而封建制度在回纥社会里发展起来。

　　回纥社会的主要阶级是哈刺布敦（黑民——平民）和匐（地方封建主，各部落贵族，即后世的伯克）。在回纥社会里，盛行一种“荫客制度”。匐供给食宿，使客作工，通过这种荫客制度，匐获得代价极低廉的劳动产品。客的来源，绝大多数是贫穷的乎民。平民对匐要服兵役，出战时自备兵器马匹，将战争中掠夺的战利品，大部分献给匐。掠夺战争是回纥人获得财富的主要手段之一，战利品大部归匐，这就说明了贵族对平民的剥削关系。贵族经常发动战争，平民和他的家庭受到死伤、残废及损失兵器马匹等灾难，又妨碍正常的劳动生产，结果必然是生计困难，陆续归入客的队伍，受匐的荫庇。平民以外，还有一种人叫做库尔。库尔意思是奴隶，其中有为主人完全所有的奴隶和不完全所有的半奴隶。他们的来源，大多数是战争中的俘虏及贵族的婢妾，也有一些突厥汗国遗留下来的汉人和西域人以及从唐境内私买或诱骗来的汉人。库尔从事回纥人不屑为的农业、手工业及家务劳动，但不成为基本阶级，因为奴隶劳动没有大量地使用在汗国主要经济部门的畜牧业上。

　　匐的上面有额尔。额尔是氏族贵族，狭义指可汗氏族的贵族，广义指内九姓的贵族。可汗由氏族贵族推选改为父子世袭，不只是受唐朝的影响，而且还得到唐朝的促进，在世袭瀚海都督的形式下，药罗葛氏政权逐渐趋于稳定，有力量向诸部落行施可汗的职权。凡是构成汗国的诸部落，对可汗都得缴纳赋税并服兵役。被征服的诸部落是可汗的属部，由可汗派遣总督（设或叶护）去统治，并派遣监使（吐屯）去督察赋税和政事。

　　回纥经济自唐安史之乱时起，发生巨大的变化。吐蕃乘唐内乱夺唐西域和河西，隔断东西双方的经济交流，回纥助唐平乱有功，获得特殊条件，一时成为陆路上东西通商的枢纽。吐蕃逆大势，回纥顺潮流，后来吐蕃不能在西域立足，回纥却定居在天山南北，这种不同的后果，与对经济交流的顺逆，不是没有关系的。

　　唐朝廷力报酬回纥的出兵援助，约定每年赠送回纥绢二万匹，又约定立马市，回纥每年卖给唐马匹，唐给马价，每匹为绢四十匹，比实际马价高数倍。回纥每年取得大量马价绢，因此促进了回纥商业的繁荣。回纥得到如此廉价的唐货物，除贵族自用外，势必向西域开辟交换市场。回纥商队驱马来唐境，得马价绢后，购买茶叶及各种手工业品（日用必需品和奢侈品），回去时“舆载金帛，相属于道”，可见采办商品之多及数量之大，唐人则在交换中受大亏损。当时回纥商队中常有九姓胡参加，这些九姓胡来自康国（粟特，今撒马尔罕），他们善于经商，有利分毫必争，利之所在，无所不到。回纥俨然以战胜者的姿态，与唐朝进行不公平交易，这正合他们贪财的癖性。他们帮助回纥贵族争利，因而得到宠信，甚至为了劫掠，劝登里可汗寇唐，史书说回纥（贵族）“人性凶忍”，“贪婪尤甚”，很大程度上是受了九姓胡的影响，因为与回纥可汗议政的摩尼僧，就是唯利是图的九姓胡人。这些九姓胡对东西方贸易的大利当然看得眼红，他们或是替回纥经营，或是凭借回纥势力自己经营，以利息的一部分献给回纥贵族，或是与回纥人合营，方式尽管不同，获利总是极厚。厚利的来源主要是敲剥唐人。回纥商贾经常有一千人住在长安，九姓胡冒回纥之名杂居在长安的人数还要加一倍，其他大城市也住着不少这类商贾。他们开店营业，放高利贷，利用唐朝廷对他们的特别容忍，九姓胡“殖货纵暴，与回纥共为公私之患”。七八○年，回纥酋长突董率众并九姓胡等千余人自长安还国，带着大批行李，路过振武军，军使张光晟发觉许多木箱里暗藏着长安妇女。当时顿莫何可汗杀登里可汗，正在大杀九姓胡。突董所率九姓胡害怕，不敢去回纥，向张光晟献计，请尽杀回纥人。张光晟出兵杀突董等和九姓胡，得骆驼及马数千头，缯锦十万匹，妇女都是诱骗来的，全数送回长安。这是仅有的一次破获，可以推见回纥的贪暴和九姓胡的助虐，前后不知掠去多少唐地的财富和妇女，也可以推见回纥贵族怎样虐侍本国民众。他们对大国唐尚且恃功（回纥可汗特在国门立碑，碑上刻：“唐使来，当使知我前后功”。）贪暴，对被统治的本国民众却不恃势贪暴，这是不可想象的。

　　回纥贵族由于经商致富，由于与汉人密切接触的结果，一方面接受了汉族的高度文化，同时也沾染了汉族统治阶级的奢侈腐朽习气。《通鉴》有一段话，说得很好，它说：“初，回纥风俗朴厚，君臣之等不甚异，故众志专一，劲健无敌。及有功于唐，唐赐遗甚厚，登里可汗始自尊大，筑宫殿以居妇人，有粉黛文绣之饰，中国为之虚耗，而虏俗亦坏”。回纥境年兴建不少的城郭及官室，正好说明回纥商业在发展，国势在衰落。

　　据苏联考古学家的考古发掘证明，在漠北有若干城郭是属于回纥汗国时期建造的，例如色楞格河畔的富贵城，鄂尔浑河畔的哈刺巴刺合孙。哈刺巴刺合孙是回纥汗国的都城，城址占地二十五平方公里，废墟上还残存着城堡土墙及堡中的浴池池基。城郭的中心部分有特殊的墙垣环绕着，位于碉楼的西南，其面积有一平方公里。再向外为人烟较稀的定居区和位于城郭外垣之外的庭园及广阔花园。城堡不仅面积很大，它的墙垣，现在残存的还高达十公尺，碉楼的防御工事达十二公尺。在城堡中心耸立着瞭望楼，高达十四公尺，登楼远眺，草原景色，一望无际。在城堡内部发掘出来的宫庭建筑物，饰以美丽塑像的瓦，这些装饰物是唐朝的风格。街道和建筑物遗址，长达二十四公里。都城及其他城郭的兴建，说明回纥文化在发展，也说明回纥汗国与以前北方诸游牧国家的分散统治有不同之处。这一点是重要的，虽然回纥基本群众仍是游牧民，但回纥贵族既习惯于城市生活，这就为后来在西域定居奠下了基础。

　　哈刺巴刺合孙是回纥汗国的政治中心及商业中心，也是手工业及农业的集中地区。苏联考古学家在一所住宅里找到松香、铜片和青铜块，断定这所住宅为工匠所有。在都城内以及在鄂尔浑河畔农业地区周围，几乎每一户都有台架或磨盘，以备碾磨米粮之用。都城以外，鄂尔浑河及色楞格河沿岸的其他回纥城郭，周围也有定居区及农业区，并且在城内也有手工业。农业和手工业既有相当的重要地位，这也为后来在西域定居奠下了基础。

　　回纥以经营东西方商业立国，当然不可放弃东边的一方。西迁以后，尽管交通艰难，自五代至北宋，还是经常遣使来年地朝廷朝贡，每次朝贡，人数自数十人以至百余人不等，实际是派来大小商队。贡品以玉为主，其余贡品有珊瑚、翡翠、象牙、琥珀、琉璃器、香药、安息鸡舌香等物，显然是用西方诸国的特产来交换东方的特产。回纥无论在漠北，在西域，经济上必须和内地联系，因而在政治上也保持愈来愈密切的关系。

　　回纥文化受汉族文化的影响，也受粟特文化的影响。自唐肃宗借回纥兵以后，回纥在商业上得到特别有利的待遇，粟特人帮助回纥牟利，得到回纥贵族的信任，粟特文化也就发生较大的影响。

　　早在突厥汗国时期，突厥人用卢尼文字，也兼用粟特文字，铁勒部臣属于突厥，某些部落酋长可能使用过这类文字。回纥汗国强盛，大量粟特人移居汗国境内，回纥利用粟特文字纪录回纥语言，成为回纥文字。回纥文字的字母无定数，大致为十七个至二十个。每个字母连写。起初，写法为自左至右横写（突厥的卢尼文字为自右向左横写），后来变为自左至右直写。回纥文字只有少数高级贵族使用，一般人是不识字的。

　　回纥人信奉萨满教。萨满教是一种类似巫术的原始宗教，巫师称为甘，故又称甘教。萨满教的教义，以为整个宇宙由至尊统治，至尊居于天的最上层。善神居在天上，恶神居在地下，人类居在地上。恶人死后，打入黑暗地狱。人想升夭，须由本人在天上的祖先绍介，人想和祖先交往，必须通过萨满巫师。萨满教崇拜各种神灵，最受崇拜的神为“谷·登里”（青天）、“伊尔·苏”（地及水神）、“乌梅”（保护儿童之神）。巫师能和诸神交通，因之在社会上颇有势力。

　　七六二年，登里可汗率兵击史朝义，攻入洛阳，与摩尼教僧接触，发生信仰心。七六三年，他带了四个摩尼僧归国，这是摩尼教传入回纥的开始。摩尼教与萨满教经过一个时期的斗争，摩尼教得到登里可汗的扶助，战胜萨满教，并成为汗国的国教。《牟羽（登里）可汗入教记》残本记载当时两教斗争的情形，说“当此神圣的四僧从桃花石（唐）来的时候，他们抱有四愿……但为了人民，为了学理，却遭到大的危险，大的压迫。听众和胡商常常处在为人杀害的境遇。……陛下，‘如您自己远离这些达干，则善法善行可以在您的国内施行，如仍任……达干担负国家重任，他们必作恶行，您的国家必将下沉。……’天王（牟羽可汗）与选民（摩尼信徒）讨论了二天二夜，第三天，天王斋戒，受到极大的痛苦，他的心灵才有所动。这样的继续着作，他的心灵如有所失，忐忑不安。后来，牟羽天王召集一个大会，他跪在选民之前，乞求宽有了他的罪恶……”。摩尼教战胜萨满教，是因为登里可汗入了教。登里可汗为什么入教，很大的原因是要奉摩尼教的胡商（九姓胡）帮着回纥贵族对唐通商致富。这是贵族的共同愿望，自然相率入教。顿莫贺达干杀登里可汗，又杀可汗的亲信及劝可汗侵唐的九姓胡二千人，但并不排斥摩尼教和胡商。他派遣使者康赤心来唐朝催索马价，康赤心就是九姓胡。他同登里可汗一样，信任摩尼僧，使参与国政。看来，回纥兴摩尼教，是为了商业上的利益，要九姓胡真心相助。张光最准备杀酋长突董等，估计形势说，回纥本身并不强，必须依靠九姓胡的帮助，他们为谋利发财，才结合起来，无财与利，便散乱不振。这个估计符合回纥的实情，摩尼教迅速成为国教的理由也就明白了。

　　回纥西迁以后，又接受佛教。九六五年（宋太祖乾德三年），西州回纥可汗遣僧法渊来献佛牙。九八一年，宋太宗遗使者王延德至高昌，看到国中有佛寺五十余区，都是唐朝旧寺，别有摩尼寺波斯僧（波斯人为摩尼僧），各行其教。龟兹回纥在宋仁宗时五次入贡，宋朝廷回赠佛经一藏。一○九六年，龟兹使大首领阿连撒罗等来献玉佛。一○八五年，于阗黑韩王遣使者来贡，使者为宋神宗饭僧追福（为宋神宗求冥福）。大抵回纥定居西域后，不再专奉摩尼教，转而利用一向盛行的佛教来接近西域旧居民，这在政治上是合宜的。西域诸国有相当高度的文化，回纥人与旧居民融合为一个回纥族，回纥文化也必然与西域原有文化融合为一个回纥文化。后来伊斯兰教通行于全族，佛教衰灭，回纥文化又有一次大的变化。

　　文化的有益部分常被宗教利用，因而两者常混杂在一起。每一种宗教都要推动文化为自己服务，又都要束缚文化在被利用的范围之内。突破束缚，文化才能前进。回纥自建国至西迁，文化的发展和旧宗教的抛弃，都曾表现得不迟钝，足以说明回约文化有丰富的活力，有广阔的前途。