任正非祖籍浙江浦江县。据《我的父亲母亲》记载：任正非的爷爷是一个做火腿的大师傅，任正非父亲的兄弟姊妹都没有读过书。由于爷爷的良心发现，也由于爸爸的执着要求，爸爸才读了书。任母虽然只有高中文化程度，但是受丈夫影响，通过自修，当上了中学教员。1944年，任正非出生于贵州安顺地区镇宁县一个贫困山区的小村庄。世界著名的黄果树大瀑布就在那里。虽然是农村，却是一个知识分子家庭。家庭背景是任正非一生第一个决定性因素。中国的知识分子对知识的重视和追求，可谓“贫贱不能移”。即使在三年自然灾害时期，任的父母仍然坚持从牙缝里挤出粮食来让孩子读书。任正非凭借其才智和能力，完全可以在养猪行业获得成功，也可以成为一个能工巧匠，但是对知识的追求，使他进入了一个技术密集型行业。
19岁时，任正非带着父母的重望考上了重庆建筑工程学院（现并入重庆大学）。。还差一年毕业的时候，“文化大革命”开始了。父亲被关进了牛棚，任正非回到老家看望父母，父亲让他快回学校去。临走，父亲叮嘱：“记住知识就是力量，别人不学，你要学，不要随大流。”据任正非回忆，回到重庆，已经是“枪林弹雨的环境”。但是，他硬是不为所动，把电子计算机、数字技术、自动控制……自学完，他的家人也开玩笑说，没什么用的东西也这么努力学，真是很佩服、感动。由于结交了一些西安交大的老师，这些老师经常给他一些油印的书看。他另外还把樊映川的高等数学习题集从头到尾做了两遍，接着学习了许多逻辑、哲学。他自学了三门外语，当时已到可以阅读大学课本的程度。任正非的知识渊博，见解独到，在他的讲话中体现为旁征博引，一针见血。
33岁参加全国科学大会,任正非对知识的追求，在进入部队之后，落实到技术钻研。当时贵州安顺地区有一个飞机制造厂，是个军工企业，身为通讯兵的他被抽调过去，参与一项代号为011的军事通讯系统工程。当时中央军委提出要重视高科技的作用。任正非上进好学，有多项技术发明创造，两次填补国家空白。因技术方面的多次突破，被选为军方代表，到北京参加全国科学大会。时年33岁。看了这些经历，我们就不难理解，任正非从部队转业后会选择一家电子公司，而在创办华为的时候会选择高科技含量的电信行业。1992年，任正非孤注一掷投入C＆C08机的研发，虽然是形势所逼，也可以看出他对技术的重视。当时身处房地产热和股票热的核心地带，任正非不仅不为所动，而且对于股票和泡沫深恶痛绝。其实在他内心更多的是对知识、技术和真才实学的尊重。同样，把“保证按销售额的10%拨付研发经费，有必要且可能时还将加大拨付比例”写进《华为基本法》，也体现了他以技术立身的理想。在《华为基本法》的起草和讨论中，产生了一个对中国高科技产业发展有重要影响的概念——知本主义。民营企业的资本积累过程非常缓慢，原因就在于积累手段的缺乏，既无资金，也无资源，也无技术。起始资本都非常小，不足以迅速滚大。因此只有依靠冒险、机会甚至“打擦边球”。任正非总结华为的资本积累说：“华为在创业时期，没有资本，只有知本，华为的资本是靠知本积累起来的。”即使从现在来看，进入资金和技术密集型产业，对民营企业来说，仍然是冒险，成功是奇迹。
青年时代的任正非，就是一个科学精神的追随者。1997年访问美国公司时，在IBM任正非表现出更多的敬畏，而在贝尔实验室，则是“十分高兴”。“我年青时代就十分崇拜贝尔实验室，仰慕之心超越爱情。”他参观了大厅中的贝尔实验室名人成就展。在巴丁的纪念栏下照了像。并特意怀着崇敬心情去巴丁50年前发明晶体三极管的工作台前站了一会。当看到贝尔实验室的科学家的实验室密如蛛网，混乱不堪，不由得对这些勇士，肃然起敬。华为不知是否会产生这样的勇士。” 2002年前后，华为开始成立预研部。
1997年，我国改革高等教育制度，开始向学生收费，而配套的助学贷款又没跟上，华为集团向教育部捐献了2500万元寒门学子基金。对知识的尊重，是中国知识阶层的教育传统，也是经历过文化大革命的一代知识分子，对被扭曲了的文化观念的修正，对于身受贫穷压榨的发展中国家和人民，更能感受到尊重知识的重要性。从这个角度说，华为的寒门学子基金，意义等同于“希望工程”。当时，有人提出来，基金的名字是否叫“优秀XX基金”，任正非不以为然：贫穷和出身并不可耻，高贵而没有知识也不光荣。