Python正则去除中英文标点的操作手法

我们在用Python制作一些SEO小工具的时候总是会和文章打交道,大家知道通过Python直接采集,或者通过火车头采集文章的时候,为了保全文章的主题内容可以完全的采集到,文章的内容里面都是有很多的标点符号和HTML的代码片段,那么这个时候就需要Python的正则模块(re)进行二次加工处理。

其实我们可以在搜索引擎上面搜索关键词:Python正则去除中英文标点。也是可以搜索到很多的相关解决问题的方法,不过有些解决的过于复杂,在这里Steven推荐这种方式去解决大部分的文章里面包含中英文标点,通过正则去除的方法。

1、首先导入 re 正则模块

Python

# coding:utf-8
import re

2、然后导入需要处理的文本,你可以通过本地通过open导入,在这里我直接复制到代码里面

Python

# coding:utf-8
import re

content = '<p>  新朝,是一个非常特殊的政权,它夹在西汉与东汉之间,默默无闻,在人们的印象中,似乎从来没有存在过。这种&ldquo;视而不见&rdquo;的错觉,大概出于两个原 因:一,新朝仅仅维持了14年,寿命太短;二,新朝皇帝王莽,臭名昭著,这位西汉外戚,也是中国历史上第一个&ldquo;窃国大盗&rdquo;,他篡位自代,为儒家正统所不 容。于是,天下群起而攻,历代文人都往他身上泼脏水。但是,这个窃国大盗,却是个十足的&ldquo;大孝子&rdquo;。为什么说,&ldquo;大奸&rdquo;王莽居然是&ldquo;大孝&rdquo;呢?且看他如何 对待自家那些长辈。</p><p style="text-align: center">  <img alt="" src="/uploads/allimg/130227/1343463513-0.jpg" /></p><p style="text-align: center">新莽皇帝王莽</p><p><br />  隋唐科举制度诞生以前,朝廷依靠什么手段选拔人才呢?一,看名门望族的出身;二,凭各地&ldquo;举孝廉&rdquo;。 元朝人郭居敬,曾辑录古代24位孝子故事,编成著名的《二十四孝》。其中,那些夸张、乖戾,甚至有些疯狂的做法,简直是病态,听着,叫人浑身起鸡皮疙瘩。 比如,老莱子&ldquo;戏彩娱亲&rdquo;、王祥&ldquo;卧冰求鲤&rdquo;、郭巨&ldquo;埋儿奉母&rdquo;等等。两汉时代,博得大孝之名,就像现在荣获了&ldquo;全国五一劳动奖章&rdquo;,完全可以靠这一点儿 名誉,登堂入室,步入官场。</p><p>  王莽出身于大家族,姑母王政君,嫁给了汉元帝刘奭,伯伯、叔叔,乃至同辈的叔伯兄弟,都&ldquo;叨光&rdquo;做了大官。唯独王莽这一枝倒霉,还没沾上姑母的 便宜,父亲便早早地死了。王莽年轻,不得不站出来,顶立门户。他既没钱做资本,也不会其它手艺,有个最大爱好,就是博览群书,钻研儒术。但是,这怎么能养 家糊口呢?实在没辙,全家老少只能咬紧牙关,一块儿过苦日子。</p><p style="text-align: center">  <img alt="" src="/uploads/allimg/130227/13434A550-1.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p style="text-align: center">  <img alt="" src="/uploads/allimg/130227/13434B593-2.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p>  班固在《汉书&middot;王莽传》中记载:&ldquo;(王莽)事母及寡嫂,养孤兄子,行甚敕备。又外交英俊,内事诸父,曲有礼意。&rdquo;虽然父亲死了,王莽却无微不至 地照料着老娘、寡嫂和侄子。王莽的儿子和侄子同一天结婚&mdash;&mdash;双喜临门,自然要张灯结彩、大宴宾客。喜筵刚刚开始,就有人慌里慌张地跑来,在他耳边嘀咕道: &ldquo;您母亲不舒服,现在,急等用药呢!&rdquo;王莽立刻脸色大变,拽起仆人,往外就跑。一场婚庆宴会,大概要持续两个时辰,其间,王莽魂不守舍,出来进去了很多 次。</p>  王莽不但心疼老娘,对伯父、叔父等长辈,同样俯首帖耳,非常孝敬。有一次,伯父王凤病倒了,王莽二话不说,守在床前,小心翼翼地伺候。他一连几 个昼夜不脱衣服,熬得蓬头垢面、两眼通红,却毫无怨言,为伯父煎汤熬药,端屎端尿&hellip;&hellip;即便药汤盛进了小碗儿,他也不放心,必须亲口尝一尝冷热浓淡&hellip;&hellip;别说 外人,就连王凤的弟弟&mdash;&mdash;王商,都对这个侄子高看一眼。王商特此上书朝廷,希望将自己封邑之下的民户,转至王莽名下。俗话说:&ldquo;久病床前无孝子&rdquo;,王莽善 待亲骨肉,的确是发自内心,出于至诚。他尚未发迹时,根本用不着伪装孝子,表演给谁看。'

3、首先去除文本里面的HTML代码片段,通过sub替换空文本的方式,并且strip()去除空格

Python

# coding:utf-8
import re

content = '<p>  新朝,是一个非常特殊的政权,它夹在西汉与东汉之间,默默无闻,在人们的印象中,似乎从来没有存在过。这种&ldquo;视而不见&rdquo;的错觉,大概出于两个原 因:一,新朝仅仅维持了14年,寿命太短;二,新朝皇帝王莽,臭名昭著,这位西汉外戚,也是中国历史上第一个&ldquo;窃国大盗&rdquo;,他篡位自代,为儒家正统所不 容。于是,天下群起而攻,历代文人都往他身上泼脏水。但是,这个窃国大盗,却是个十足的&ldquo;大孝子&rdquo;。为什么说,&ldquo;大奸&rdquo;王莽居然是&ldquo;大孝&rdquo;呢?且看他如何 对待自家那些长辈。</p><p style="text-align: center">  <img alt="" src="/uploads/allimg/130227/1343463513-0.jpg" /></p><p style="text-align: center">新莽皇帝王莽</p><p><br />  隋唐科举制度诞生以前,朝廷依靠什么手段选拔人才呢?一,看名门望族的出身;二,凭各地&ldquo;举孝廉&rdquo;。 元朝人郭居敬,曾辑录古代24位孝子故事,编成著名的《二十四孝》。其中,那些夸张、乖戾,甚至有些疯狂的做法,简直是病态,听着,叫人浑身起鸡皮疙瘩。 比如,老莱子&ldquo;戏彩娱亲&rdquo;、王祥&ldquo;卧冰求鲤&rdquo;、郭巨&ldquo;埋儿奉母&rdquo;等等。两汉时代,博得大孝之名,就像现在荣获了&ldquo;全国五一劳动奖章&rdquo;,完全可以靠这一点儿 名誉,登堂入室,步入官场。</p><p>  王莽出身于大家族,姑母王政君,嫁给了汉元帝刘奭,伯伯、叔叔,乃至同辈的叔伯兄弟,都&ldquo;叨光&rdquo;做了大官。唯独王莽这一枝倒霉,还没沾上姑母的 便宜,父亲便早早地死了。王莽年轻,不得不站出来,顶立门户。他既没钱做资本,也不会其它手艺,有个最大爱好,就是博览群书,钻研儒术。但是,这怎么能养 家糊口呢?实在没辙,全家老少只能咬紧牙关,一块儿过苦日子。</p><p style="text-align: center">  <img alt="" src="/uploads/allimg/130227/13434A550-1.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p style="text-align: center">  <img alt="" src="/uploads/allimg/130227/13434B593-2.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p>  班固在《汉书&middot;王莽传》中记载:&ldquo;(王莽)事母及寡嫂,养孤兄子,行甚敕备。又外交英俊,内事诸父,曲有礼意。&rdquo;虽然父亲死了,王莽却无微不至 地照料着老娘、寡嫂和侄子。王莽的儿子和侄子同一天结婚&mdash;&mdash;双喜临门,自然要张灯结彩、大宴宾客。喜筵刚刚开始,就有人慌里慌张地跑来,在他耳边嘀咕道: &ldquo;您母亲不舒服,现在,急等用药呢!&rdquo;王莽立刻脸色大变,拽起仆人,往外就跑。一场婚庆宴会,大概要持续两个时辰,其间,王莽魂不守舍,出来进去了很多 次。</p>  王莽不但心疼老娘,对伯父、叔父等长辈,同样俯首帖耳,非常孝敬。有一次,伯父王凤病倒了,王莽二话不说,守在床前,小心翼翼地伺候。他一连几 个昼夜不脱衣服,熬得蓬头垢面、两眼通红,却毫无怨言,为伯父煎汤熬药,端屎端尿&hellip;&hellip;即便药汤盛进了小碗儿,他也不放心,必须亲口尝一尝冷热浓淡&hellip;&hellip;别说 外人,就连王凤的弟弟&mdash;&mdash;王商,都对这个侄子高看一眼。王商特此上书朝廷,希望将自己封邑之下的民户,转至王莽名下。俗话说:&ldquo;久病床前无孝子&rdquo;,王莽善 待亲骨肉,的确是发自内心,出于至诚。他尚未发迹时,根本用不着伪装孝子,表演给谁看。'

result = re.sub(r'<[^>].*?>|&.*?;', '', content).strip()

4、然后进行正则的中英文标点符号的替换

Python

# coding:utf-8
import re

content = '<p>  新朝,是一个非常特殊的政权,它夹在西汉与东汉之间,默默无闻,在人们的印象中,似乎从来没有存在过。这种&ldquo;视而不见&rdquo;的错觉,大概出于两个原 因:一,新朝仅仅维持了14年,寿命太短;二,新朝皇帝王莽,臭名昭著,这位西汉外戚,也是中国历史上第一个&ldquo;窃国大盗&rdquo;,他篡位自代,为儒家正统所不 容。于是,天下群起而攻,历代文人都往他身上泼脏水。但是,这个窃国大盗,却是个十足的&ldquo;大孝子&rdquo;。为什么说,&ldquo;大奸&rdquo;王莽居然是&ldquo;大孝&rdquo;呢?且看他如何 对待自家那些长辈。</p><p style="text-align: center">  <img alt="" src="/uploads/allimg/130227/1343463513-0.jpg" /></p><p style="text-align: center">新莽皇帝王莽</p><p><br />  隋唐科举制度诞生以前,朝廷依靠什么手段选拔人才呢?一,看名门望族的出身;二,凭各地&ldquo;举孝廉&rdquo;。 元朝人郭居敬,曾辑录古代24位孝子故事,编成著名的《二十四孝》。其中,那些夸张、乖戾,甚至有些疯狂的做法,简直是病态,听着,叫人浑身起鸡皮疙瘩。 比如,老莱子&ldquo;戏彩娱亲&rdquo;、王祥&ldquo;卧冰求鲤&rdquo;、郭巨&ldquo;埋儿奉母&rdquo;等等。两汉时代,博得大孝之名,就像现在荣获了&ldquo;全国五一劳动奖章&rdquo;,完全可以靠这一点儿 名誉,登堂入室,步入官场。</p><p>  王莽出身于大家族,姑母王政君,嫁给了汉元帝刘奭,伯伯、叔叔,乃至同辈的叔伯兄弟,都&ldquo;叨光&rdquo;做了大官。唯独王莽这一枝倒霉,还没沾上姑母的 便宜,父亲便早早地死了。王莽年轻,不得不站出来,顶立门户。他既没钱做资本,也不会其它手艺,有个最大爱好,就是博览群书,钻研儒术。但是,这怎么能养 家糊口呢?实在没辙,全家老少只能咬紧牙关,一块儿过苦日子。</p><p style="text-align: center">  <img alt="" src="/uploads/allimg/130227/13434A550-1.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p style="text-align: center">  <img alt="" src="/uploads/allimg/130227/13434B593-2.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p>  班固在《汉书&middot;王莽传》中记载:&ldquo;(王莽)事母及寡嫂,养孤兄子,行甚敕备。又外交英俊,内事诸父,曲有礼意。&rdquo;虽然父亲死了,王莽却无微不至 地照料着老娘、寡嫂和侄子。王莽的儿子和侄子同一天结婚&mdash;&mdash;双喜临门,自然要张灯结彩、大宴宾客。喜筵刚刚开始,就有人慌里慌张地跑来,在他耳边嘀咕道: &ldquo;您母亲不舒服,现在,急等用药呢!&rdquo;王莽立刻脸色大变,拽起仆人,往外就跑。一场婚庆宴会,大概要持续两个时辰,其间,王莽魂不守舍,出来进去了很多 次。</p>  王莽不但心疼老娘,对伯父、叔父等长辈,同样俯首帖耳,非常孝敬。有一次,伯父王凤病倒了,王莽二话不说,守在床前,小心翼翼地伺候。他一连几 个昼夜不脱衣服,熬得蓬头垢面、两眼通红,却毫无怨言,为伯父煎汤熬药,端屎端尿&hellip;&hellip;即便药汤盛进了小碗儿,他也不放心,必须亲口尝一尝冷热浓淡&hellip;&hellip;别说 外人,就连王凤的弟弟&mdash;&mdash;王商,都对这个侄子高看一眼。王商特此上书朝廷,希望将自己封邑之下的民户,转至王莽名下。俗话说:&ldquo;久病床前无孝子&rdquo;,王莽善 待亲骨肉,的确是发自内心,出于至诚。他尚未发迹时,根本用不着伪装孝子,表演给谁看。'

result = re.sub(r'<[^>].*?>|&.*?;', '', content).strip()

result = re.sub(r'[\s+\.\!\/_,$%^*(+\"\']+|[+——!,。:?、~@#¥%……&*()]', '', result)


print (result)

5、打印出来的结果

Python
新朝是一个非常特殊的政权它夹在西汉与东汉之间默默无闻在人们的印象中似乎从来没有存在过这种视而不见的错觉大概出于两个原因一新朝仅仅维持了14年寿命太短;二新朝皇帝王莽臭名昭著这位西汉外戚也是中国历史上第一个窃国大盗他篡位自代为儒家正统所不容于是天下群起而攻历代文人都往他身上泼脏水但是这个窃国大盗却是个十足的大孝子为什么说大奸王莽居然是大孝呢且看他如何对待自家那些长辈新莽皇帝王莽隋唐科举制度诞生以前朝廷依靠什么手段选拔人才呢一看名门望族的出身;二凭各地举孝廉元朝人郭居敬曾辑录古代24位孝子故事编成著名的二十四孝其中那些夸张乖戾甚至有些疯狂的做法简直是病态听着叫人浑身起鸡皮疙瘩比如老莱子戏彩娱亲王祥卧冰求鲤郭巨埋儿奉母等等两汉时代博得大孝之名就像现在荣获了全国五一劳动奖章完全可以靠这一点儿名誉登堂入室步入官场王莽出身于大家族姑母王政君嫁给了汉元帝刘奭伯伯叔叔乃至同辈的叔伯兄弟都叨光做了大官唯独王莽这一枝倒霉还没沾上姑母的便宜父亲便早早地死了王莽年轻不得不站出来顶立门户他既没钱做资本也不会其它手艺有个最大爱好就是博览群书钻研儒术但是这怎么能养家糊口呢实在没辙全家老少只能咬紧牙关一块儿过苦日子民间对王莽篡权的褒贬态度民间对王莽篡权的褒贬态度班固在汉书王莽传中记载王莽事母及寡嫂养孤兄子行甚敕备又外交英俊内事诸父曲有礼意虽然父亲死了王莽却无微不至地照料着老娘寡嫂和侄子王莽的儿子和侄子同一天结婚双喜临门自然要张灯结彩大宴宾客喜筵刚刚开始就有人慌里慌张地跑来在他耳边嘀咕道您母亲不舒服现在急等用药呢王莽立刻脸色大变拽起仆人往外就跑一场婚庆宴会大概要持续两个时辰其间王莽魂不守舍出来进去了很多次王莽不但心疼老娘对伯父叔父等长辈同样俯首帖耳非常孝敬有一次伯父王凤病倒了王莽二话不说守在床前小心翼翼地伺候他一连几个昼夜不脱衣服熬得蓬头垢面两眼通红却毫无怨言为伯父煎汤熬药端屎端尿即便药汤盛进了小碗儿他也不放心必须亲口尝一尝冷热浓淡别说外人就连王凤的弟弟王商都对这个侄子高看一眼王商特此上书朝廷希望将自己封邑之下的民户转至王莽名下俗话说久病床前无孝子王莽善待亲骨肉的确是发自内心出于至诚他尚未发迹时根本用不着伪装孝子表演给谁看

Process finished with exit code 0

Ps:注意一点如果在打印的时候,发现还有部分的标点符号没有被删除掉,那么你可以在第四个步骤中,加入你所需要删除的标点符号就行了!


版权声明:本文为weixin_38796720原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。