查重算法python 改重

问：python爬取的数据如何去重？说一下具体的算法依据

1. 答：要具体问题具体分析的。看你要抓取什么数据。
   最好能找到一个能够作为重复性区分的字段值。比如百度知道的所有提问，每个问题都有一个对应的id，楼主这个问题对应的id就是181730605611341844。那在爬取的过程中，可以将所有已经爬取的问题id保存在一个set()中，如果即将爬取的问题id已经存在了，那就跳过，反之则继续。
   不知道楼主用的是什么数据库，在数据库设计中，也可以添加一些约束条件作为约束，保证数据的唯一性。

问：python代码查重原理

1. 答：a=['python',1,2,3,1,6,'a','a',3,3,3,'a','python','3','8']
   b=list(set(a))
   cf=[]
   for i in b:
   cf.append(a.count(b))
   for i in range(len(b)):
   print(b[i],'一共有',cf[i],'个',sep='')

问：论文查重如何修改？

1. 答：方法一：措辞变化法
   就是将检测出重复率比较高的部分通过变换句式结构、更换关键词、增减语句和更改主被动语态等方式进行改写。虽然这样修改比较费时费力，但是能够有效降重论文，避免被标红，对论文内容也更加熟悉，答辩时会比较顺畅，得心应手。
   方法二：图片转换法
   将重复率比较高的部分转换成图片，插入到自己论文中。因为大部分论文查重系统不会对图片内容检测，所以能够避免被查重。此方法速度比较快，并且比较方便，但是使用过多的话，会影响论文的文字总量。
   方法三：句式变换法
   将重复率较高的内容语句去掉头尾，将剩下的部分变换句式，主动句改成被动句，或者被动句改成被动句。如此操作也十分方便快捷，但是比较考验语言文字功底。
   方法四：翻译法
   将重复率比较高的部分通过翻译软件翻译成外语，然后再将外语翻译回中文，或者轮番多翻译几遍，之后再通顺下翻译回的中文语句即可。前期方便快捷，但是后期通顺语句文字比较耗费时间精力。
   方法五：原创法
   自己查阅资料，开展实验研究写作论文，严格按照学校的要求规范写作编排论文。此方法写的论文在查重时比较容易通过，但是写作阶段比较耗费时间与精力。
2. 答：手头这篇论文经历了大修-被拒-转投-大修-被拒-转投，然后刚刚又收到一个大修。每次都认真的改了，可能自己水平还是有限吧，北京译顶科技价格比较合理，我就是在那边做的，没花多少钱你可以统一去知道了解下
3. 答：看什么期刊，如果认真回答了所有的问题，给他排版好一点，返回后一定要英语润色，这样机会肯定＞一半。，可以找北京译顶科技，那边价格比较便宜߅

本文来源: https://www.pukanfabiao.com/article/de16ccd6ac56cf9f2d5399b6.html