国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Perl > 正文

perl去除重復內容的腳本代碼(重復行+數組重復字段)

2020-10-31 15:17:05
字體:
來源:轉載
供稿:網友

假如有這樣的一段序列:
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我們需要得到如下的結果:
1 3 
1 5 
2 1 
4 1
那么,請借助以下的perl腳本來實現。

代碼一:

復制代碼 代碼如下:

#!/bin/perl
use strict; 
use warnings; 
my $filename; 
my %hash; 
my @information; 
my $key1; 
my $key2; 
print "please put in the file like this f:////perl////data.txt/n"; 
chomp($filename=<STDIN>); 
open(IN,"$filename")||die("can not open"); 
while(<IN>) 

   chomp; 
   @information=split//s+/,$_; 
   if(exists $hash{$information[0]}{$information[1]}) 
   { 
       next; 
   } 
   else 
   { 
       $hash{$information[0]}{$information[1]}='A'; 
    } 
   } 
   close IN; 
   open(IN,"$filename")||die("can not open"); 
   while(<IN>) 
   { 
       @information=split//s+/,$_; 
       if(exists $hash{$information[1]}{$information[0]}) 
       { 
           delete $hash{$information[0]}{$information[1]} 
       } 
       else 
       { 
           next; 
       } 
   } 
   close IN; 
   open(OUT,">f://A_B_result.txt")||die("can not open"); 
   foreach $key1 (sort{$a<=>$b} keys %hash) 
   { 
       foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}}) 
       { 
           print OUT "$key1 $key2/n"; 
       } 
   } 
close OUT;


代碼二:

如果有一個文件data有10G大,但是有好多行都是重復的,需要將該文件中重復的行合并為一行,那么我們需要用什么辦法來實現
cat data |sort|uniq > new_data #該方法可以實現,但是你需要花上好幾個小時。結果才能出來。
下面是一個使用perl腳本來完成此功能的小工具。原理很簡單,創建一個hash,每行的內容為鍵,值由每行出現的次數來填充,腳本如下;

復制代碼 代碼如下:

#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;

my %hash;
my $script = $0; # Get the script name

sub usage
{
        printf("Usage:/n");
        printf("perl $script <source_file> <dest_file>/n");

}

# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 < 2) {

        &usage;
        exit 0;
}


my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rows

open (FILE,"<$source_file") or die "Cannot open file $!/n";
open (SORTED,">$dest_file") or die "Cannot open file $!/n";

while(defined (my $line = <FILE>))
{
        chomp($line);
        $hash{$line} += 1;
        # print "$line,$hash{$line}/n";
}

foreach my $k (keys %hash) {
        print SORTED "$k,$hash{$k}/n";#改行打印出列和該列出現的次數到目標文件
}
close (FILE);
close (SORTED);

代碼三:

通過perl腳本,刪除數據組中重復的字段

復制代碼 代碼如下:

#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 保存符合條件的元素
@array = grep { ++$hash{$_} < 2 } @array;
print join(" ",@array);
print "/n";

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 梓潼县| 宜兴市| 贵定县| 东宁县| 平度市| 泰宁县| 济源市| 陇川县| 额济纳旗| 茶陵县| 祥云县| 宝鸡市| 乐昌市| 新疆| 陇南市| 行唐县| 枝江市| 河池市| 东源县| 郧西县| 女性| 宁南县| 天峨县| 包头市| 灵山县| 辉南县| 乌兰县| 巴彦县| 十堰市| 钦州市| 北票市| 枝江市| 茌平县| 依安县| 旬阳县| 桐柏县| 霍州市| 洛宁县| 越西县| 久治县| 庄河市|