亚洲色中文字幕制服丝袜,亚洲人与动人物A级毛片免费视频,怡红院美国分院一区二区

主頁 > 知識庫 > perl去除重復內(nèi)容的腳本代碼(重復行+數(shù)組重復字段)

perl去除重復內(nèi)容的腳本代碼(重復行+數(shù)組重復字段)

假如有這樣的一段序列：
1 2
1 2
2 1
1 3
1 4
1 5
4 1
我們需要得到如下的結(jié)果：
1 3
1 5
2 1
4 1
那么，請借助以下的perl腳本來實現(xiàn)。

代碼一：

復制代碼代碼如下:

#!/bin/perl
use strict;  
use warnings;  
my $filename;  
my %hash;  
my @information;  
my $key1;  
my $key2;  
print "please put in the file like this f:\\\\perl\\\\data.txt\n";  
chomp($filename=STDIN>);  
open(IN,"$filename")||die("can not open");  
while(IN>)  
{  
   chomp;  
   @information=split/\s+/,$_;  
   if(exists $hash{$information[0]}{$information[1]})  
   {  
       next;  
   }  
   else  
   {  
       $hash{$information[0]}{$information[1]}='A';  
    }  
   }  
   close IN;  
   open(IN,"$filename")||die("can not open");  
   while(IN>)  
   {  
       @information=split/\s+/,$_;  
       if(exists $hash{$information[1]}{$information[0]})  
       {  
           delete $hash{$information[0]}{$information[1]}  
       }  
       else  
       {  
           next;  
       }  
   }  
   close IN;  
   open(OUT,">f:\\A_B_result.txt")||die("can not open");  
   foreach $key1 (sort{$a=>$b} keys %hash)  
   {  
       foreach $key2 (sort{$a=>$b} keys %{$hash{$key1}})  
       {  
           print OUT "$key1 $key2\n";  
       }  
   }  
close OUT; 

代碼二：

如果有一個文件data有10G大，但是有好多行都是重復的，需要將該文件中重復的行合并為一行，那么我們需要用什么辦法來實現(xiàn)
cat data |sort|uniq > new_data #該方法可以實現(xiàn)，但是你需要花上好幾個小時。結(jié)果才能出來。
下面是一個使用perl腳本來完成此功能的小工具。原理很簡單，創(chuàng)建一個hash，每行的內(nèi)容為鍵,值由每行出現(xiàn)的次數(shù)來填充，腳本如下;

復制代碼代碼如下:

#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;

my %hash;
my $script = $0; # Get the script name

sub usage
{
printf("Usage:\n");
printf("perl $script source_file> dest_file>\n");

}

# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 2) {

usage;
exit 0;
}

my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rows

open (FILE,"$source_file") or die "Cannot open file $!\n";
open (SORTED,">$dest_file") or die "Cannot open file $!\n";

while(defined (my $line = FILE>))
{
        chomp($line);
        $hash{$line} += 1;
        # print "$line,$hash{$line}\n";
}

foreach my $k (keys %hash) {
print SORTED "$k,$hash{$k}\n";#改行打印出列和該列出現(xiàn)的次數(shù)到目標文件
}
close (FILE);
close (SORTED);

代碼三：

通過perl腳本，刪除數(shù)據(jù)組中重復的字段

復制代碼代碼如下:

#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 保存符合條件的元素
@array = grep { ++$hash{$_}  2 } @array;
print join(" ",@array);
print "\n";

您可能感興趣的文章:

PERL腳本學習筆記
Perl5 OOP學習筆記
perl腳本實現(xiàn)限制ssh最大登錄次數(shù)（支持白名單）
Perl使用Tesseract-OCR實現(xiàn)驗證碼識別教程
perl與shell獲取昨天、明天或多天前的日期的代碼
為Java程序員準備的10分鐘Perl教程
perl批量查詢ip歸屬地的方法代碼
在Perl中使用Getopt::Long模塊來接收用戶命令行參數(shù)
perl中單行注釋和多行注釋使用介紹
perl腳本學習指南--讀書筆記

標簽：綿陽周口周口百色秦皇島綏化合肥淮安

巨人網(wǎng)絡(luò)通訊聲明：本文標題《perl去除重復內(nèi)容的腳本代碼(重復行+數(shù)組重復字段)》，本文關(guān)鍵詞 perl,去除,重復,內(nèi)容,的,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。