Very Large Malware Database under /var/lib/pgsql

[david_waugh]

Hello

The size of the /var/lib/pgsql database on our standalone Malware Appliance is very large.

Currently it is 40GB.

Does anyone know of any settings or maintainance jobs that control the size of this database?

total 64
drwx------. 2 postgres postgres 8192 Oct 21 2015 1
drwx------. 2 postgres postgres 8192 Oct 21 2015 12772
drwx------. 2 postgres postgres 8192 Oct 2 03:07 12780
drwx------. 2 postgres postgres 12288 Oct 2 04:59 16385
drwx------. 2 postgres postgres 6 Oct 2 09:54 pgsql_tmp
[root@XXXXX-MAL base]# du -hx . --max-depth=1
6.0M ./1
6.0M ./12772
6.1M ./12780
40G ./16385
0 ./pgsql_tmp
40G .
[root@XXXXX-MAL base]# pwd
/var/lib/pgsql/9.1/data/base

Here is a listing of the directory:

[root@XXXXXX-MAL 16385]# ls -latrh
total 40G
-rw-------. 1 postgres postgres 16K Oct 21 2015 12582
-rw-------. 1 postgres postgres 16K Oct 21 2015 12581
-rw-------. 1 postgres postgres 16K Oct 21 2015 12580
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12578
-rw-------. 1 postgres postgres 40K Oct 21 2015 12577
-rw-------. 1 postgres postgres 16K Oct 21 2015 12597
-rw-------. 1 postgres postgres 32K Oct 21 2015 12592
-rw-------. 1 postgres postgres 16K Oct 21 2015 12588
-rw-------. 1 postgres postgres 16K Oct 21 2015 12584
-rw-------. 1 postgres postgres 16K Oct 21 2015 12693
-rw-------. 1 postgres postgres 24K Oct 21 2015 12643
-rw-------. 1 postgres postgres 0 Oct 21 2015 12634
-rw-------. 1 postgres postgres 96K Oct 21 2015 12609
-rw-------. 1 postgres postgres 0 Oct 21 2015 12603
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12599
-rw-------. 1 postgres postgres 512 Oct 21 2015 pg_filenode.map
-rw-------. 1 postgres postgres 56K Oct 21 2015 12737
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12708
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12704
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12700
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12696
-rw-------. 1 postgres postgres 16K Oct 21 2015 12585
-rw-------. 1 postgres postgres 4 Oct 21 2015 PG_VERSION
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12654
-rw-------. 1 postgres postgres 0 Oct 21 2015 12652
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12586
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12569
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12568
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12561
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12554
-rw-------. 1 postgres postgres 0 Oct 21 2015 12552
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12620
-rw-------. 1 postgres postgres 0 Oct 21 2015 12618
-rw-------. 1 postgres postgres 16K Oct 21 2015 12589
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12538
-rw-------. 1 postgres postgres 0 Oct 21 2015 12535
-rw-------. 1 postgres postgres 16K Oct 21 2015 12598
-rw-------. 1 postgres postgres 32K Oct 21 2015 12576
-rw-------. 1 postgres postgres 0 Oct 21 2015 12566
-rw-------. 1 postgres postgres 0 Oct 21 2015 12559
-rw-------. 1 postgres postgres 184K Oct 21 2015 12545
-rw-------. 1 postgres postgres 16K Oct 21 2015 12630
-rw-------. 1 postgres postgres 0 Oct 21 2015 12744
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12742
-rw-------. 1 postgres postgres 32K Oct 21 2015 12593
-rw-------. 1 postgres postgres 24K Oct 21 2015 12590
-rw-------. 1 postgres postgres 0 Oct 21 2015 12541
-rw-------. 1 postgres postgres 16K Oct 21 2015 12594
-rw-------. 1 postgres postgres 72K Oct 21 2015 12544
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12537
-rw-------. 1 postgres postgres 16K Oct 21 2015 12595
-rw-------. 1 postgres postgres 104K Oct 21 2015 12574
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12543
-rw-------. 1 postgres postgres 456K Oct 21 2015 12539
-rw-------. 1 postgres postgres 16K Oct 21 2015 12608
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12606
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12605
-rw-------. 1 postgres postgres 16K Oct 21 2015 12602
-rw-------. 1 postgres postgres 16K Oct 21 2015 12601
-rw-------. 1 postgres postgres 16K Oct 21 2015 12615
-rw-------. 1 postgres postgres 16K Oct 21 2015 12614
-rw-------. 1 postgres postgres 16K Oct 21 2015 12613
-rw-------. 1 postgres postgres 264K Oct 21 2015 12611
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12628
-rw-------. 1 postgres postgres 0 Oct 21 2015 12626
-rw-------. 1 postgres postgres 232K Oct 21 2015 12624
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12639
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12638
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12637
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12636
-rw-------. 1 postgres postgres 16K Oct 21 2015 12633
-rw-------. 1 postgres postgres 16K Oct 21 2015 12632
-rw-------. 1 postgres postgres 120K Oct 21 2015 12629
-rw-------. 1 postgres postgres 16K Oct 21 2015 12647
-rw-------. 1 postgres postgres 16K Oct 21 2015 12646
-rw-------. 1 postgres postgres 16K Oct 21 2015 12645
-rw-------. 1 postgres postgres 16K Oct 21 2015 12642
-rw-------. 1 postgres postgres 16K Oct 21 2015 12641
-rw-------. 1 postgres postgres 16K Oct 21 2015 12698
-rw-------. 1 postgres postgres 32K Oct 21 2015 12695
-rw-------. 1 postgres postgres 16K Oct 21 2015 12692
-rw-------. 1 postgres postgres 16K Oct 21 2015 12691
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12689
-rw-------. 1 postgres postgres 16K Oct 21 2015 12711
-rw-------. 1 postgres postgres 16K Oct 21 2015 12710
-rw-------. 1 postgres postgres 16K Oct 21 2015 12707
-rw-------. 1 postgres postgres 16K Oct 21 2015 12706
-rw-------. 1 postgres postgres 16K Oct 21 2015 12703
-rw-------. 1 postgres postgres 16K Oct 21 2015 12702
-rw-------. 1 postgres postgres 16K Oct 21 2015 12699
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12725
-rw-------. 1 postgres postgres 0 Oct 21 2015 12723
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12722
-rw-------. 1 postgres postgres 0 Oct 21 2015 12720
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12719
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12718
-rw-------. 1 postgres postgres 0 Oct 21 2015 12716
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12715
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12714
-rw-------. 1 postgres postgres 0 Oct 21 2015 12712
-rw-------. 1 postgres postgres 216K Oct 21 2015 12733
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12732
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12731
-rw-------. 1 postgres postgres 0 Oct 21 2015 12729
-rw-------. 1 postgres postgres 0 Oct 21 2015 12727
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12726
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12747
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12746
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12741
-rw-------. 1 postgres postgres 0 Oct 21 2015 12739
-rw-------. 1 postgres postgres 48K Oct 21 2015 12736
-rw-------. 1 postgres postgres 40K Oct 21 2015 12735
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12766
-rw-------. 1 postgres postgres 0 Oct 21 2015 12764
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12762
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12761
-rw-------. 1 postgres postgres 0 Oct 21 2015 12759
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12757
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12756
-rw-------. 1 postgres postgres 0 Oct 21 2015 12754
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12752
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12751
-rw-------. 1 postgres postgres 0 Oct 21 2015 12749
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12771
-rw-------. 1 postgres postgres 0 Oct 21 2015 12769
-rw-------. 1 postgres postgres 0 Oct 21 2015 12767
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12574_vm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12539_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12539_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12595_vm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12590_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12590_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12582_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12582_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12578_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12578_fsm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12574_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12609_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12609_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12606_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12606_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12599_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12599_fsm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12595_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12639_vm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12630_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12630_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12624_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12624_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12611_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12611_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12693_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12693_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12689_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12689_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12643_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12643_fsm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12639_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12708_vm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12704_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12704_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12700_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12700_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12696_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12696_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12752_vm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12747_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12747_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12742_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12742_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12733_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12733_fsm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12708_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12762_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12762_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12757_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12757_fsm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12752_fsm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12737_vm
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 12586_vm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12586_fsm
-rw-------. 1 postgres postgres 24K Oct 21 2015 12737_fsm
-rw-------. 1 postgres postgres 0 Oct 21 2015 16390
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16392
-rw-------. 1 postgres postgres 0 Oct 21 2015 16398
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16406
-rw-------. 1 postgres postgres 0 Oct 21 2015 16404
-rw-------. 1 postgres postgres 0 Oct 21 2015 16401
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16407
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16424
-rw-------. 1 postgres postgres 0 Oct 21 2015 16422
-rw-------. 1 postgres postgres 0 Oct 21 2015 16427
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16430
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16437
-rw-------. 1 postgres postgres 0 Oct 21 2015 16435
-rw-------. 1 postgres postgres 0 Oct 21 2015 16440
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16445
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16443
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16465
-rw-------. 1 postgres postgres 0 Oct 21 2015 16463
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16471
-rw-------. 1 postgres postgres 0 Oct 21 2015 16468
-rw-------. 1 postgres postgres 0 Oct 21 2015 16476
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16478
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16486
-rw-------. 1 postgres postgres 0 Oct 21 2015 16484
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16494
-rw-------. 1 postgres postgres 0 Oct 21 2015 16492
-rw-------. 1 postgres postgres 0 Oct 21 2015 16489
-rw-------. 1 postgres postgres 0 Oct 21 2015 16497
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16495
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16502
-rw-------. 1 postgres postgres 0 Oct 21 2015 16500
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16503
-rw-------. 1 postgres postgres 0 Oct 21 2015 16510
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16513
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16520
-rw-------. 1 postgres postgres 0 Oct 21 2015 16518
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16530
-rw-------. 1 postgres postgres 0 Oct 21 2015 16528
-rw-------. 1 postgres postgres 0 Oct 21 2015 16525
-rw-------. 1 postgres postgres 0 Oct 21 2015 16533
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16531
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16538
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16536
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16545
-rw-------. 1 postgres postgres 0 Oct 21 2015 16543
-rw-------. 1 postgres postgres 0 Oct 21 2015 16540
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16546
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16553
-rw-------. 1 postgres postgres 0 Oct 21 2015 16551
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16566
-rw-------. 1 postgres postgres 0 Oct 21 2015 16564
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16581
-rw-------. 1 postgres postgres 0 Oct 21 2015 16579
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16606
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16607
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16618
-rw-------. 1 postgres postgres 8.0K Oct 21 2015 16677
-rw-------. 1 postgres postgres 16K Oct 21 2015 12555
-rw-------. 1 postgres postgres 16K Oct 21 2015 12556
-rw-------. 1 postgres postgres 16K Oct 21 2015 16393
-rw-------. 1 postgres postgres 16K Oct 21 2015 16395
-rw-------. 1 postgres postgres 16K Oct 21 2015 16396
-rw-------. 1 postgres postgres 16K Oct 21 2015 16397
-rw-------. 1 postgres postgres 16K Oct 21 2015 16521
-rw-------. 1 postgres postgres 16K Oct 21 2015 16523
-rw-------. 1 postgres postgres 16K Oct 21 2015 16554
-rw-------. 1 postgres postgres 16K Oct 21 2015 16556
-rw-------. 1 postgres postgres 16K Oct 21 2015 16567
-rw-------. 1 postgres postgres 16K Oct 21 2015 16699
-rw-------. 1 postgres postgres 16K Oct 21 2015 16700
-rw-------. 1 postgres postgres 16K Oct 21 2015 16701
-rw-------. 1 postgres postgres 16K Oct 21 2015 16702
-rw-------. 1 postgres postgres 16K Oct 21 2015 16412
-rw-------. 1 postgres postgres 16K Oct 21 2015 16572
-rw-------. 1 postgres postgres 16K Oct 21 2015 16574
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 12550
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16386
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16515
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16548
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16558
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16561
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16409
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16569
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16386_vm
-rw-------. 1 postgres postgres 24K Oct 22 2015 16386_fsm
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 12550_vm
-rw-------. 1 postgres postgres 24K Oct 22 2015 12550_fsm
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16409_vm
-rw-------. 1 postgres postgres 24K Oct 22 2015 16409_fsm
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16515_vm
-rw-------. 1 postgres postgres 24K Oct 22 2015 16515_fsm
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16548_vm
-rw-------. 1 postgres postgres 24K Oct 22 2015 16548_fsm
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16561_vm
-rw-------. 1 postgres postgres 24K Oct 22 2015 16561_fsm
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16558_vm
-rw-------. 1 postgres postgres 24K Oct 22 2015 16558_fsm
-rw-------. 1 postgres postgres 8.0K Oct 22 2015 16569_vm
-rw-------. 1 postgres postgres 24K Oct 22 2015 16569_fsm
-rw-------. 1 postgres postgres 24K Jan 13 2016 16576_fsm
drwx------. 7 postgres postgres 66 Jan 13 2016 ..
-rw-------. 1 postgres postgres 16K Jul 27 02:00 16714
-rw-------. 1 postgres postgres 16K Jul 27 02:00 16713
-rw-------. 1 postgres postgres 16K Jul 27 02:00 16582
-rw-------. 1 postgres postgres 8.0K Jul 28 02:00 16576
-rw-------. 1 postgres postgres 8.0K Jul 28 02:02 16576_vm
-rw-------. 1 postgres postgres 8.0K Aug 13 03:08 12616_vm
-rw-------. 1 postgres postgres 1.0G Aug 16 02:00 16460.1
-rw-------. 1 postgres postgres 1.0G Aug 21 02:00 16460.2
-rw-------. 1 postgres postgres 1.0G Aug 27 02:00 16460.3
-rw-------. 1 postgres postgres 1.0G Sep 1 02:00 16455.1
-rw-------. 1 postgres postgres 1.0G Sep 3 02:01 16460.4
-rw-------. 1 postgres postgres 1.0G Sep 9 02:01 16460.5
-rw-------. 1 postgres postgres 1.0G Sep 15 02:00 16447.1
-rw-------. 1 postgres postgres 1.0G Sep 15 02:00 16455.2
-rw-------. 1 postgres postgres 1.0G Sep 15 02:01 16460.6
-rw-------. 1 postgres postgres 8.0K Sep 20 03:41 12557_vm
-rw-------. 1 postgres postgres 8.0K Sep 20 03:42 12523_vm
-rw-------. 1 postgres postgres 24K Sep 20 11:38 16508_fsm
-rw-------. 1 postgres postgres 24K Sep 20 11:38 16678_fsm
-rw-------. 1 postgres postgres 1.0G Sep 22 02:02 16460.7
-rw-------. 1 postgres postgres 0 Sep 25 02:00 16414_vm
-rw-------. 1 postgres postgres 0 Sep 25 02:00 16414
-rw-------. 1 postgres postgres 16K Sep 25 02:00 16417
-rw-------. 1 postgres postgres 0 Sep 25 02:00 16481_vm
-rw-------. 1 postgres postgres 0 Sep 25 02:00 16481
-rw-------. 1 postgres postgres 16K Sep 25 02:00 16671
-rw-------. 1 postgres postgres 16K Sep 25 02:00 16487
-rw-------. 1 postgres postgres 16K Sep 25 02:00 16481_fsm
-rw-------. 1 postgres postgres 16K Sep 25 02:00 16414_fsm
-rw-------. 1 postgres postgres 0 Sep 25 02:05 16473_vm
-rw-------. 1 postgres postgres 0 Sep 25 02:05 16473
-rw-------. 1 postgres postgres 16K Sep 25 02:05 16670
-rw-------. 1 postgres postgres 16K Sep 25 02:05 16479
-rw-------. 1 postgres postgres 16K Sep 25 02:07 16473_fsm
-rw-------. 1 postgres postgres 1.0G Sep 26 08:09 16644.1
-rw-------. 1 postgres postgres 1.0G Sep 26 08:10 16466.1
-rw-------. 1 postgres postgres 1.0G Sep 28 09:12 16644.2
-rw-------. 1 postgres postgres 1.0G Sep 28 09:33 16466.2
-rw-------. 1 postgres postgres 1.0G Sep 30 02:04 16455.3
-rw-------. 1 postgres postgres 34M Sep 30 02:04 16455.4
-rw-------. 1 postgres postgres 1.0G Sep 30 02:06 16460.8
-rw-------. 1 postgres postgres 361M Sep 30 02:06 16460.9
-rw-------. 1 postgres postgres 567M Oct 1 02:02 16447.2
-rw-------. 1 postgres postgres 515M Oct 1 02:34 16466.3
-rw-------. 1 postgres postgres 8.0K Oct 1 03:31 12570_vm
-rw-------. 1 postgres postgres 517M Oct 1 03:33 16644.3
-rw-------. 1 postgres postgres 605M Oct 1 09:18 16458.1
-rw-------. 1 postgres postgres 8.0K Oct 2 02:03 12546_vm
-rw-------. 1 postgres postgres 24K Oct 2 02:03 12570_fsm
-rw-------. 1 postgres postgres 24K Oct 2 02:04 16452_fsm
-rw-------. 1 postgres postgres 24K Oct 2 02:04 12519_fsm
-rw-------. 1 postgres postgres 1.0G Oct 2 02:06 16637.1
-rw-------. 1 postgres postgres 8.0K Oct 2 03:16 12527_vm
-rw-------. 1 postgres postgres 8.0K Oct 2 03:16 12648_vm
-rw-------. 1 postgres postgres 24K Oct 2 03:16 12523_fsm
-rw-------. 1 postgres postgres 24K Oct 2 03:16 12557_fsm
-rw-------. 1 postgres postgres 24K Oct 2 03:16 12616_fsm
-rw-------. 1 postgres postgres 24K Oct 2 03:16 12530_fsm
-rw-------. 1 postgres postgres 8.0K Oct 2 03:16 12519_vm
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92699
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92701
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92707
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92709
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92720
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92717
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92723
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92722
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92735
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92733
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92746
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92748
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92756
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92761
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92759
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92762
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92772
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92769
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92775
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92774
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92777
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92780
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92787
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92785
-rw-------. 1 postgres postgres 8.0K Oct 2 04:24 92793
-rw-------. 1 postgres postgres 0 Oct 2 04:24 92790
-rw-------. 1 postgres postgres 24K Oct 2 04:25 12529_fsm
-rw-------. 1 postgres postgres 24K Oct 2 04:25 12651_fsm
-rw-------. 1 postgres postgres 105K Oct 2 04:25 pg_internal.init
-rw-------. 1 postgres postgres 24K Oct 2 04:26 12648_fsm
-rw-------. 1 postgres postgres 24K Oct 2 04:26 12527_fsm
-rw-------. 1 postgres postgres 16K Oct 2 04:26 12565
-rw-------. 1 postgres postgres 16K Oct 2 04:26 12557
-rw-------. 1 postgres postgres 16K Oct 2 04:26 12521
-rw-------. 1 postgres postgres 112K Oct 2 04:26 12519
-rw-------. 1 postgres postgres 16K Oct 2 04:27 12563
-rw-------. 1 postgres postgres 32K Oct 2 04:27 12525
-rw-------. 1 postgres postgres 376K Oct 2 04:27 12651
-rw-------. 1 postgres postgres 416K Oct 2 04:27 12648
-rw-------. 1 postgres postgres 40K Oct 2 04:27 12526
-rw-------. 1 postgres postgres 392K Oct 2 04:27 12650
-rw-------. 1 postgres postgres 32K Oct 2 04:27 12548
-rw-------. 1 postgres postgres 152K Oct 2 04:27 12530
-rw-------. 1 postgres postgres 16K Oct 2 04:27 12564
-rw-------. 1 postgres postgres 16K Oct 2 04:27 12572
-rw-------. 1 postgres postgres 56K Oct 2 04:27 12570
-rw-------. 1 postgres postgres 24K Oct 2 04:27 12650_fsm
-rw-------. 1 postgres postgres 16K Oct 2 04:27 12623
-rw-------. 1 postgres postgres 24K Oct 2 04:27 12546_fsm
-rw-------. 1 postgres postgres 16K Oct 2 04:28 12573
-rw-------. 1 postgres postgres 16K Oct 2 04:28 12622
-rw-------. 1 postgres postgres 224K Oct 2 04:28 12529
-rw-------. 1 postgres postgres 56K Oct 2 04:28 12549
-rw-------. 1 postgres postgres 16K Oct 2 04:28 12621
-rw-------. 1 postgres postgres 24K Oct 2 04:28 12616
-rw-------. 1 postgres postgres 16K Oct 2 04:28 12562
-rw-------. 1 postgres postgres 80K Oct 2 04:28 12523
-rw-------. 1 postgres postgres 544K Oct 2 04:28 12527
-rw-------. 1 postgres postgres 16K Oct 2 04:28 92798
-rw-------. 1 postgres postgres 16K Oct 2 04:28 92702
-rw-------. 1 postgres postgres 16K Oct 2 04:28 92801
-rw-------. 1 postgres postgres 16K Oct 2 04:28 92800
-rw-------. 1 postgres postgres 8.0K Oct 2 04:28 92730
-rw-------. 1 postgres postgres 16K Oct 2 04:28 92736
-rw-------. 1 postgres postgres 24K Oct 2 04:36 92704_fsm
-rw-------. 1 postgres postgres 24K Oct 2 04:47 12517_fsm
-rw-------. 1 postgres postgres 40K Oct 2 04:48 12522
drwx------. 2 postgres postgres 12K Oct 2 04:59 .
-rw-------. 1 postgres postgres 24K Oct 2 05:08 16613_fsm
-rw-------. 1 postgres postgres 24K Oct 2 06:06 16841_fsm
-rw-------. 1 postgres postgres 8.0K Oct 2 06:16 16450_vm
-rw-------. 1 postgres postgres 24K Oct 2 07:05 92743_fsm
-rw-------. 1 postgres postgres 72K Oct 2 08:01 16455_vm
-rw-------. 1 postgres postgres 8.0K Oct 2 08:11 16419_vm
-rw-------. 1 postgres postgres 8.0K Oct 2 08:12 12517_vm
-rw-------. 1 postgres postgres 152K Oct 2 08:15 16460_vm
-rw-------. 1 postgres postgres 1.1M Oct 2 08:54 16452
-rw-------. 1 postgres postgres 40K Oct 2 08:54 16450_fsm
-rw-------. 1 postgres postgres 70M Oct 2 08:54 16450
-rw-------. 1 postgres postgres 24K Oct 2 09:05 92782_fsm
-rw-------. 1 postgres postgres 24K Oct 2 09:07 16616_fsm
-rw-------. 1 postgres postgres 0 Oct 2 09:27 16505_vm
-rw-------. 1 postgres postgres 24K Oct 2 10:02 16438_fsm
-rw-------. 1 postgres postgres 639M Oct 2 10:11 16638.1
-rw-------. 1 postgres postgres 24K Oct 2 10:14 16425_fsm
-rw-------. 1 postgres postgres 24K Oct 2 10:15 16617_fsm
-rw-------. 1 postgres postgres 24K Oct 2 10:16 16615_fsm
-rw-------. 1 postgres postgres 24K Oct 2 10:16 16600_fsm
-rw-------. 1 postgres postgres 24K Oct 2 10:19 16614_fsm
-rw-------. 1 postgres postgres 24K Oct 2 10:22 16599_fsm
-rw-------. 1 postgres postgres 859M Oct 2 10:24 16637.2
-rw-------. 1 postgres postgres 104K Oct 2 10:24 12546
-rw-------. 1 postgres postgres 8.0K Oct 2 10:26 92704
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92788
-rw-------. 1 postgres postgres 8.0K Oct 2 10:26 92782
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92815
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92814
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92817
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92816
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92819
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92818
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92710
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92804
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92803
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92806
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92805
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92808
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92810
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92809
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92812
-rw-------. 1 postgres postgres 16K Oct 2 10:26 92811
-rw-------. 1 postgres postgres 40K Oct 2 10:26 92813
-rw-------. 1 postgres postgres 8.0K Oct 2 10:26 92743
-rw-------. 1 postgres postgres 8.0K Oct 2 10:26 16715
-rw-------. 1 postgres postgres 56K Oct 2 10:26 16678
-rw-------. 1 postgres postgres 25M Oct 2 10:26 16600
-rw-------. 1 postgres postgres 32M Oct 2 10:26 16599
-rw-------. 1 postgres postgres 48K Oct 2 10:26 16508
-rw-------. 1 postgres postgres 8.0K Oct 2 10:26 16505
-rw-------. 1 postgres postgres 259M Oct 2 10:26 16453
-rw-------. 1 postgres postgres 25M Oct 2 10:26 16425
-rw-------. 1 postgres postgres 288K Oct 2 10:26 12517
-rw-------. 1 postgres postgres 2.4M Oct 2 10:26 16460_fsm
-rw-------. 1 postgres postgres 1.1M Oct 2 10:26 16455_fsm
-rw-------. 1 postgres postgres 24K Oct 2 10:26 16505_fsm
-rw-------. 1 postgres postgres 1.5M Oct 2 10:26 16842_fsm
-rw-------. 1 postgres postgres 304K Oct 2 10:26 16637_fsm
-rw-------. 1 postgres postgres 192K Oct 2 10:26 16458_fsm
-rw-------. 1 postgres postgres 384K Oct 2 10:26 16644_fsm
-rw-------. 1 postgres postgres 384K Oct 2 10:26 16466_fsm
-rw-------. 1 postgres postgres 19M Oct 2 10:26 16615
-rw-------. 1 postgres postgres 192K Oct 2 10:26 16638_fsm
-rw-------. 1 postgres postgres 19M Oct 2 10:26 16438
-rw-------. 1 postgres postgres 19M Oct 2 10:26 16614
-rw-------. 1 postgres postgres 58M Oct 2 10:26 16617
-rw-------. 1 postgres postgres 72K Oct 2 10:26 16631_fsm
-rw-------. 1 postgres postgres 680K Oct 2 10:27 16447_fsm
-rw-------. 1 postgres postgres 8.0K Oct 2 10:27 92795
-rw-------. 1 postgres postgres 153M Oct 2 10:27 16419
-rw-------. 1 postgres postgres 16K Oct 2 10:27 16432_vm
-rw-------. 1 postgres postgres 240K Oct 2 10:27 16432_fsm
-rw-------. 1 postgres postgres 8.0K Oct 2 10:27 92696
-rw-------. 1 postgres postgres 868M Oct 2 10:27 16432
-rw-------. 1 postgres postgres 40K Oct 2 10:27 92802
-rw-------. 1 postgres postgres 1.0G Oct 2 10:27 16447
-rw-------. 1 postgres postgres 1.0G Oct 2 10:27 16458
-rw-------. 1 postgres postgres 80K Oct 2 10:28 16630_fsm
-rw-------. 1 postgres postgres 24K Oct 2 10:28 92813_fsm
-rw-------. 1 postgres postgres 56K Oct 2 10:28 16419_fsm
-rw-------. 1 postgres postgres 60M Oct 2 10:28 16616
-rw-------. 1 postgres postgres 60M Oct 2 10:28 16841
-rw-------. 1 postgres postgres 16K Oct 2 10:29 92749
-rw-------. 1 postgres postgres 48K Oct 2 10:29 16453_fsm
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16638
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16455
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16460
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16637
-rw-------. 1 postgres postgres 1023M Oct 2 10:29 16629
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16644
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16466
-rw-------. 1 postgres postgres 40K Oct 2 10:29 92807
-rw-------. 1 postgres postgres 456M Oct 2 10:29 16630
-rw-------. 1 postgres postgres 232K Oct 2 10:29 16629_fsm
-rw-------. 1 postgres postgres 48K Oct 2 10:29 16447_vm
-rw-------. 1 postgres postgres 66M Oct 2 10:29 16613
-rw-------. 1 postgres postgres 423M Oct 2 10:29 16631
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16842.3
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16842.5
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16842.4
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16842.2
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16842
-rw-------. 1 postgres postgres 477M Oct 2 10:29 16842.6
-rw-------. 1 postgres postgres 1.0G Oct 2 10:29 16842.1

[david_waugh]

Part of the issue was having a large number of events being generated by the malware appliance. I created some application rules to whitelist known good traffic. This would then not be scanned by the malware appliance and as a result fewer false positives were reported.

[EricPartington]

Would this flow have helped you detect what options you could change/filter to modify the false positives in the MA appliance?

https://community.rsa.com/community/products/netwitness/blog/2016/12/23/malware-spectrum-whats-involved 

[david_waugh · Accepted solution]

Thanks Eric,

That is a great diagram.

In the end I managed to clean up the database manually.

I ssh'd to the box and then ran

su postgres

 psql -h localhost spectrum spectrum -a -f /tmp/cleanup-malware.sql

This file contained the sql commands to remove events.

It should be noted that events are made up of meta, and meta is made up of metavalues.

You need to delete these in reverse to get over the foreign key constraints in the database.

I also had to specify each day in turn as there were a large number of rows involved in the database.

delete from metavalue where metavalue.meta_id in (select id from meta where meta.event_id in (select id from events where whenarchiveddate <'2017-08-14'));
...

delete from metavalue where metavalue.meta_id in (select id from meta where meta.event_id in (select id from events where whenarchiveddate <'2017-09-30'));

(delete from meta where meta.event_id in (select id from events where whenarchiveddate <'2017-08-14'));
...

(delete from meta where meta.event_id in (select id from events where whenarchiveddate <'2017-09-30'));

(delete from events where whenarchiveddate <'2017-08-14'));
...

(delete from events where whenarchiveddate <'2017-09-30'));

The following query returned the size of the database  before and after:

spectrum=> SELECT
relname AS objectname,
relkind AS objecttype,
reltuples AS "#entries", pg_size_pretty(relpages::bigint*8*1024) AS size
FROM pg_class
WHERE relpages >= 8
ORDER BY relpages DESC;
objectname | objecttype | #entries | size
---------------------------------+------------+-------------+---------
metavalue | r | 1.23679e+08 | 9664 MB
metavalue_value_lower_idx | i | 1.23679e+08 | 5419 MB
meta | r | 7.08515e+07 | 4166 MB
metavalue_metaid_idx | i | 1.23679e+08 | 3481 MB
metavalue_pkey | i | 1.23679e+08 | 3481 MB
meta_nameeventid_idx | i | 7.08515e+07 | 2742 MB
influences | r | 7.67044e+06 | 2620 MB
meta_pkey | i | 7.08515e+07 | 1629 MB
meta_eventid_idx | i | 7.08515e+07 | 1629 MB
influences_iockey_idx | i | 7.67044e+06 | 901 MB
files | r | 92921 | 865 MB
influences_eventid_idx | i | 7.67044e+06 | 262 MB
influences_fileentryid_idx | i | 7.67044e+06 | 262 MB
influences_pkey | i | 7.67044e+06 | 259 MB
events | r | 1.07553e+06 | 151 MB
pg_toast_16447 | t | 765 | 70 MB
files_idx_dateadded_digest | i | 92921 | 57 MB
files_idx_digest | i | 92921 | 51 MB
files_idx_name | i | 92921 | 42 MB
files_name_lower_idx | i | 92921 | 42 MB
event_ondemandjobentryid_idx | i | 1.03254e+06 | 25 MB
spectrum=> vacuum full;
WARNING: skipping "pg_authid" --- only superuser can vacuum it
WARNING: skipping "pg_database" --- only superuser can vacuum it
WARNING: skipping "pg_tablespace" --- only superuser can vacuum it
WARNING: skipping "pg_pltemplate" --- only superuser can vacuum it
WARNING: skipping "pg_auth_members" --- only superuser can vacuum it
WARNING: skipping "pg_shdepend" --- only superuser can vacuum it
WARNING: skipping "pg_shdescription" --- only superuser can vacuum it
WARNING: skipping "pg_db_role_setting" --- only superuser can vacuum it
VACUUM
spectrum=> SELECT
relname AS objectname,
relkind AS objecttype,
reltuples AS "#entries", pg_size_pretty(relpages::bigint*8*1024) AS size
FROM pg_class
WHERE relpages >= 8
ORDER BY relpages DESC;
objectname | objecttype | #entries | size
---------------------------------+------------+-------------+---------
metavalue | r | 1.38876e+07 | 851 MB
metavalue_value_lower_idx | i | 1.38876e+07 | 477 MB
meta | r | 6.09655e+06 | 338 MB
metavalue_pkey | i | 1.38876e+07 | 298 MB
metavalue_metaid_idx | i | 1.38876e+07 | 298 MB
meta_nameeventid_idx | i | 6.09655e+06 | 221 MB
influences | r | 671291 | 145 MB
meta_pkey | i | 6.09655e+06 | 131 MB
meta_eventid_idx | i | 6.09655e+06 | 131 MB
files | r | 68054 | 65 MB
influences_iockey_idx | i | 671291 | 49 MB
influences_eventid_idx | i | 671291 | 14 MB
influences_fileentryid_idx | i | 671291 | 14 MB
influences_pkey | i | 671291 | 14 MB
events | r | 81826 | 11 MB
files_idx_dateadded_digest | i | 68054 | 4528 kB
files_idx_digest | i | 68054 | 3952 kB
files_name_lower_idx | i | 68054 | 3696 kB
files_idx_name | i | 68054 | 3696 kB
events_pkey | i | 81826 | 1808 kB
event_ondemandjobentryid_idx | i | 81826 | 1808 kB
event_whenarchived_idx | i | 81826 | 1808 kB
files_pkey | i | 68054 | 1504 kB
files_dateadded_idx | i | 68054 | 1504 kB
files_event_id_idx | i | 68054 | 1504 kB
pg_attribute | r | 3113 | 472 kB
pg_proc | r | 2342 | 456 kB
pg_depend | r | 6521 | 384 kB
pg_description | r | 3276 | 232 kB
pg_collation | r | 869 | 216 kB
pg_depend_depender_index | i | 6521 | 216 kB
pg_depend_reference_index | i | 6521 | 216 kB
pg_proc_proname_args_nsp_index | i | 2342 | 184 kB
pg_statistic | r | 493 | 176 kB
pg_attribute_relid_attnam_index | i | 3113 | 176 kB
pg_class | r | 462 | 136 kB
pg_attribute_relid_attnum_index | i | 3113 | 120 kB
pg_description_o_c_o_index | i | 3276 | 120 kB
pg_operator | r | 706 | 104 kB
pg_rewrite | r | 101 | 96 kB
pg_type | r | 412 | 80 kB
pg_proc_oid_index | i | 2342 | 72 kB
pg_class_relname_nsp_index | i | 462 | 64 kB
(43 rows)