root@szk2:~,0# cluster.state -h
cluster.state [-z RANGES] [-o] [-Z] [-h|-e|-f|-l|-m|-p|-r|-s|-t|-u|-v|-w|-C PATH|-D PATH TIME|-E|-R|-S DIR|-T|-U|-W]
Depending on the option used shows state of the cluster: load, network traffic, disk space etc.
The data are collected concurrently from all the nodes and servers. The results are scaled and
expressed with suffixes like k, M, G, ...

General:
-h              this help
-z RANGES       show only specified nodes or server or ranges of nodes e.g.:
               n0,n1,n5; n8,n12-n23; -n149 (default beginning: n0); n384- (default end: n437);
                 n0-n11,srv; clust,fs4 etc.
               Aliases:
                       cluster or clust (n151-n239,n252-n283,n288-n335,n432-n435,n437)
                       srv2 (szk2 halo2 mgs0 mgs1 fs5 fs6 fs7  fs8 fs9   mgs2 mgs3)
                       srv (srv2)
                       cs (cluster and srv)
                       medea (n144-n150,n436)
                       meteo (n240-n251)
                       złom (n284-n287)
-Z              print only shelves with non-zero results (usefull with -C ...error...
-v              print version (date)

Load:
-l              show load (default)
-o              add '-' to off-line nodes information

Network:
-r              data received via IB in B (during 3 s)
-t              data transmitted via IB in B (during 3 s)
-p NAME         packets loss in 0..1 scale for all machines pinging NAME
-e              print only port_rcv_remote_physical_errors and VL15_dropped IB errors,
               implies -Z
-E              print all IB error counters (see option -C), implies -Z
-R              ib0 interface rates in gross Gbps
-D PATH TIME    reset IB data counter and display the difference of the value in PATH during TIME s
-C PATH         read numbers from PATH, e.g:
               /sys/class/infiniband/{mlx4_0,mthca0}/ports/[12]/counters/
               {excessive_buffer_overrun_errors,link_downed,link_error_recovery,
               local_link_integrity_errors,port_rcv_constraint_errors,port_rcv_data,
               port_rcv_errors,port_rcv_packets,port_rcv_remote_physical_errors,
               port_rcv_switch_relay_errors,port_xmit_constraint_errors,port_xmit_data,
               port_xmit_discards,port_xmit_packets,symbol_error,VL15_dropped}
               /sys/class/infiniband/mthca0/ports/1/rate or any other, numerical of textual
               For servers "mlx4_0" in the PATH well be replaced by "mthca0".

Storage/memory:
-s              show servers serving / for nodes
-S DIRECTORY    show servers serving filesystem with DIRECTORY for nodes. Actually it is more
               reliable to check a subdirectory instead of just a mountpoint, e.g. -S /home/staff
-T              free space in /tmp
-m              show amount of available RAM in B
-u              show amount of used RAM in B
-U              percentage of unreclaimable RAM
-W              swap sizes
-w              % of swap used
-f              flash sizes

Temperature:
-g              show MB/T_AMB0 (mb.t_amb0)
-G PATTERN      show first temperature matching PATTERN, case insensitive. Possible sensors' names:
               P0/T_CORE P1/T_CORE P2/T_CORE P3/T_CORE MB/T_AMB0 MB/T_AMB1 MB/T_AMB2 MB/T_AMB3
               MB/T_AMB4 (in older blades: mb.t_amb0 mb.t_amb1 mb.t_amb2 mb.t_amb3 mb.t_amb4 p0.t_core
               p1.t_core p2.t_core p3.t_core)
root@szk2:~,0# cluster.state -o -z clust,medea,meteo -s
Fri Oct  2 13:21:39 CEST 2015   options: -z clust,medea,meteo    -o  -s
144     fs5-   fs5-   fs5-   fs5-   fs5-   fs5-   fs5-   fs6    fs5    fs6    fs5    fs5      s4p0 Medea/halo2
156     fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5      s4p1 halo2
168     fs5    fs6    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5      s4p2 halo2
180     fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5    fs5   ROUT-     s4p3 halo2
192    ROUT    fs7   ROUT    fs7   ROUT    fs7    fs7    fs7    fs7    fs7    fs7    fs7      s5p0 halo2
204     fs7    fs7    fs7    fs7    fs7    fs7    fs7   ROUT   ROUT   ROUT   ROUT   ROUT      s5p1 halo2
216    ROUT    fs7    fs7    fs7   ROUT    fs7   ROUT    fs7    fs7   ROUT   ROUT   ROUT      s5p2 halo2
228     fs7   ROUT-  ROUT    fs7   ROUT   ROUT    fs7   ROUT   ROUT    fs7    fs7    fs7      s5p3 halo2
240     fs6-   fs6-   fs6-  ROUT-   fs6-   fs6-   fs6-   fs6-   fs6-   fs6-   fs6-   fs6-     s6p0 meteo
252     fs6   ROUT    fs6    fs6    fs6    fs6    fs6    fs6    fs6    fs6    fs6    fs6      s6p1 halo2
264     fs6    fs6    fs6    fs6    fs6    fs6    fs6   ROUT    fs6    fs6    fs6    fs5      s6p2 halo2
276    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT       -      -      -      -     s6p3 halo2/złom
288    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT-     s7p0 halo2
300    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p1 halo2
312    ROUT   ROUT-  ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p2 halo2
324    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p3 halo2
432     fs9    fs9    fs9    fs9    fs5-   fs9                                                n432..n437 halo2/Medea
State: 80*ROUT 46*fs5 35*fs6 28*fs7 5*fs9   executed in 3.3 s
root@szk2:~,0# cluster.state -o -z clust -m
Fri Oct  2 13:21:52 CEST 2015   options: -z clust    -o  -m
144        -      -      -      -      -      -      - 31.5G  31.5G  31.5G  31.5G  31.5G      s4p0 Medea/halo2
156   31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G      s4p1 halo2
168   31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G      s4p2 halo2
180   31.5G  31.5G  31.5G  31.5G  31.5G  31.5G    63G  31.5G  31.5G  31.5G  31.5G   ROUT-     s4p3 halo2
192    ROUT  31.5G   ROUT  31.5G   ROUT  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G      s5p0 halo2
204   31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G   ROUT   ROUT   ROUT   ROUT      s5p1 halo2
216    ROUT  31.5G  31.5G  31.5G   ROUT  31.5G  31.5G  31.5G  31.5G   ROUT   ROUT   ROUT      s5p2 halo2
228   31.5G   ROUT-  ROUT  31.5G   ROUT   ROUT  31.5G   ROUT   ROUT  31.5G  31.5G  31.5G      s5p3 halo2
252   31.5G   ROUT  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G      s6p1 halo2
264   31.5G  31.5G  31.5G  31.5G  31.5G  31.5G  31.5G   ROUT  31.5G  31.5G  31.5G  31.5G      s6p2 halo2
276    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT       -      -      -      -     s6p3 halo2/złom
288    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT-     s7p0 halo2
300    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p1 halo2
312    ROUT   ROUT-  ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p2 halo2
324    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p3 halo2
432    505G   505G   505G   505G       -  505G                                                n432..n437 halo2/Medea
Total: 5.32T on 97 nodes, average: 56.2G   State: 77*ROUT   executed in 3.3 s
root@szk2:~,0# cluster.state -o -z clust -W
Fri Oct  2 13:22:04 CEST 2015   options: -z clust    -o  -W
144        -      -      -      -      -      -      -   12G     8G    12G     8G     8G      s4p0 Medea/halo2
156      8G     8G     8G     8G     8G     8G     8G     8G     8G     8G     8G     8G      s4p1 halo2
168      8G    12G     8G     8G     8G     8G     8G     8G     8G     8G     8G     8G      s4p2 halo2
180      8G     8G     8G     8G     8G     8G     8G     8G     8G     8G     8G   ROUT-     s4p3 halo2
192     12G    12G    12G    12G    12G    12G    12G    12G    12G    12G    12G    12G      s5p0 halo2
204     12G    12G    12G    12G    12G    12G    12G    12G    12G    12G    12G    12G      s5p1 halo2
216     12G    12G    12G    12G    12G    12G    12G    12G    12G    12G    12G    12G      s5p2 halo2
228     12G   ROUT-   12G    12G    12G    12G    12G    12G    12G    12G    12G    12G      s5p3 halo2
252     12G   ROUT    12G    12G    12G    12G    12G    12G    12G    12G    12G    12G      s6p1 halo2
264     12G    12G    12G    12G    12G    12G    12G   ROUT    12G    12G    12G     8G      s6p2 halo2
276    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT       -      -      -      -     s6p3 halo2/złom
288    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT-     s7p0 halo2
300    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p1 halo2
312    ROUT   ROUT-  ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p2 halo2
324    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p3 halo2
432      8G     8G     8G     8G       -    8G                                                n432..n437 halo2/Medea
Total: 1.17T on 114 nodes, average: 10.5G   State: 60*ROUT   executed in 3.3 s
root@szk2:~,0# cluster.state -o -z clust
Fri Oct  2 13:22:17 CEST 2015   options: -z clust    -o  -l
144        -      -      -      -      -      -      -     0      0      0      0      0      s4p0 Medea/halo2
156       0      0      0      0   0.01   0.04      0      0      0   0.06      0   0.01      s4p1 halo2
168       0      0      0      0   0.09      0      0      0      0      0      0   0.12      s4p2 halo2
180    16.8      0   16.9     17      0     17   1.01   16.9     17      0   16.6   ROUT-     s4p3 halo2
192    16.9   16.9     17     17      0     17     10   16.9   16.9      0   16.5   16.8      s5p0 halo2
204    16.7     17   16.8   16.8   16.4      0      0      0      0      0      0      0      s5p1 halo2
216       0      0      0      0      0   0.01      0      0      0      0      0      0      s5p2 halo2
228       0   ROUT-     0      0      0      0      0      0      0      0     15      0      s5p3 halo2
252       0      0   16.4   16.9      0   16.1   7.81   2.48   8.07   7.96   16.9     17      s6p1 halo2
264    16.9   16.7   16.9   7.98      8   7.89   7.99   ROUT      0   8.08   16.7     12      s6p2 halo2
276    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT       -      -      -      -     s6p3 halo2/złom
288    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT-     s7p0 halo2
300    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p1 halo2
312    ROUT   ROUT-  ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p2 halo2
324    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p3 halo2
432       0      0   66.5      0       -     0                                                n432..n437 halo2/Medea
Total: 675 on 115 nodes, average: 5.87   State: 59*ROUT   executed in 3.3 s
root@szk2:~,0# cluster.state -o -z clust -xz: n228.201508: Nie ma takiego pliku ani katalogu

root@szk2:~,0#
root@szk2:~,0# cluster.state -o -z clust -r
Fri Oct  2 13:23:19 CEST 2015   options: -z clust    -o  -r /sys/class/infiniband/mlx4_0/ports/1/counters/port_rcv_data 3
144        -      -      -      -      -      -      - 15.1k  15.7k  15.5k    14k  13.8k      s4p0 Medea/halo2
156   15.9k  14.1k    14k  16.6k  16.8k  13.6k  14.1k  15.8k  15.9k  16.2k  15.6k  13.6k      s4p1 halo2
168   16.3k  16.2k  16.6k  15.2k  15.7k  15.4k  13.5k  15.8k  13.6k  14.3k  14.6k  14.2k      s4p2 halo2
180   14.2k  13.7k  18.2k  6.24k  13.6k  15.7k   738k  14.4k  13.6k  15.8k  14.2k   ROUT-     s4p3 halo2
192   9.24k  7.32k  40.5k  5.77k  5.96k  5.96k  13.5k   7.4k   5.8k  7.41k  5.76k  7.41k      s5p0 halo2
204   10.6k  9.37k  10.1k  8.15k  13.6k  5.76k  5.76k  7.43k  5.96k  5.76k  5.76k  5.76k      s5p1 halo2
216   5.76k  5.76k  7.84k  5.76k  7.23k  5.76k  5.88k  5.76k  6.39k   7.4k   7.4k  8.09k      s5p2 halo2
228    7.4k   ROUT-  7.4k  7.43k   7.4k  8.89k  7.41k   7.4k  7.52k   7.4k  8.68k  9.33k      s5p3 halo2
252   16.8k  9.97k  16.6k  14.8k  15.1k  20.5k  15.4k  16.7k  16.5k   278k    35k    42k      s6p1 halo2
264   18.3k  16.8k  15.7k  7.32k  15.8k  16.5k  16.5k   ROUT  17.2k  20.9k  17.6k  15.2k      s6p2 halo2
276    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT       -      -      -      -     s6p3 halo2/złom
288    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT-     s7p0 halo2
300    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p1 halo2
312    ROUT   ROUT-  ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p2 halo2
324    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p3 halo2
432   13.3k  13.3k  12.7k  13.3k       - 14.1k                                                n432..n437 halo2/Medea
Total: 2.38M on 115 nodes, average: 21.2k   State: 59*ROUT   executed in 4.3 s
root@szk2:~,0# cluster.state -o -z clust -E
Fri Oct  2 13:23:28 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/excessive_buffer_overrun_errors
xz: n230.201508: Nie ma takiego pliku ani katalogu
Total: 0 on 142 nodes, average: 0   State: 2*NSUCH 305*ROUT   executed in 3.8 s
Fri Oct  2 13:23:32 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/link_downed
srv2      1     1  ROUT     1     1     1     1  ROUT     1 NSUCH NSUCH           szk2 halo2 mgs0 mgs1 fs5 fs6 fs7  fs8 fs9   mgs2 mgs3
Total: 7 on 142 nodes, average: 0.0493   State: 2*NSUCH 305*ROUT   executed in 3.0 s
Fri Oct  2 13:23:35 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/link_error_recovery
Total: 0 on 142 nodes, average: 0   State: 2*NSUCH 305*ROUT   executed in 3.8 s
Fri Oct  2 13:23:39 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/local_link_integrity_errors
Total: 0 on 142 nodes, average: 0   State: 2*NSUCH 305*ROUT   executed in 3.0 s
Fri Oct  2 13:23:42 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/port_rcv_constraint_errors
Total: 0 on 142 nodes, average: 0   State: 2*NSUCH 305*ROUT   executed in 3.8 s
Fri Oct  2 13:23:45 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/port_rcv_errors
180       0     0     0     0     0     0     0     0     1     0     0  ROUT     s4p3 halo2
Total: 1 on 142 nodes, average: 0.00704   State: 2*NSUCH 305*ROUT   executed in 3.0 s
Fri Oct  2 13:23:48 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/port_rcv_remote_physical_errors
144       0     0     0     0     0     0     0     0     0    13     0     0     s4p0 Medea/halo2
168       0     0     0     0 1.53k     0     0     0     0     0     0     0     s4p2 halo2
192     117     0     1     0     0 1.41k     0     0     0   102     0     0     s5p0 halo2
204       0     0     0     0     0     1  1.2k     0     0     0     0     0     s5p1 halo2
216       1  1.2k     1     0     0    36  2.3k     0     0 1.13k     0     0     s5p2 halo2
228       0  ROUT     0 1.18k   186     0    12     9    78     0    52     0     s5p3 halo2
252       6   534     0     0     0     0     0     0     0     1     0     0     s6p1 halo2
264       0     2     0   145     5     0     0  ROUT     0     2     0     0     s6p2 halo2
srv2      0     3  ROUT     0   220     0     0  ROUT    20 NSUCH NSUCH           szk2 halo2 mgs0 mgs1 fs5 fs6 fs7  fs8 fs9   mgs2 mgs3
Total: 11.5k on 142 nodes, average: 82.7   State: 2*NSUCH 305*ROUT   executed in 3.8 s
Fri Oct  2 13:23:52 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/port_rcv_switch_relay_errors
xz: n231.201508: Nie ma takiego pliku ani katalogu
Total: 0 on 142 nodes, average: 0   State: 2*NSUCH 305*ROUT   executed in 3.0 s
Fri Oct  2 13:23:55 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/port_xmit_constraint_errors
Total: 0 on 142 nodes, average: 0   State: 2*NSUCH 305*ROUT   executed in 3.8 s
Fri Oct  2 13:23:59 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/port_xmit_discards
144       1     1     1     0     0     0     0     0     0     0     1     1     s4p0 Medea/halo2
156       0     1     0     0     0     0     0     0     1     1     1     1     s4p1 halo2
168       0     1     1     0     0     0     1     1     1     0     1     1     s4p2 halo2
180       0     1     1     0     1     1     0     1     1     0     0  ROUT     s4p3 halo2
192       0     0     0     0     0     0     1     1     1     0     0     1     s5p0 halo2
204       0     0     1     0     1     0     0     0     1     1     1     0     s5p1 halo2
216       1     0     1     0     0     0     0     0     0     1     0     0     s5p2 halo2
228       1  ROUT     0     0     0     0     1     0     1     1     1     1     s5p3 halo2
240       0     1     0     0     0     0     1     1     0     1     1     0     s6p0 meteo
252       0     1     0     0     0     0     0     0     0     1     1     0     s6p1 halo2
264       1     0     1     0     1     1     0  ROUT     0     0     1     0     s6p2 halo2
srv2      3    16  ROUT    22    19    16   251  ROUT    33 NSUCH NSUCH           szk2 halo2 mgs0 mgs1 fs5 fs6 fs7  fs8 fs9   mgs2 mgs3
Total: 414 on 142 nodes, average: 2.92   State: 2*NSUCH 305*ROUT   executed in 3.0 s
Fri Oct  2 13:24:02 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/symbol_error
Total: 0 on 142 nodes, average: 0   State: 2*NSUCH 305*ROUT   executed in 3.8 s
Fri Oct  2 13:24:06 CEST 2015   options:    -Z    -C /sys/class/infiniband/mlx4_0/ports/1/counters/VL15_dropped
Total: 0 on 142 nodes, average: 0   State: 2*NSUCH 305*ROUT   executed in 3.0 s
root@szk2:~,0# cluster.state -o -z clust -U
Fri Oct  2 13:25:25 CEST 2015   options: -z clust    -o  -U
144        -      -      -      -      -      -      -   0.8    0.7    0.6    0.7    0.5      s4p0 Medea/halo2
156     0.5    0.5    0.7    0.8    0.6    0.6    0.6    0.6    0.6    0.6    0.8    0.7      s4p1 halo2
168     0.7    0.5    0.5    0.5    0.6    0.6    0.6    0.7    0.6    0.6    0.5    0.6      s4p2 halo2
180     1.1    0.5    0.8      3    0.5    3.4   16.7    3.4    1.1    0.7    1.1   ROUT-     s4p3 halo2
192     6.1      7    6.5    5.4    3.8    3.3   49.4    8.6    4.9    0.6    7.7    9.3      s5p0 halo2
204     3.2   15.6    9.5    1.9    0.9    1.1    8.8   12.9    4.3   12.4    4.9   10.3      s5p1 halo2
216     3.3    3.1   15.6    1.4    3.9    3.5    8.5    3.3    9.8    9.8    8.2   17.6      s5p2 halo2
228     0.5   ROUT-  17.6    1.6    1.5    0.5      7    1.4    7.2   13.9    5.1      7      s5p3 halo2
252     0.7    0.6    0.8    0.8    0.7   10.2    1.1    0.5    0.5    1.2    0.7    0.9      s6p1 halo2
264     0.9    4.1    1.1    2.3    0.7    3.2    1.1   ROUT    0.5    9.9   12.1    8.3      s6p2 halo2
276    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT       -      -      -      -     s6p3 halo2/złom
288    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT-     s7p0 halo2
300    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p1 halo2
312    ROUT   ROUT-  ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p2 halo2
324    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p3 halo2
432     0.1    0.1    0.5    0.1       -   0.1                                                n432..n437 halo2/Medea
Total: 464 on 115 nodes, average: 4.03   State: 59*ROUT   executed in 3.3 s
root@szk2:~,0# cluster.state -o -z clust -f
Fri Oct  2 13:25:48 CEST 2015   options: -z clust    -o  -f
144        -      -      -      -      -      -      - 7.45G  7.45G  7.45G  7.45G  7.45G      s4p0 Medea/halo2
156   7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G     7G  7.45G      s4p1 halo2
168   7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G      s4p2 halo2
180   7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G   ROUT-     s4p3 halo2
192   7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  STUCK  7.45G  7.45G  7.45G  7.45G  7.45G      s5p0 halo2
204   7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G      s5p1 halo2
216   7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G      s5p2 halo2
228   7.45G   ROUT- 7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G      s5p3 halo2
252   7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G      s6p1 halo2
264   7.45G  7.45G  7.45G  7.45G  7.45G  7.45G  7.45G   ROUT  7.45G  7.45G  7.45G  7.45G      s6p2 halo2
276    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT       -      -      -      -     s6p3 halo2/złom
288    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT-     s7p0 halo2
300    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p1 halo2
312    ROUT   ROUT-  ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p2 halo2
324    ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT   ROUT      s7p3 halo2
432    466G   466G   466G   466G       -  466G                                                n432..n437 halo2/Medea
Total: 3.07T on 114 nodes, average: 27.6G   State: 59*ROUT 1*STUCK   executed in 8.1 s
root@szk2:~,0# cluster.state -o -z clust -g
Fri Oct  2 13:29:05 CEST 2015   options: -z clust    -o  -g
xz: n254.201509: Nie ma takiego pliku ani katalogu
xz: n255.201508.xz: Plik istnieje
xz: n255.201509.xz: Plik istnieje
xz: n256.201508.xz: Plik istnieje
144        -      -      -      -      -      -      -    32     32     31     33     32      s4p0 Medea/halo2
156      34     33     34     33     34     32     32     31     33     34     33     33      s4p1 halo2
168      34     32     34     31     33     31     32     33     34     32     33     34      s4p2 halo2
180      44     33     40     42     33     40     39     40     42     32     41     24-     s4p3 halo2
192      47     44     43     40     33            36     40     39     32     40     40      s5p0 halo2
204      48     45     42     43     42     32     31     31     33     32     31     31      s5p1 halo2
216      36     33     32     33     32     32     32     32     34     33     31     31      s5p2 halo2
228      35       -    32     32     31     32     31     34     33     32     40     32      s5p3 halo2
252      36     35     44     44     35     42     41     33     39     43     41     41      s6p1 halo2
264      47     46     43     41     40     41     40     32     35     42     44     42      s6p2 halo2
276      21     21     21     21     20     20     22     20       -      -      -      -     s6p3 halo2/złom
288   DISAB     24     24     24     22     23     23     23     23     24     23     23-     s7p0 halo2
300      24  DISAB  DISAB  DISAB  DISAB     23  DISAB  DISAB  DISAB  DISAB  DISAB  DISAB      s7p1 halo2
312      23     24-    22  DISAB     22     22     22     22     22     22     22     21      s7p2 halo2
324      23     22     23     22     22     23     22     23     23     23     22  DISAB      s7p3 halo2
432    FAIL   FAIL   FAIL   FAIL       -  FAIL                                                n432..n437 halo2/Medea
Total: 4.84k on 154 nodes, average: 32.2   State: 2* 13*DISAB 5*FAIL   executed in 13.2 s