Large log files chainsaw

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

Large log files chainsaw

Andreas Knecht
Hi everyone,

I would like to use chainsaw with some production logs (with the
filepattern receiver).  Only problem is that these logs tend to be
around 200-300 MB in size (around 1.2-1.8 Million lines).  I've tried
increasing the cyclic buffer size to 500000 and chainsaw became more or
less unusable as soon as I started the receiver to parse the log file.

Has anyone here tried to use chainsaw for similar purposes? Any
recommendations? Are there other gui tools to view logs that perform
better than chainsaw for this task?

Regards,
  Andreas

--
Andreas Knecht
Object Consulting
Level 25, Northpoint, 100 Miller St
North Sydney. NSW 2060
Direct: +61 2 9459 3398
http://www.objectconsulting.com.au/ 


---------------------------------------------------------------------
To unsubscribe, e-mail: [hidden email]
For additional commands, e-mail: [hidden email]

Reply | Threaded
Open this post in threaded view
|

Re: Large log files chainsaw

Stephen Pain

Hi Andreas,

We have large log files as well (between 300MB - 1.5GB per day of pattern layout output).

The solution we use, which has its disadvantages admittedly in terms of performance and disk space, is to use two different appenders - one using pattern layout and the other using xml layout. The xml one is rotated every 50MB, the other is rotated daily.  Support teams use the pattern layout file (outside of chainsaw) for simple tasks and if deeper analysis is required we load the 50MB xmllayout file into chainsaw (50MB ~= 100,000 events).

We also have a JMS appender logging to a non-persistent weblogic jms topic and we use a JMS receiver to monitor the system in realtime occasionally if necessary (but this is mainly because our file logs are on a filesystem that's not easy to access).

Fortunately even with the increased logging overhead from all these appenders, performance is still acceptable, and we only keep the logs for a month before deleting them so space isn't a problem either.

Cheers,
Stephen



                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
             Andreas Knecht <[hidden email]>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
             17/05/2005 01:17                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              To
                                                                                                                                                                                                                                                                                                                                                                                                                        Log4J Users List <[hidden email]>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           cc
                                                                                                                                                                                                     Please respond to                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        
                                                                                                                                                                                     "Log4J Users List" <[hidden email]>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               Subject
                                                                                                                                                                                                                                                                                                                                                                                                                        Large log files chainsaw                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             




Hi everyone,

I would like to use chainsaw with some production logs (with the
filepattern receiver).  Only problem is that these logs tend to be
around 200-300 MB in size (around 1.2-1.8 Million lines).  I've tried
increasing the cyclic buffer size to 500000 and chainsaw became more or
less unusable as soon as I started the receiver to parse the log file.

Has anyone here tried to use chainsaw for similar purposes? Any
recommendations? Are there other gui tools to view logs that perform
better than chainsaw for this task?

Regards,
  Andreas

--
Andreas Knecht
Object Consulting
Level 25, Northpoint, 100 Miller St
North Sydney. NSW 2060
Direct: +61 2 9459 3398
http://www.objectconsulting.com.au/


---------------------------------------------------------------------
To unsubscribe, e-mail: [hidden email]
For additional commands, e-mail: [hidden email]






--

This e-mail may contain confidential and/or privileged information. If you are not the intended recipient (or have received this e-mail in error) please notify the sender immediately and destroy this e-mail. Any unauthorized copying, disclosure or distribution of the material in this e-mail is strictly forbidden.



---------------------------------------------------------------------
To unsubscribe, e-mail: [hidden email]
For additional commands, e-mail: [hidden email]

Reply | Threaded
Open this post in threaded view
|

RE: Large log files chainsaw

sdeboy
In reply to this post by Andreas Knecht
Here are a few recommendations:

- Filter events at the receiver - LogFilePatternReceiver provides a 'filterExpression' parameter.  Only events that match the expression are processed in the UI.

- Modify VM args - get the bundle from the Chainsaw page and run Chainsaw from the command line, adjusting appropriate parameters (heap, gc, etc)

- Make sure the cyclic buffer size is larger than your log file size (using wc -l or another utility)

- Cut the file into pieces and load the pieces one at a time

Scott

-----Original Message-----
From: Andreas Knecht [mailto:[hidden email]]
Sent: Mon 5/16/2005 5:17 PM
To: Log4J Users List
Cc:
Subject: Large log files chainsaw
Hi everyone,

I would like to use chainsaw with some production logs (with the
filepattern receiver).  Only problem is that these logs tend to be
around 200-300 MB in size (around 1.2-1.8 Million lines).  I've tried
increasing the cyclic buffer size to 500000 and chainsaw became more or
less unusable as soon as I started the receiver to parse the log file.

Has anyone here tried to use chainsaw for similar purposes? Any
recommendations? Are there other gui tools to view logs that perform
better than chainsaw for this task?

Regards,
  Andreas

--
Andreas Knecht
Object Consulting
Level 25, Northpoint, 100 Miller St
North Sydney. NSW 2060
Direct: +61 2 9459 3398
http://www.objectconsulting.com.au/ 


---------------------------------------------------------------------
To unsubscribe, e-mail: [hidden email]
For additional commands, e-mail: [hidden email]






---------------------------------------------------------------------
To unsubscribe, e-mail: [hidden email]
For additional commands, e-mail: [hidden email]