Программа для создания образца журнала для подачи в logstash?

Я написал небольшую java-программу, которая генерирует несколько фиктивных журналов (в основном записывает данные в текстовый файл). Теперь я хочу передать эти данные в стек ELK. По сути, logstash должен считывать эти данные из txt-файла, и я хочу визуализировать эти изменения в кибане, просто чтобы почувствовать это.

Что я в основном хочу сделать, так это изменить скорость, с которой моя программа записывает фиктивные журналы в txt-файл, чтобы я мог видеть изменения в кибане.

Я только начал изучать стек ELK, и это может быть совершенно неправильный способ проведения такого анализа. Пожалуйста, предложите, есть ли другие лучшие способы сделать это (учитывая, что у меня нет реальных журналов для работы прямо сейчас)

Изменить: @Вал

input {
    generator {
        message => “’83.149.9.216 - - [17/May/2015:10:05:03 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36””
        count => 10
    }
}

Итак, вот мой logstash.conf:

input {

 stdin { }

}


filter {
  grok {
    match => {
      "message" => '%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}'
    }
  }

  date {
    match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]
    locale => en
  }

  geoip {
    source => "clientip"
  }

  useragent {
    source => "agent"
    target => "useragent"
  }
}

output {
  stdout {
codec => plain {
                        charset => "ISO-8859-1"
                }

}
  elasticsearch {
    hosts => "http://localhost:9200"
    index => "apache_elk_example"
    template => "./apache_template.json"
    template_name => "apache_elk_example"
    template_overwrite => true
  }
}

Теперь после запуска elasticsearch и kabana я делаю:

cat apache_logs | /usr/local/opt/logstash/bin/logstash -f apache_logs

где apache_logs загружается из моей Java-программы:

public static void main(String[] args) {
    // TODO Auto-generated method stub
    try {
        PrintStream out = new PrintStream(new FileOutputStream("/Users/username/Desktop/user/apache_logs"));
        System.setOut(out);
    } catch (FileNotFoundException ex) {
        System.out.print("Exception");
    }
    while(true)
    //for(int i=0;i<5;++i)
    {
        System.out.println(generateRandomIPs() + //other log stuff);
        try {
            Thread.sleep(1000);                 //1000 milliseconds is one second.
        } catch(InterruptedException ex) {
            Thread.currentThread().interrupt();
        }
    }
}

Итак, вот проблема:

Kibana не показывает мне визуализацию в реальном времени, т.е. когда моя java-программа передает данные в файл apache_log, она мне их не показывает. Он отображается только до тех пор, пока какие-либо данные уже не были записаны в «apache_log» во время выполнения:

cat apache_logs | /usr/local/opt/logstash/bin/logstash -f apache_logs