GetKonkurs :: Все о сайте :: Форум :: Independent Games Developers Contests

public class Main {

    public static void main(String[] args) throws IOException {

        getKonkurs("http://igdc.ru/konkurses/", "", 0);

    }



    static  void getKonkurs(String link, String place, int level) throws IOException {

        Document html = Jsoup.connect(link + place).get();

        Elements elements = html.body().getElementsByTag("a");



        for (Element e : elements) {

            String text = e.text();

            if (!text.equals("Parent Directory")) {

                if (FilenameUtils.getExtension(text).equals("")) {

                    new File(place + text).mkdirs();

                    getKonkurs(link, place + text + "/", level +=1);

                } else {

                    for (int i = 0; i < level; ++i) System.out.print('\t');

                    System.out.print(text+"...");

                    URL url = new URL(link + place + text);

                    File file = new File(place + text);

                    if (!file.exists()) {

                        FileUtils.copyURLToFile(url, file);

                    }

                    System.out.println(" OK");

                }

            }

        }

    }

}

Оказалось не все конкурсы разбиты на архивы. Есть папки и файлы с отдельными играми. Также отдельная папка для скриншотов.

Общий размер получился 3,15 ГБ (3 388 023 716 байт)
Самый тяжелый конкурса 127_turnbyturnii.rar 182 МБ (190 968 710 байт)
Легкий конкурс pi_div_4.rar 223 КБ (229 235 байт)

Кому нужно, можете воспользоваться программкой и скачать все архивы, качается все в папку с программой.
Запускать через start.bat или java -jar GetKonkurs.jar
Внимание! Если случайно запустите просто GetKonkurs.jar двойным щелчком, программу станет работать в фоновом режиме, прогресс скачивания в консоли не увидите!

Также программу можно собрать в Мавене: mvn compile assembly:single

1622.zip [ 541 ]

1622.zip [ 544 ]

Опубликовано 18.04.2016 08:42 (9 лет назад) #

Я бы не стал нагружать сервант повторной скачкой плюс выбирать лимиты трафика (предлагать это делать всем тоже не очень хорошо), имхо стоит этот готовый 3гб архив залить на торрент, или как-то обновить тот старый торрент, который проскакивал тут, и соответственно ссылку для скачки здесь оставить, вместо программы.

редакция от phomm, 18.04.2016 08:43