-=ace=-

[http://search.4rm.ru] Поисковик по ftp ресурсам нашей сети

Рекомендованные сообщения

Поисковик откликается на http://search.4rm.ru/

Виден только при поднятом vpn.

Работает в режиме 24x7.

 

Фичи:

1. Индексный поиск по ключевым словам.

2. Возможность искать на русском, названия файлов написанных транслитом(галка "in translit"). Пример.

3. Возможность искать по началу слова(убрать галку "Слова целиком").

4. Возможность искать либо только директории, либо только файлы, либо по типам файлов(Видео, Аудио,Текст и тд).

5. Статистика по ключевым словам вашего происка.

6. Мониторинг работоспособности ftp(каждые 15 минут)

7. Просмотр содержимого ftp через поисковик(включая мертвые)

8. Возможность добавления ftp серверов для индексации любым желающим.

9. Автоматическая обновление описаний сервера(можно отключить). Берется первая строчка Welcome Message от ftp сервера.

10. Индивидуальная настройка параметров индексации для каждого сервера(период переиндексации и желаемое время начала работы индексера).

11. Возможность просмотреть список новых файлов и папок, добавленных при последней переиндексации сервера.

12. Просмотр лога последней работы индексера для каждого сервера (log.gif).

13. Поиск по размеру файла.

14. Сети, районы и пиринги между ними.

15. Древовидный просмотр содержимого ftp сервера (browse.gif)

 

Параметры индексации:

1. Индексация новых серверов: в течении ближайшего часа после добавления.

2. Период переиндексации серверов: второе значение в колонке 'Актуальность'. Значение по умолчанию - 7 дней.

3. Поиск серверов, для которых необходима переиндексация, и запуск оной: каждые 15 минут.

4. Предпочитаемое время индексации сервера(например 3 часа ночи) означает: что как только подойдет время индексации, он будет ждать 3:00, и где-то в 3-4 ночи начнет индексировать ваш сервер. Если ваш сервер не будет доступен в это время, либо во время индексации произойдет ошибка, то он будет пытаться переиндиксировать его каждый последующий час.

5. Обслуживание базы: раз в сутки в 6:00. В этот момент происходит чистка и удаление мертвых ftp, принудительный ребилд индексов базы, подсчет результатов поиска по ключевым словам и удаление ключевых слов с нулевым результатом.

6. Если сервер небыл онлайн больше 30 дней, то его содержимое автоматически удаляется из поиска.

7. Если сервер небыл онлайн больше 45 дней, то он автоматически удаляется из списка серверов.

Владельцам серверов: Если Вы хотите поменять настройки индексации - отпишите мне в личку.

 

 

Условные обозначения в интерфейсе:

1. Квадратики около имени сервера:

on.gif - работает.

ghost.gif - работает, но скорей всего превышено количество пользователей.

off.gif - не работает.

 

2. Колонка 'Актуальность':

7 дн. | 14 дн. - означает, что в последний раз он был проидексирован 7 дней назад. Период переиндексации - 14 дней.

3 дн. | 3 дн. - наклонный шрифт значит, что сервер поставлен в очередь на переиндексацию.

3 дн. | 3 дн. - наклонный толстый шрифт значит, что сервер в данный момент индексирутся.

 

3. Цвет строки во всех таблицах: светло серый - сервер(файл на сервере) доступен; темно-серый - сервер выключен

 

 

Жду Ваши комментарии, пожелания, идеи по улучшению в этом топике ;)

 

PS: это сообщение будет постоянно изменяться.

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поисковик откликается на http://search.musoft.ru/ и http://10.197.10.0 (search.musoft.ru=10.197.10.0).

 

На данный момент в базе 31 сервер, из них 25 проиндексированы. Включая монстров warhead.corbina.ru и ftp1.corbina.ru.

Поиск осуществляется по 365289 файлов суммарным объемом 7701.95 Гб.

 

Фичи:

1. Мониторинг работоспособности фтп(каждые полчаса)

2. Просмотр содержимого ftp через поисковик(включая мертвые)

3. Возможность добавления ftp серверов для индексации любым желающим.

 

Известные баги:

1. Поиск русских названий чувствителен к регистру.

Я с этим борюсь, но если у кого есть идеи как это победить, то пишите в личку (FreeBSD 6.0, PHP-5.1.2, PostgreSQL-8.1.3. База в UTF-8).

2. Иногда рабочие сервера показываются мертвыми. Это связано с тем, что сервер считается работающим, когда в него можно залогиниться. Поэтому сервера с ограничением по количеству сессий

на 1 IP могут отказывать в логине сканеру(например, если я что-нибудь качаю с этого сервера).

 

Индексация новых серверов производится в ручную(в ближайшее время повешу на автомат)

Переиндексация будет где-то раз в 2 недели.

 

Если есть комментарии, пожелании, идеи по улучшению - пишите в этом топике :)

прикольно сделали

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Нормально работает. Мне понравилось.

Изменено пользователем autofox

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Change Log

 

1. Полностью переписан сканер доступности серверов.

Благодаря этому:

1. Уменьшен период проверки до 15 минут

2. Исчез баг:

Иногда рабочие сервера показываются мертвыми. Это связано с тем, что сервер считается работающим, когда в него можно залогиниться. Поэтому сервера с ограничением по количеству сессий на 1 IP могут отказывать в логине сканеру(например, если я что-нибудь качаю с этого сервера).

3. Автоматически обновляется описание(первая строчка сообщение welcome).

Если ктото из владельцов серверов не хочет менять welcome message, но хочет иметь нормальное описание. Пишите в личку, организую ;)

 

2. Проиндексированы еще 2 монстра mvic.corbina.ru & grigav.corbina.ru.

проиндексированы не полностью:

10.197.29.161 - после некоторого времени индексации выдает "Not logged in, unauthorized IP address."

10.197.23.222 - странно настроены симлинки? при переходе в папку /VIDEO/ он сообщает что перешел в папку /d:/ftp/VIDEO/ но туда не пускает напрямую. В принципе думаю это вылечить чуть переделав индексер

 

3. Мелкие визуальные изменения.

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Change Log

 

Сделан индексный поиск по ключевым словам. Благодаря этому:

1. Поиск теперь осуществлятся на порядок быстрее чем раньше(простой ilike).

2. Исчез баг "Поиск русских названий чувствителен к регистру."

3. Появилась возможность искать на русском, названия файлов написанных транслитом(галка "in translit")Пример..

4. Возможность искать по началу слова(убрать галку "word only").

5. Статистика по ключевым словам вашего происка (Keys).

 

Чуть доработан интерфейс.

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я 29.161. Индексирование будет всё время идти или один раз? Просто когда бесконечные CWD - это комп грузит немеренно. Поэтому я забанил IP.

 

upd: IP пока разбанил, если будет слишком часто - опять забаню, хотя сервис и неплохой. Я писал слабее (до индексирования руки так и не дошли =).

Изменено пользователем kanavius

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я 29.161. Индексирование будет всё время идти или один раз? Просто когда бесконечные CWD - это комп грузит немеренно. Поэтому я забанил IP.

Как написано в описании, переиндексация будет раз в 2 недели для серваков с большим содержанием файлов(приблизительно больше 10000), таккак переиндексация сильно напрягает и мой сервер(например mvic.corbina.ru я индексил 2 часа) . Более мелких не чаще раза в неделю.

Ваш попадает в категорию крупных :lol:

 

Я сейчас поставлю на индексирование Ваш сервер, пожалуйста, дайте ему завершить работу :lol:

Либо напишите время, когда можно его будеть полностью проиндексировать :lol:

 

UPD: Спасибо :lol:

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Переиндексирование уже завершилось?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Переиндексирование уже завершилось?

вчера в 21:00 .... заняло гдето 30 минут :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Индексация новых серверов производится в ручную(в ближайшее время повешу на автомат)

Переиндексация будет где-то раз в 2 недели.

Жду Ваши комментарии, пожелания, идеи по улучшению в этом топике :P

Очень бегло посмотрел :P. Понравилось.

Индексацию круглосуточных сервером лучше делать глубокой ночью и в будни. Скажем в период времени от 3 до 7. Или днем. А может даже спросить у держателей ;-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Индексацию круглосуточных сервером лучше делать глубокой ночью и в будни. Скажем в период времени от 3 до 7. Или днем. А может даже спросить у держателей ;-)

Что ночью - это да :P

А вот если держатели скажут в какое время можно производить индексацию, и как часто они хотели бы чтобы она проводилась, то это былобы просто замечательно :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Гость Алексей Сергеевич

-=ace=-, по логам моего фтп, нулевая загрузка канала где-то с 03-30 ночи до 07-30 утра... практически стабильно :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

-=ace=-, по логам моего фтп, нулевая загрузка канала где-то с 03-30 ночи до 07-30 утра... практически стабильно :lol:

Спасибо B) А как часто вы бы хотели чтобы ваш сервер переиндесировали?

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Гость Алексей Сергеевич
А как часто вы бы хотели чтобы ваш сервер переиндесировали?

ну.. у меня где-то раз-два в неделю что-то свеженькое выкладывается..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо :blink: А как часто вы бы хотели чтобы ваш сервер переиндесировали?

2 раза в неделю. Не реже

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Хороший поиск, нашел то что не ожидал найти :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

он у тебя содержимое архивов сканирует???

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Change Log от 6.05

 

1. Поисковик переведен на русский язык. Местами коряво. Как перевести в 2х словах "In translit", чтобы с ходу было понятно, что это значит, я вообще не знаю. Так что если найдете ошибки или будут идеи по лучшему переводу - буду рад услышать.

2. В очередной раз переписана проверялка серверов. Она стала многопоточной. Фактически сейчас можно мониторить сервера хоть раз в 5 минут, но я пока не вижу в этом смысла.

3. Добавлено новое состояние сервера. Когда он отвечает, но сразу выкидывает.

4. Убрана галка поиска "Искать только в online серверах". Вместо этого результат поиска сортируется относительно состояния сервера.

5. Повешен на автомат переиндексация ключевых слов поиска(подробности в первом сообщении).

6. Изменена форма добавление серверов. Теперь для каждого сервера можно выставить свои настройки индексации.

7. Наконец то переписан индексер(!) и повешен на автомат. Он тоже стал многопоточный(один поток=один сервер). Подробности параметров индексации читайте в первом сообщении.

 

Всё ... мои идеи по новым фичам иссякли. Осталось чистить код, отлавливать баги и оптимизировать запросы :) Ну и еще может быть таки поработать .. а то всю неделю только им и занимался :)

Если у кого-то появятся идеи по улучшению - welcome! :lol:

 

Changelog от 7.05

 

1. Добавил новую фичу- просмотр списка файлов, добавленных при последней переиндаксации сервера.Теперь стало удобно отслеживать новинки :)

2. Отловил и исправил глюк со временем начала индексации. Теперь он ведет себя как в описании.

3. Отловил и исправил глюк с буквой `ё` в индексе поиска. Теперь она везде читается как `e`

Ну и по мелочи ....

 

 

 

он у тебя содержимое архивов сканирует???

Нет ... иначе мне надо было бы закачивать их (архивы) к себе на сервер, потом распаковывать и тогда уже индексить.

А это уж слишком накладно.

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Changes 12.05.06

 

1. Первый владелец ftp, который сам себя добавил ... встречаем: ftp://10.197.36.21 :)

2. Сервера, владельцы которых не высказали свое предпочтение по поводу частоты переиндексации, переведены на 7-ми дневный период. Период по умолчанию так же стал 7-мь дней.

3. Добавлен и проиндексирован ftp://10.197.17.7. Сервер не анонимный .... если вы нашли что либо на нем, то зайдите на http://10.197.17.7 и возьмите логин/пароль на первой странице.

4. Кандидаты на удаление из поиска(останется только мониторинг):

A) ftp://10.197.36.175/: не работает в passive mode. Скорей всего агрессивный firewall. Единственно как я смог в него войти - это через Far c passive off. Но ни руками, не через индексер результата не добился :D

В) ftp://10.197.23.222: криво настроен ftp-сервер. При переходе в директорию он сообщает физический путь на сервере. пример:

Connected to 10.197.23.222.
220 Serv-U FTP Server v6.1 for WinSock ready...
User (10.197.23.222:(none)): anonymous
331 User name okay, please send complete E-mail address as password.
Password:
230 User logged in, proceed.
ftp> dir
200 PORT Command successful.
150 Opening ASCII mode data connection for /bin/ls.
drw-rw-rw-   1 user	 group		   0 May  2 22:35 .
drw-rw-rw-   1 user	 group		   0 May  2 22:35 ..
d---------   1 user	 group		   0 Jan  1  1980 BABYLON5
[... SKIPED ...]
drw-rw-rw-   1 user	 group		   0 May 11 15:48 VIDEO
drw-rw-rw-   1 user	 group		   0 Jun 12  2004 _MUSIC
226 Transfer complete.
ftp: 1007 bytes received in 0,00Seconds 1007000,00Kbytes/sec.
ftp> cd video
250 Directory changed to /d:/ftp/VIDEO
ftp> cd ..
250 Directory changed to /d:/ftp
ftp> cd ..
250 Directory changed to /d:
ftp> dir
200 PORT Command successful.
150 Opening ASCII mode data connection for /bin/ls.
dr--r--r--   1 user	 group		   0 Apr  9 11:40 Downloads
drw-rw-rw-   1 user	 group		   0 May  2 22:35 ftp
226 Transfer complete.
ftp: 126 bytes received in 0,00Seconds 126000,00Kbytes/sec.
ftp>

С) ftp://10.197.31.102: Та же проблема, что и в предыдущем. Перестал быть анонимным(?): 530 Not logged in, home directory does not exist.

D) ftp://10.197.8.8: за 2 недели появился один раз, причем машина включена, но ftp не отвечает.

5. Убрал у всех галку "Обновлять описание автоматически". Похоже, что она была не очень понятна.

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В) ftp://10.197.23.222: криво настроен ftp-сервер. При переходе в директорию он сообщает физический путь на сервере. пример:

Скорее всего сервер поднят на Serv-U, и не поставлена галка «Lock user in home directory». Впринципе не вижу криминала для индексера.

 

5. Убрал у всех галку "Обновлять описание автоматически". Похоже, что она была не очень понятна.

А зря. Мож я его буду менять периодически.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Скорее всего сервер поднят на Serv-U, и не поставлена галка «Lock user in home directory». Впринципе не вижу криминала для индексера.

Прав ... "Serv-U FTP Server v6.1 for WinSock ready..." :rolleyes: Криминала конечно нет,но придется переписывать индексер из-за одного сервера, а со временем у меня после майских максимум - на отлов багов :rolleyes:

Смог проиндексить, но закачать по линку нельзя: пример

Не смог перейти директорию: пример

 

А зря. Мож я его буду менять периодически.

Я её не совсем убрал :rolleyes: Если быть точнее - снял :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Changes:

1. Проведена амнистия банов по ip.

2. Удалены из поиска(остался только мониторинг): ftp://10.197.8.8, ftp://10.197.36.175

3. ftp://10.197.31.102, ftp://10.197.23.222 оставлены в поиске. Надеюсь в ближайшее время таки перепишу индексер под них. А пока, если вы найдете что-либо на этих серверах, то вы не сможете скачать по линкам представленным в поисковике. Для этого вам придется зайти на них через браузер и пользуясь полученным в поисковике линком, найти то что вы хотели скачать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Блин .. ну хоть бы один человек написал, что поиск не работает :unsure:

Если бы я не заметил, что утром я видел те же Last 10 что и сейчас ... то он и дальше бы не работал :lol:

 

upd: я начал подготавливать базу к новой версии индексного поиска, когда меня отвлекла работа... и давно забыл что изменил некоторые вещи, которые требуют правки фронтенда ...

На будущее .. если ошибка одна и таже больше 10 минут .. значит я где-то скосячил и не проверил, что данная версия рабочая .. отпишитесь плиз...

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В связи с upgrade железа и системы на серваках(make installworld), поисковик и ftp не будут доступны в течении нескольких часов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не работаеть!

Я сейчас в сервер новый винт вставляю ... минут через 10-15 заработает :D

 

UPD

Вроде всё ... с железом почти покончено ... но вообще было весело...

при make installworld на gate выяснилось что вместо заказанной FreeBSD 5-CURRENT, я cvsup-ил 7-CURRENT, которая, что логично, оказалось настолько сырой, что подключение к инету вызывал kernel panic. В результате прошлую ночь я переставлял gate.

 

Результат:

gate(10.197.10.0) - получил FreeBSD 6.0 (был 5.3)

media(поисковик) - получил SATA raid контроллер + 2 винта (300Gb+250Gb)

База поисковика перенесена на SATA винт, по-идее должно работать побыстрее.

Осталось найти и купить ему планку PC-133 512Мб и всем будет счастье .. ему тривильно не хватает его 512Мб памяти.

 

Ftp заработает в ближайшие дни(завтра-послезавтра) .. мне нужно еще сутки-двое на копирование. В результате - всё видео будет доступно круглосуточно. На моей машине(которая иногда выключается) останутся инсталяции софта, игры и музыка.

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А мак-то тоже можно поменять. Да и банить за поиск клубнички...Ну...Не то это:angry:

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
А мак-то тоже можно поменять.

Можно ... но многие ли знают как это делать? B)

Да и банить за поиск клубнички...Ну...Не то это:)

В описании я обьяснил за что и почему:

1. Её тривильно нет в свободном доступе.

2. Первый человек, которого я забанил и который меня и сподвиг на баны, начал тупо переберать из ftp://10.197.26.43/=Фильмы4=/=ХХХ=/ все названия файлов в поисковике. Поэтому я и написал "упорный ищущий" .

Ну и моментальный бан получили люди за поиск детской порнографии :lol:

Изменено пользователем -=ace=-

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну про детскую это без вопросов. Верно.

Слу? А вот просто запрос типа "елена беркова " так грузит сервак? Или просто их так много?( конкретно не сталкивался так что этот вопрос совсем не стёб:(

Да пусть ищут и не найдут<_< Так ведь даже забавнее:)

зы: поиск очень нравится. Просто отлично:(

зы2: про детское порно: слу.....ради прикола:) в ответ на подобные запросы выводить строку типа: " вы искали детское порно. ваши данные были преданы в фсб. ждите. скоро за вами приедут . "

понятно что тупо. Но кого-то может и зацепить:( Забавно выйдет:())))))))))))

Изменено пользователем snegniy

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Слу? А вот просто запрос типа "елена беркова " так грузит сервак? Или просто их так много?( конкретно не сталкивался так что этот вопрос совсем не стёб:(

Да пусть ищут и не найдут<_< Так ведь даже забавнее:(

Сервак это не грузит ... но тут 2 причины:

1. Я баню только упорных, которые не верят, что в сети оной нет и продолжают генерить кучу запросов к поиску в надежде ее найти. Это не сильно напрягает поисковик, но всё же.

2. Немаловажная причина - это наличие Last 10. Мне не хотелось бы отказываться от этой фичи, но если дать упорным искать, то весь Last 10 будет забит поисками клубнички. Не знаю как Вам, а мне былобы не очень приятно заходить и видеть сплошные sex, porno и прочее.

зы: поиск очень нравится. Просто отлично:(

Спасибо :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас