TUTORIAL: INSTALLING ALTSE (PRE-BETA2)
======================================
INDEX
1. INTRODUCTION
2. EXTRACTING THE PACKAGE AND BUILDING BINARIES
3. INSTALLING ALTSE FOR BASIC CONFIGURATION
4. MANUALLY CREATING DIRECTORIES (OPTIONAL)
5. APACHE CONFIGURATION
6. CRAWLING WEBSITES
7. CREATING A SEARCHABLE INDEX
8. CREATING A SIMPLE IMAGE SEARCH INDEX
=======================================================
(C) 2006-2012 Jari Tuominen (jari.t.tuominen@gmail.com).
Note:
FOR DEMO, SEE:
https://www.facebook.com/ALTSEPROJECT/
PLEASED TO ANNOUNCE:
Altse Web crawler program now supports SSL (HTTPS).
Many features remain undocumented at this
experimental release.
New CGI-side configuration at:
altse/html/cgi/cfg/
=======================================================
1. INTRODUCTION
Introduction & requirements
ALTSE is an alternative search engine technology. It can index up to a
couple million Web sites. But it's relative page database can sustain
relatively infinite number of pages in several pg db's/indexes,
file system requirements are often the worst woes to Altse.
The project at the moment should provide some value of interest for
those studying the matter, or considering in future to contribute
or get a provided service in relation to this project.
Current focus on the development is to build a more versatile search engine.
A search engine with various ways to process data and produce for example
RSS/XML feeds from almost any HTTP/HTML -websites.
ALTSE is a project entirely made by Jari Tuominen (jari.t.tuominen@gmail.com),
a Finnish software designer/engineer.
Posted demo URL is available at, updated regular-basis:
https://www.facebook.com/ALTSEPROJECT/
(often under development, updated regularly)
BIG DEAL NOTE:
REMEMBER TO RUN AS ROOT:
bash ./su_aptget_install.sh
ALTSE is per default configured to run on a modern CPU-based machine with
at least 80 gigabyte hard disk, and 1024 Mb of RAM (512 Mb on dedicated servers).
It is at an early beta stage, therefore no great deal of support documents
has been written for it so far.
The easiest way to install it is to create user name "vai" in your system,
so we are going to follow this advice in this tutorial.
If you DO NOT have one of the required programs installed (listed below),
you should install these first.
Requirements
- Linux System (Debian/Ubuntu -based systems preferred)
- screen
- Perl
- Apache
- Lynx
- wget
- zlib-dev
- enough free disk space (80 gigabytes is enough for a nice demonstration)
- 7200 RPM disk
- 32-bit development libraries of GNU LIBC
NOTE: configure Apache2 to enable user directories.
There is never too much memory, I have tested ALTSE on a 1500 Mb RAM system
and it happily consumed all the memory, simply because the CCR was
configured to run way too many processes at once.
Also a RAID0 is recommended if the search engine's website
traffic will be high.
To rebuild Altse you need:
- gcc (uses 32-bit code at the moment)
- libc
- libc-dev
- zlib
- zlib-dev
COMPILATION
IMPORTANT NOTE:
for an IA-64, it is recommended to build the binaries
on an IA-32 platform, and then copy
f.e. ("tar -c altse/*|gzip -9 > binarydist.tar.gz").
the compiled binaries to the IA-64 machine - the easiest way.
Or configure the GCC to compile 32-bit binaries properly
(not necessarily as easy as it sounds).
2. EXTRACTING THE PACKAGE AND BUILDING BINARIES
Extracting the tarball and rebuilding binaries
Extract the altse -tarball into your home directory,
so that there will be
/home/vai/altse.
Also you may want to rebuild the binaries of Altse tools to match your system:
cd /home/vai/altse/src
./build
./build2
./build3
YOU NEED 32-BIT LIBRARIES FOR F.E. DEBIAN TO BUILD THE TOOLS
OR
just simply run (RECOMMENDED):
./ba
("ba" stands for Build All)
Now you should have everything built to match your architecture.
3. INSTALLING ALTSE FOR BASIC CONFIGURATION
Setting up basic configuration
You can either run install.pl (yes, it is in this directory),
or use the way below (which maybe outdated, script is NOT).
BASIC SYSTEM AUTOMATIC INSTALL
cd ~/altse
perl install.pl
(now includes experimental root installation, which installs
needed apt packages. USE AT YOUR OWN RISK ONLY! NO WARRANTY
OF ANY KIND IS PROVIDED.)
BASIC SYSTEM MANUAL INSTALL
Next thing is add /home/vai/altse/bin to your user's path (IMPORTANT).
Add following lines to your /home/vai/.bashrc and /home/vai/.bash_profile:
PATH=$PATH:/home/vai/altse/bin
export PATH
(remember to logoff, and login to get the effects)
Become a superuser, nano /etc/altse.conf (IMPORTANT, too)
Enter following line in the file and save it:
/home/vai/db
Exit the superuser mode, relogin to your vai -user account, so that you get
the updated PATH
4. MANUALLY CREATING DIRECTORIES (OPTIONAL)
This is useful if you want to later create (for some reason)
the directories.
Creating necessary paths and files
Go to your home folder (/home/vai), and
run following script to create
the necessary directories:
cd ~; altse/bin/mkdb.sh
To reset whole database run
(OK to run at the beginning, too):
altse/bin/altse_reset.sh
5. APACHE CONFIGURATION
Note: currently we are only supporting Apache 2.x.
Adding necessary Virtual Host to Apache
(run apache2ctl restart after this, in 2.x)
In Apache 1.3.x / Apache 2.x:
PRESENT
*** FOR APACHE CONFIGURATION SEE DIRECTORY "apache". ***
Replace altse.vunet.org with your own domain
(also manually edit code at altse/html/cgi,
you also have to create new graphics at altse/html/www,
naturally, and you may modify the stylesheet to suit your needs).
Then go to edit the script, in the beginning there are settings, change
these to match yours:
nano /home/vai/altse/bin/cgi-text.pl
6. CRAWLING WEBSITES
NEW !:
Use "hae" -command to crawl websites apart from the ccr automation.
SHORTLY PUT:
build_www_dir.pl ; buildpageids2fn.pl -i 0 ; darcreator -i 0 ; wi -i 0 -o
To be able to hae any websites to your system, do following things:
go to /home/vai/db/www:
hae http://www.archive.org -f ### -f = as fast as possible,
### may violate robot rules
or, if you want to follow the slow hae rules, just type shorter one:
hae http://www.archive.org
You can also specify to download only a specific path from a website:
hae http://www.archive.org -d "/details/"
Crontabs at crontab folder implement option "-p
(crawls only page with it's links, good for news robot):
hae http://www.archive.org -p
To see options:
simply run "hae" without any parameters.
Same applies for is, inde, wi, buildpageids2fn.pl, etc.
(almost all programs in Altse)
After crawling enough pages (set your own limit what is enough):
see file: README_FIRST_CRAWLING
If you have multiple websites crawled already, you can run page ranking
rank
7. Centralized Crawl Management (ccr)
This is the actual crawling system that will crawl stuff, and automatically
spawn a HCPU to process crawled webpages. All webpages will be put in
/home/vai/db/pickup
cd /home/vai/db
echo "http://www.archive.org" >> todo.txt
echo "http://www.arm.com" >> todo.txt
echo "http://www.linux.com" >> todo.txt
echo "http://www.linux.org" >> todo.txt
echo "http://www.indymedia.org" >> todo.txt
Then simply run ccr:
screen
ccr
It will automatically go to the right path now, as it knows the
configuration.
Each crawler process will run in it's own screen.
To stop crawling, just type following commands:
killall ccr; killall crawl; killall lynx
NOTE: ccr does not automatically run rank -executable to calculate the page
ranks, so you have to do this manually or add it to the crontab to be ran
every hour.
To match your systems's configuration and requirements, currently Altse is
configured to run on a 1,8 GHz AMD with 80 gigabyte hard disk, and 512 Mb of
RAM.
You HAVE to edit /home/vai/altse/bin/crawl (in the beginning there is
necessary setttings), also /home/vai/altse/bin/ccr to make the crawler
function properly.
The amount of processes it spawns equals the speed of web crawling.
Currently each crawler process eats about 512K to 10 megabytes of space, it
depends entirely on the crawl -program's settings how much RAM space it will
consume -- basically if you put the memory limit very low, it will stop
crawling a website after a while, and you will get an unfinished version of
the website.
7. CREATING A SEARCHABLE INDEX
After you have crawled many websites,
or just enough for you, do following:
Run (to stop crawling, you crawled
some pages already, right?):
STOP_CRAWL.sh
Next, do following
(note: 0 (zero) is the index we use)
update_www_dir.sh
buildpageids2fn.pl -i 0
dictwipe 0 # clears up the index (must do before indexing a new one)
cltmp # clears up temporary files/indexes (usually smart to do)
wi -i 0 -o # -o = optimize for speed, uses index 0: -i 0
See crontab scripts for usage of these scripts in a more useful/versatile way.
Note: If you don't use option "-o", searches will be considerably slower.
NOTE2: Currently you SHOULD NOT build searchable indexes with "wi" without -o,
otherwise it may create broken indexes.
(WEB FRONT END)
Then you can go to altse/html/cgi/indexnames.txt,
and edit the file with your favorite editor.
The format is simple:
[INDEX NUMBER]
[NAME FOR INDEX]
[..]
[..]
*more*
This will appear in the search engine.
That's all for basic indexing
If you want to build a specific index
(this is VERY USEFUL, in this let's use index 1,
we assume update_www_dir.sh has been executed recently):
buildpageids2fn.pl -i 1 "www.linux.com"
wi -i 1 -o
buildpageids2fn.pl -i 2 "www.linux.org|www.indymedia.org"
wi -i 2 -o
Now we have www.linux.com at index 1, and
www.linux.org & www.indymedia.org at index 2.
(REMEMBER TO USE QUOTES "like|this" for URLs)
You may defragment an index and speed up searches in following way:
defrag all -i 0
mkdix all -i 0
Note: Defragmenter and mkdix has been fixed.
8. CREATING A SIMPLE IMAGE SEARCH INDEX
LAUNCHING DOWNLOADING OF IMAGES OF CRAWLED PAGES.
NOTE: this works after you have ruan buildpageids2fn.pl
to build relative index of pages (see ABOVE),
in other words: you need the cached WWW-pages to do this.
Run first to get help:
DownloadImages.pl
Then you understand, you have to run:
DownloadImages.pl -i 0
Then run simple image indexer:
BIM.pl -i 0
(you can run BIM.pl without parameters,
to get help, as well).
9. CREATING THE INTERNET DIRECTORY
Google for structure rdf u8, dl both files mentioned below.
Both are gzipped.
Extract the necessary files:
unrdf structure.rdf.u8
unrdf content.rdf.u8
Then run dirindexbuild.sh for the content management system to catch up.
...
Altse Internet Search Engine (альтернативный поиск в Интернете)
================================================== ========
Это проект с открытым исходным кодом, основанный на лицензии LGPL.
Бесплатно для некоммерческих целей (включая благотворительность и т. Д.).
ПУБЛИКАЦИЯ Vunet8.org (Altse Demo) И проект Altse ПРЕДПОЛАГАЮТ СВОБОДУ РЕЧИ,
И ОТНОСИТЕЛЬНО ЗАЯВЛЕННЫХ ЗАКОНОДАТЕЛЬСТВ В ВАШЕЙ ОТВЕТСТВЕННОЙ СТРАНЕ:
Первая поправка (поправка I) к Конституции Соединенных Штатов
не позволяет Конгрессу принимать какие-либо законы, касающиеся установления религии,
запрет на свободное осуществление религии или сокращение
свобода слова, свобода печати, право на мирную сборку,
или ходатайствовать о предоставлении правительственных компенсаций в виде жалоб. Он был принят
15 декабря 1791 года, в качестве одной из десяти поправок, которые составляют Билль о правах.
***
Testamonial от автора Яри Тапио Туоминен (300580-XXXX):
Четверг 4 января 2018, 19:44 GMT + 02.
Я болею в эти дни, после операции на животе я
в состоянии продолжать эту конкретную работу по программному обеспечению
лучше, хотя у меня мало денег.
По-видимому, пару месяцев все еще возможно,
но Google будет судить меня.
Надеюсь, я найду другое облачное хранилище.
Здесь нет денег. Хотите пожертвовать?
Если вы можете пожертвовать деньги, обращайтесь по адресу:
jari.t.tuominen@gmail.com
или
напишите мне по адресу:
+358465625332
***
(C) 2005-2013 гг. Яри Туоминен (jari.t.tuominen@gmail.com).
Надеюсь, ты когда-нибудь пожертвуешь мне деньги:
jari.t.tuominen@gmail.com
Для демонстрации см.:
http://www.vunet8.org/
См. ЛИЦЕНЗИЮ для лицензии (GPL).
См. INSTALL -file для инструкций по установке.
Altse - это набор многих инструментов, которые необходимо индексировать
во всемирной паутине (WWW) на довольно автоматическом уровне.
В настоящее время проект является очень индивидуальным.
Исходный код доступен только для ознакомительных целей,
любые попытки установки двигателя на другой машине
скорее всего, будет довольно сложно, но не невозможно ;-)
Если вы хотите установить Altse на свой сервер в хорошем месте,
Я могу вам помочь, просто напишите мне по адресу jari.t.tuominen@gmail.com.
Помните, что вам нужна довольно хорошая машина, в зависимости от
сколько веб-страниц вы хотите индексировать.
Функциональный демонстрационный сайт Altse доступен по адресу:
http://www.vunetnews.org/altse/
ПРОГНОЗИРОВАНИЕ ТРЕБОВАНИЙ (2005)
================================================== ==============================================
Количество проиндексированных страниц Необходимая для эффективного функционирования машина Необходимое пространство
-------------------------------------------------- -----------------------------------------------
25 миллионов веб-страниц Высокопроизводительные серверные или сетевые компьютеры 500 гигабайт
^ РЕКОМЕНДУЕТСЯ ^
миллионов веб-страниц Athlon XP 1600 МГц (512 МБ) 20 гигабайт
500 000 Athlon 750 МГц (256M) 10 гигабайт
100 000 Celeron 400 МГц (128M RAM) 2 гигабайта
10 000 Pentium 133 МГц 0,2 гигабайта
Индексирование миллионов веб-страниц занимает около 24 часов (на Athlon). В будущем это будет улучшено.
В настоящее время, если вы хотите обновить уже проиндексированную веб-страницу, вам нужно индексировать все
с нуля, чтобы обновить страницу. Хотя добавление новых страниц и сайтов
возможно, когда вы идете.
Объем доступной оперативной памяти делает индексирование более эффективным. Но больше всего,
самая важная часть - как быстро ваш жесткий диск может работать.
Вероятно, вы обнаружите, что ПО IDE-рейд - хорошее решение, вот что
Я использую по адресу http://WWW.VUNETNEWS.ORG/ALTSE/.
ФОРМАТ БАЗЫ ДАННЫХ
================================================== ==============================================
В настоящее время Altse зависит от предопределенной структуры каталогов.
База данных поисковой системы хранится в месте, определенном /etc/altse.conf
(например, / home / alternativesearchengine / db:
(ДЛЯ ПОИСКА):
Хранилище веб-страниц с индексированным индексом db / cid
db / cid / data ASCII версии веб-страниц (необходимые для генерации результатов)
индекс db / cid / dict keywords
db / www WWW-страницы (сжатый сбор gzip www-сайтов с html-страницами)
(ТОЛЬКО ДЛЯ ИНТЕРНЕТ-СПРАВОЧНИКА):
Структура каталога db / direcstru DMOZ.org (генерируется indexrdf)
db / каталог содержимого каталога DMOZ.org (...)
Яри Туоминен
jari.t.tuominen@gmail.com
Главный разработчик
http://www.vunetnews.org/altse/
КРАТКОЕ ОПИСАНИЕ ИНСТРУМЕНТОВ, ДОСТУПНЫХ (НЕПОСРЕДСТВЕННОЕ, УДАЛЕННОЕ)
================================================== ==============================================
Инструменты находятся в каталоге sdb / bin.
ИНСТРУМЕНТ (sdb / bin /) ОБЪЯСНЕНИЕ
-------------------------------------------------- ----------------------------------------
ранг вычисляет базовый рейтинг страницы для каждого сайта www
indexbuilder индексирует любые вновь преобразованные страницы www
программа сканирования веб-браузера crawl
ccr-программа управления для веб-сканирования
CidWipe Запускает преобразование и индексирование. Вытирает что-либо в / db / cid.
dictwipe Показывает, как перезапустить индексирование, показывает инструкции.
является самым низким уровнем поиска индекса www
sdb / cfg / is.cfg конфигурация поискового индекса наименьшего уровня www
Учебник: УСТАНОВКА ALTSE (PRE-BETA2)
==============
Altse Internet Search Engine (al'ternativnyy poisk v Internete)
================================================== ========
Eto proyekt s otkrytym iskhodnym kodom, osnovannyy na litsenzii LGPL.
Besplatno dlya nekommercheskikh tseley (vklyuchaya blagotvoritel'nost' i t. D.).
PUBLIKATSIYA Vunet8.org (Altse Demo) I proyekt Altse PREDPOLAGAYUT SVOBODU RECHI,
I OTNOSITEL'NO ZAYAVLENNYKH ZAKONODATEL'STV V VASHEY OTVETSTVENNOY STRANE:
Pervaya popravka (popravka I) k Konstitutsii Soyedinennykh Shtatov
ne pozvolyayet Kongressu prinimat' kakiye-libo zakony, kasayushchiyesya ustanovleniya religii,
zapret na svobodnoye osushchestvleniye religii ili sokrashcheniye
svoboda slova, svoboda pechati, pravo na mirnuyu sborku,
ili khodataystvovat' o predostavlenii pravitel'stvennykh kompensatsiy v vide zhalob. On byl prinyat
15 dekabrya 1791 goda, v kachestve odnoy iz desyati popravok, kotoryye sostavlyayut Bill' o pravakh.
***
Testamonial ot avtora Yari Tapio Tuominen (300580-XXXX):
Chetverg 4 yanvarya 2018, 19:44 GMT + 02.
YA boleyu v eti dni, posle operatsii na zhivote ya
v sostoyanii prodolzhat' etu konkretnuyu rabotu po programmnomu obespecheniyu
luchshe, khotya u menya malo deneg.
Po-vidimomu, paru mesyatsev vse yeshche vozmozhno,
no Google budet sudit' menya.
Nadeyus', ya naydu drugoye oblachnoye khranilishche.
Zdes' net deneg. Khotite pozhertvovat'?
Yesli vy mozhete pozhertvovat' den'gi, obrashchaytes' po adresu:
jari.t.tuominen@gmail.com
ili
napishite mne po adresu:
+358465625332
***
(C) 2005-2013 gg. Yari Tuominen (jari.t.tuominen@gmail.com).
Nadeyus', ty kogda-nibud' pozhertvuyesh' mne den'gi:
jari.t.tuominen@gmail.com
Dlya demonstratsii sm.:
http://www.vunet8.org/
Sm. LITSENZIYU dlya litsenzii (GPL).
Sm. INSTALL -file dlya instruktsiy po ustanovke.
Altse - eto nabor mnogikh instrumentov, kotoryye neobkhodimo indeksirovat'
vo vsemirnoy pautine (WWW) na dovol'no avtomaticheskom urovne.
V nastoyashcheye vremya proyekt yavlyayetsya ochen' individual'nym.
Iskhodnyy kod dostupen tol'ko dlya oznakomitel'nykh tseley,
lyubyye popytki ustanovki dvigatelya na drugoy mashine
skoreye vsego, budet dovol'no slozhno, no ne nevozmozhno ;-)
Yesli vy khotite ustanovit' Altse na svoy server v khoroshem meste,
YA mogu vam pomoch', prosto napishite mne po adresu jari.t.tuominen@gmail.com.
Pomnite, chto vam nuzhna dovol'no khoroshaya mashina, v zavisimosti ot
skol'ko veb-stranits vy khotite indeksirovat'.
Funktsional'nyy demonstratsionnyy sayt Altse dostupen po adresu:
http://www.vunetnews.org/altse/
PROGNOZIROVANIYe TREBOVANIY (2005)
================================================== ==============================================
Kolichestvo proindeksirovannykh stranits Neobkhodimaya dlya effektivnogo funktsionirovaniya mashina Neobkhodimoye prostranstvo
-------------------------------------------------- -----------------------------------------------
25 millionov veb-stranits Vysokoproizvoditel'nyye servernyye ili setevyye komp'yutery 500 gigabayt
^ REKOMENDUYETSYA ^
millionov veb-stranits Athlon XP 1600 MGts (512 MB) 20 gigabayt
500 000 Athlon 750 MGts (256M) 10 gigabayt
100 000 Celeron 400 MGts (128M RAM) 2 gigabayta
10 000 Pentium 133 MGts 0,2 gigabayta
Indeksirovaniye millionov veb-stranits zanimayet okolo 24 chasov (na Athlon). V budushchem eto budet uluchsheno.
V nastoyashcheye vremya, yesli vy khotite obnovit' uzhe proindeksirovannuyu veb-stranitsu, vam nuzhno indeksirovat' vse
s nulya, chtoby obnovit' stranitsu. Khotya dobavleniye novykh stranits i saytov
vozmozhno, kogda vy idete.
Ob"yem dostupnoy operativnoy pamyati delayet indeksirovaniye boleye effektivnym. No bol'she vsego,
samaya vazhnaya chast' - kak bystro vash zhestkiy disk mozhet rabotat'.
Veroyatno, vy obnaruzhite, chto PO IDE-reyd - khorosheye resheniye, vot chto
YA ispol'zuyu po adresu http://WWW.VUNETNEWS.ORG/ALTSE/.
FORMAT BAZY DANNYKH
================================================== ==============================================
V nastoyashcheye vremya Altse zavisit ot predopredelennoy struktury katalogov.
Baza dannykh poiskovoy sistemy khranitsya v meste, opredelennom /etc/altse.conf
(naprimer, / home / alternativesearchengine / db:
(DLYA POISKA):
Khranilishche veb-stranits s indeksirovannym indeksom db / cid
db / cid / data ASCII versii veb-stranits (neobkhodimyye dlya generatsii rezul'tatov)
indeks db / cid / dict keywords
db / www WWW-stranitsy (szhatyy sbor gzip www-saytov s html-stranitsami)
(TOL'KO DLYA INTERNET-SPRAVOCHNIKA):
Struktura kataloga db / direcstru DMOZ.org (generiruyetsya indexrdf)
db / katalog soderzhimogo kataloga DMOZ.org (...)
Yari Tuominen
jari.t.tuominen@gmail.com
Glavnyy razrabotchik
http://www.vunetnews.org/altse/
KRATKOYe OPISANIYe INSTRUMENTOV, DOSTUPNYKH (NEPOSREDSTVENNOYe, UDALENNOYe)
================================================== ==============================================
Instrumenty nakhodyatsya v kataloge sdb / bin.
INSTRUMENT (sdb / bin /) OB"YASNENIYe
-------------------------------------------------- ----------------------------------------
rang vychislyayet bazovyy reyting stranitsy dlya kazhdogo sayta www
indexbuilder indeksiruyet lyubyye vnov' preobrazovannyye stranitsy www
programma skanirovaniya veb-brauzera crawl
ccr-programma upravleniya dlya veb-skanirovaniya
CidWipe Zapuskayet preobrazovaniye i indeksirovaniye. Vytirayet chto-libo v / db / cid.
dictwipe Pokazyvayet, kak perezapustit' indeksirovaniye, pokazyvayet instruktsii.
yavlyayetsya samym nizkim urovnem poiska indeksa www
sdb / cfg / is.cfg konfiguratsiya poiskovogo indeksa naimen'shego urovnya www
Uchebnik: USTANOVKA ALTSE (PRE-BETA2)
==============
...
Altse互联网搜索引擎(Alternative Internet Search)
================================================== ========
这是一个基于LGPL许可证的开源项目。
免费用于非商业用途(包括慈善等)。
发布Vunet8.org(Altse演示)和Altse项目是根据演讲的自由,
并在您的尊重国家重申适用法律:
美国宪法第一修正案(修正案I)
阻止国会制定任何尊重宗教信仰的法律,
禁止自由行使宗教信仰或者删节
言论自由,新闻自由,和平集会的权利,
或者请求政府对申诉进行补救。它通过了
作为构成人权法案的十项修正案之一,1791年12月15日。
***
来自作者Jari Tapio Tuominen的Testamonial(300580-XXXX):
2018年1月4日星期四,格林尼治标准时间19:44 + 02。
最近我胃病手术后,我感觉很不舒服
能够继续在这个特定的软件工作
更好,虽然我缺钱。
显然几个月后仍然有可能,
但谷歌会对我进行审判。
希望我会找到另一个云存储。
这里没钱。愿意捐赠?
如果您可以捐款,请联系:
jari.t.tuominen@gmail.com
要么
发短信给我:
358465625332
***
(C)2005-2013 Jari Tuominen(jari.t.tuominen@gmail.com)。
希望有一天能够捐钱给我:
jari.t.tuominen@gmail.com
有关演示,请参阅:
http://www.vunet8.org/
请参阅许可证(GPL)。
有关安装说明,请参阅INSTALL文件。
Altse是需要索引的许多工具的集合
万维网(WWW)处于相当自动化的水平。
目前该项目是一个高度定制的项目。
源代码仅可用于学习目的,
任何在另一台机器上安装引擎的尝试
将很可能是相当困难的,但不是不可能的;-)
如果你想在你的服务器上安装好Altse,
我可以帮助你,只需在jari.t.tuominen@gmail.com发邮件给我。
请记住,您需要一台相当好的机器,具体取决于
你想要索引多少个网页?
Altse的功能演示网站位于:
http://www.vunetnews.org/altse/
预测需求(2005年)
================================================== ==============================================
索引的页数有效运作所需的机器需要的空间
-------------------------------------------------- -----------------------------------------------
2500万个网页高性能服务器或联网计算机500+千兆字节
^推荐^
百万网页Athlon XP 1600 MHz(512M RAM)20千兆字节
500 000速龙750 MHz(256M)10千兆字节
100 000赛扬400 MHz(128M RAM)2千兆字节
10 000个奔腾133 MHz 0,2千兆字节
为万网页索引大约需要24小时(在Athlon上)。这将在未来得到改善。
目前,如果您想更新已编入索引的网页,则必须对所有内容进行索引
从头开始,以便更新页面。虽然增加了新的页面和网站
是可能的,因为你去。
可用RAM的数量使得索引效率更高。但最重要的是,
最重要的部分是硬盘的工作速度。
您可能会发现软件IDE突袭了一个很好的解决方案,这是什么
我在http://WWW.VUNETNEWS.ORG/ALTSE/上使用。
数据库格式
================================================== ==============================================
Altse目前依赖于预定义的目录结构。
搜索引擎数据库存储在/etc/altse.conf定义的位置
(例如/ home / alternativesearchengine / db:
(对于搜索引擎):
数据库/ cid索引网页存储
db / cid / data网页的ASCII版本(用于生成结果)
db / cid / dict关键字索引
db / www WWW页面缓存(带html页面的www-sites的gzip压缩集合)
(仅限INTERNET DIRECTORY功能):
db / direcstru DMOZ.org目录结构(由indexrdf生成)
db /目录DMOZ.org目录内容(...)
贾里Tuominen
jari.t.tuominen@gmail.com
主要开发者
http://www.vunetnews.org/altse/
简要说明可用工具(不完整,废弃)
================================================== ==============================================
工具驻留在sdb / bin目录中。
工具(sdb / bin /)说明
-------------------------------------------------- ----------------------------------------
排名计算每个www站点的基本页面排名
indexbuilder索引任何新转换的www页面
抓取网络爬虫程序
ccr控制程序用于网络爬行
CidWipe重新开始转换和索引。擦除/ db / cid处的任何内容。
dictwipe显示如何重新启动索引,显示说明。
是最低级www指数搜索器
sdb / cfg / is.cfg最低级www index搜索器配置
教程:安装ALTSE(PRE-BETA2)
==============
Altse hùliánwǎng sōusuǒyǐnqíng (Alternative Internet Search)
================================================== ========
zhè shì yīgè jīyú LGPL xǔkě zhèng de kāiyuán xiàngmù.
Miǎnfèi yòng yú fēi shāngyè yòngtú (bāokuò císhàn děng).
Fābù Vunet8.Org(Altse yǎnshì) hé Altse xiàngmù shì gēnjù yǎnjiǎng de zìyóu,
bìng zài nín de zūn chóng guójiā chóngshēn shìyòng fǎlǜ:
Měiguó xiànfǎ dì yī xiūzhèng àn (xiūzhèng àn I)
zǔzhǐ guóhuì zhìdìng rènhé zūnzhòng zōngjiào xìnyǎng de fǎlǜ,
jìnzhǐ zìyóu xíngshǐ zōngjiào xìnyǎng huòzhě shānjié
yánlùn zìyóu, xīnwén zìyóu, hépíng jíhuì de quánlì,
huòzhě qǐngqiú zhèngfǔ duì shēnsù jìnxíng bǔjiù. Tā tōngguòle
zuòwéi gòuchéng rénquán fǎ'àn de shí xiàng xiūzhèng àn zhī yī,1791 nián 12 yuè 15 rì.
***
Láizì zuòzhě Jari Tapio Tuominen de Testamonial(300580-XXXX):
2018 Nián 1 yuè 4 rì xīngqísì, gélínnízhì biāozhǔn shíjiān 19:44 + 02.
Zuìjìn wǒ wèibìng shǒushù hòu, wǒ gǎnjué hěn bú shūfú
nénggòu jìxù zài zhège tèdìng de ruǎnjiàn gōngzuò
gèng hǎo, suīrán wǒ quē qián.
Xiǎnrán jǐ gè yuè hòu réngrán yǒu kěnéng,
dàn gǔgē huì duì wǒ jìnxíng shěnpàn.
Xīwàng wǒ huì zhǎodào lìng yīgè yún cúnchú.
Zhèlǐ méi qián. Yuànyì juānzèng?
Rúguǒ nín kěyǐ juānkuǎn, qǐng liánxì:
Jari.T.Tuominen@gmail.Com
yàome
fā duǎnxìn gěi wǒ:
358465625332
***
(C)2005-2013 Jari Tuominen(jari.T.Tuominen@gmail.Com).
Xīwàng yǒu yītiān nénggòu juān qián gěi wǒ:
Jari.T.Tuominen@gmail.Com
yǒuguān yǎnshì, qǐng cānyuè:
Http://Www.Vunet8.Org/
qǐng cānyuè xǔkě zhèng (GPL).
Yǒuguān ānzhuāng shuōmíng, qǐng cānyuè INSTALL wénjiàn.
Altse shì xūyào suǒyǐn de xǔduō gōngjù de jíhé
wànwéiwǎng (WWW) chǔyú xiāngdāng zìdònghuà de shuǐpíng.
Mùqián gāi xiàngmù shì yīgè gāodù dìngzhì de xiàngmù.
Yuán dàimǎ jǐn kěyòng yú xuéxí mùdì,
rènhé zài lìng yī tái jīqì shàng ānzhuāng yǐnqíng de chángshì
jiāng hěn kěnéng shì xiāngdāng kùnnán de, dàn bùshì bù kěnéng de;-)
rúguǒ nǐ xiǎng zài nǐ de fúwùqì shàng ānzhuāng hǎo Altse,
wǒ kěyǐ bāngzhù nǐ, zhǐ xū zài jari.T.Tuominen@gmail.Com fā yóujiàn gěi wǒ.
Qǐng jì zhù, nín xūyào yī tái xiāngdāng hǎo de jīqì, jùtǐ qǔjué yú
nǐ xiǎng yào suǒyǐn duōshǎo gè wǎngyè?
Altse de gōngnéng yǎnshì wǎngzhàn wèiyú:
Http://Www.Vunetnews.Org/altse/
yùcè xūqiú (2005 nián)
================================================== ==============================================
suǒyǐn de yè shù yǒuxiào yùnzuò suǒ xū de jīqì xūyào de kōngjiān
-------------------------------------------------- -----------------------------------------------
2500 wàn gè wǎngyè gāo xìngnéng fúwùqì huò liánwǎng jìsuànjī 500+qiān zhào zì jié
^tuījiàn ^
bǎi wàn wǎngyè Athlon XP 1600 MHz(512M RAM)20 qiān zhào zì jié
500 000 sù lóng 750 MHz(256M)10 qiān zhào zì jié
100 000 sài yáng 400 MHz(128M RAM)2 qiān zhào zì jié
10 000 gè bēnténg 133 MHz 0,2 qiān zhào zì jié
wèi wàn wǎngyè suǒyǐn dàyuē xūyào 24 xiǎoshí (zài Athlon shàng). Zhè jiàng zài wèilái dédào gǎishàn.
Mùqián, rúguǒ nín xiǎng gēngxīn yǐ biān rù suǒyǐn de wǎngyè, zé bìxū duì suǒyǒu nèiróng jìnxíng suǒyǐn
cóngtóu kāishǐ, yǐbiàn gēngxīn yèmiàn. Suīrán zēngjiāle xīn de yèmiàn hé wǎngzhàn
shì kěnéng de, yīnwèi nǐ qù.
Kěyòng RAM de shùliàng shǐdé suǒyǐn xiàolǜ gèng gāo. Dàn zuì zhòngyào de shì,
zuì zhòngyào de bùfèn shì yìngpán de gōngzuò sùdù.
Nín kěnéng huì fāxiàn ruǎnjiàn IDE túxíle yīgè hěn hǎo de jiějué fāng'àn, zhè shì shénme
wǒ zài http://WWW.VUNETNEWS.ORG/ALTSE/shàng shǐyòng.
Shùjùkù géshì
================================================== ==============================================
Altse mùqián yīlài yú yù dìngyì de mùlù jiégòu.
Sōusuǒyǐnqíng shùjùkù cúnchú zài/etc/altse.Conf dìngyì de wèizhì
(lìrú/ home/ alternativesearchengine/ db:
(Duìyú sōusuǒyǐnqíng):
Shùjùkù/ cid suǒyǐn wǎngyè cúnchú
db/ cid/ data wǎngyè de ASCII bǎnběn (yòng yú shēngchéng jiéguǒ)
db/ cid/ dict guānjiàn zì suǒyǐn
db/ www WWW yèmiàn huǎncún (dài html yèmiàn de www-sites de gzip yāsuō jíhé)
(jǐn xiàn INTERNET DIRECTORY gōngnéng):
Db/ direcstru DMOZ.Org mùlù jiégòu (yóu indexrdf shēngchéng)
db/mùlù DMOZ.Org mùlù nèiróng (...)
Jiǎ lǐ Tuominen
jari.T.Tuominen@gmail.Com
zhǔyào kāifā zhě
http://Www.Vunetnews.Org/altse/
jiǎnyào shuōmíng kěyòng gōngjù (bù wánzhěng, fèiqì)
================================================== ==============================================
gōngjù zhù liú zài sdb/ bin mùlù zhōng.
Gōngjù (sdb/ bin/) shuōmíng
-------------------------------------------------- ----------------------------------------
páimíng jìsuàn měi gè www zhàndiǎn de jīběn yèmiàn páimíng
indexbuilder suǒ yǐn rènhé xīn zhuǎnhuàn de www yèmiàn
zhuā qǔ wǎngluò páchóng chéngxù
ccr kòngzhì chéngxù yòng yú wǎngluò páxíng
CidWipe chóngxīn kāishǐ zhuǎnhuàn hé suǒ yǐn. Cā chú/ db/ cid chǔ de rènhé nèiróng.
Dictwipe xiǎnshì rúhé chóngxīn qǐdòng suǒ yǐn, xiǎnshì shuōmíng.
Shì zuìdī jí www zhǐshù sōusuǒ qì
sdb/ cfg/ is.Cfg zuìdī jí www index sōusuǒ qì pèizhì
jiàochéng: Ānzhuāng ALTSE(PRE-BETA2)
==============
...
Kommentit
Lähetä kommentti