Algorytmy rafinacji informacji uporządkują i przeanalizują dane ukryte w internecie. W Google jest tylko 10 proc. wszystkich informacji

0

Internet to potężny zbiór informacji, z którego tylko ok. 10 proc. jest zaindeksowana w wyszukiwarce Google. Do pozostałych starają się dotrzeć badacze z Centrum Rafinacji Informacji, którzy dzięki opracowanej technologii są w stanie zebrać, oczyścić i przeanalizować dane z wielu cyfrowych źródeł. Zebrane informacje pozwalają im nie tylko określić zachodzące aktualnie procesy, lecz także prognozować np. preferencje wyborcze, zmiany gospodarcze czy nastroje społeczne.

Internet rozrósł się do takich rozmiarów, że bez pomocy zaawansowanych programów rafinacyjnych przeprowadzenie miarodajnej analizy jest niemożliwe. Do 2020 roku świat wyprodukuje 44 zettabajtów danych (1 zettabajt to bilion gigabajtów). Korzystanie z wyszukiwarki Google w celu monitorowania bieżących trendów w sieci nie wystarczy, aby przeprowadzić wiarygodne badania naukowe.

– Szukamy źródeł internetowych, szukamy różnego rodzaju repozytoriów, dostępu do bibliotek. W niektórych tematach możemy również posiłkować się mediami społecznościowymi, które są otwarte. Może się pojawić zarzut, dlaczego nie korzystamy z Google? W Google znajduje się nie więcej jak 10 proc. tej rzeczywistości wirtualnej, z którą mamy do czynienia, musimy do tych danych dotrzeć samodzielnie, próbujemy to robić i robimy to chyba dosyć skutecznie ­– mówi agencji informacyjnej Newseria Innowacje Wiesław CeteraCentrum Rafinacji Informacji.

W początkowej fazie każdego projektu roboty pobierają informacje z otwartych źródeł. Dane zbierane są w różnej postaci, a następnie sprowadzane są do postaci cyfrowej. W ten sposób powstają tzw. brudne dane. Po ich oczyszczeniu (rafinacji) przystępuje się do analizy poprzez wyszukiwanie najbardziej istotnych słów oraz powiązanych z nimi innych słów (sentymentów), mających wydźwięk pozytywny lub negatywny.

– Wyszukujemy terminy podstawowe, czyli słowa klucze, artefakty czy słowa słupy, następnie szukamy tego, co wokół nich się znajduje, nie przetwarzamy całości, ale szukamy tego co najważniejsze, i na tej podstawie jesteśmy w stanie określić, czy termin związany z tematem naszych badań zmienia się pozytywnie, negatywnie, rozwija się bądź po prostu zanika. Ta dokładność prognoz jest dosyć duża, bo w przeciwieństwie do badań ankietowych nie mamy do czynienia z populacją 200 czy 1000 badanych, ale przetwarzamy terabajty danych – mówi Wiesław Cetera.

Czytaj również:  Pierwszy mDokument niedługo wejdzie do obiegu. Mobilny dowód pozwoli zweryfikować tożsamość na siłowni albo w przypadku stłuczki

W ramach projektu Culturnomics 2.0, naukowcy z Uniwersytetu Harvarda udowodnili, że algorytmy rafinacyjne sprawdzają się do identyfikacji i przewidywania procesów, które mają dopiero nastąpić. Badacze analizowali informacje upubliczniane przez media tradycyjne i cyfrowe w czasie rzeczywistym w celu określenia nadchodzących zmian społeczno-kulturalnych. Wykorzystując tę technologię, trafnie przewidziano m.in. wybuch rewolucji na Bliskim Wschodzie, ustąpienie prezydenta Egiptu Hosniego Mubaraka, a nawet przybliżone miejsce pobytu Osamy bin Ladena.