Primele 100,000
Țin doar să vă spun că al meu crawler din experimentul Fundamentalice a scanat primele 100,000 de domenii, în puțin mai mult de o săptămână. Este un important prim pas înainte, lucru care mă bucură. Sigur, va mai dura până voi obține rezultate concrete, dar vreau doar să spun că suntem pe drumul cel bun.
Mai urmează, evident, să încep să optimizez codul, mai ales cel ce lucrează cu baza de date, apoi să optimizez serverul, dar important este că vreme de patru zile și jumătate crawlerul a funcționat non-stop și complet autonom, ceea ce era de dorit încă din primul moment.
În fine, ideea este că mi-ar plăcea să pot ajunge să fac sistemul să scaneze în măcar 500,000 de domenii lunar, față de cele aproximativ 380,000 câte poate scana și analiza acum. Și mi-ar plăcea să pot începe cât mai repede integrarea datelor, dar nu pot spune cât aceasta va începe.
Lasa un raspuns