Mini-Crawler in Java schreiben @ Java - tutorials.de: Tutorial, Forum, Anleitung & Hilfe

**aminskee** · 06.03.12 11:04

Die Aufgabe lautet :

1.Der Crawler lädt das HTML von einer URL
2.Er sucht die Link-URLs aus dem HTML (<a href=...>)
3.er lädt die URLs der gefundenen Links (zurück zu 1.)
4.Nach 10000 Pages bricht er ab.

1und 2 habe ich schon den Rest habe ich 2 tage daran gedacht und gesucht aber leider nichts gefunden was einfach ist ich bitte sie um Hilfe
voila mein code :

Code java:

import java.net.URL;
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;
 
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
public class Java {
 
    public static List<String> addLinks(List<String> links,String urlLink){
            links = new ArrayList<String>();
            String line="";
            HTMLEditorKit editorKit = new HTMLEditorKit();
            HTMLDocument htmlDoc = new HTMLDocument();
            try{
            editorKit.read(new URL(urlLink).openStream(), htmlDoc, 0);
            }catch(Exception e){
                
            e.getStackTrace();  
            }
            for(HTMLDocument.Iterator iter = htmlDoc.getIterator(HTML.Tag.A);iter.isValid();iter.next()) {
                    line=(String)(iter.getAttributes().getAttribute(HTML.Attribute.HREF));
                    if (links.size()<10000){
                    //System.out.println(line); 
                    links.add(line);
                    }
                    
  }
            return links;}
            
    
    
    public static void startCrawler(int threads){
    
    }
           
    
    public static void main(String[] args) {
        List <String> link = new ArrayList<String>();
        addLinks(link,"http://www.tutorials.de");
        System.out.println(link.size());
        for(String element:link){
            //hier habe ich ein problem dass die Liste leer bekomme  
            System.out.println(element);
            // und wie geht es weiter 
        }
 
    }
 
}

**Thomas Darimont** · 06.03.12 11:15

Hallo,

ich würde an deiner Stelle Apache Nutch verwenden:
http://nutch.apache.org/

Btw. ein Beispiel zur Link Extrahierung haben wir auch:
http://www.tutorials.de/java/202949-...trahieren.html

Gruß Tom

**aminskee** · 06.03.12 11:29

Danke für die schnelle Antwort mit der Aufgabe würde ich ein Praktikum platz bekommen unter der Bedienung dass ich dass Programm in java 6 mache und nur in eine classe ,ich habe dass gefunden http://www.uni-koblenz-landau.de/kob....Praxisaufgabe

warum in main mein liste ist leer ,obwohl habe ich ein Methode um es auszufüllen (siehe Kommentare),bitte Thomson ich habe gesehen dass du drauf hast bitte hilf mir um mein studium abzuschliessen

Danke ,vielen Dank
lg

**Fabio Hellmann** · 06.03.12 12:31

Hi,
also ich habe bisher auch noch keinen Crawler geschrieben. Allerdings wollte ich das selber schon seit längerem mal ausprobieren. Perfekt ist er vielleicht nicht, aber er erfüllt seinen Zweck.

Code java:

package de.tutorials;
 
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.Set;
import java.util.TreeSet;
 
import javax.swing.text.MutableAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTML.Tag;
import javax.swing.text.html.HTMLEditorKit.ParserCallback;
import javax.swing.text.html.parser.ParserDelegator;
 
 
/**
 * @author FabioH
 * @author $Author$
 * @version $Revision$ $Date$
 */
public class UrlCrawler
{
    private Thread crawlerThread;
    
    /**
     * 
     */
    public UrlCrawler() {
    }
    
    /**
     * @param proxyHost
     * @param proxyPort
     */
    public UrlCrawler(final String proxyHost, final int proxyPort) {
        System.setProperty("http.proxyHost", proxyHost);
        System.setProperty("http.proxyPort", String.valueOf(proxyPort));
    }
    
    /**
     * @param url
     * @param maxUrls
     */
    public void start(final String url, final int maxUrls) {
        if(crawlerThread == null) {
            try {
                crawlerThread = new Thread(new RecursiveCrawler(url, maxUrls), "Crawler");
                crawlerThread.start();
            } catch(final MalformedURLException e) {
                e.printStackTrace();
            }
        }
    }
    
    /**
     * 
     */
    public void stop() {
        if(crawlerThread != null) {
            crawlerThread.interrupt();
            crawlerThread = null;
        }
    }
    
    private final class RecursiveCrawler implements Runnable
    {
        private final URL url;
        private final Set<String> alreadyParsedUrls = new TreeSet<String>();
        private int counter = 0;
        private final int maxUrls;
        
        /**
         * @param urlStr
         * @param maxUrls
         * @throws MalformedURLException
         */
        public RecursiveCrawler(final String urlStr, final int maxUrls)
                throws MalformedURLException {
            this.maxUrls = maxUrls;
            url = new URL(urlStr);
        }
        
        /*
         * (non-Javadoc)
         * 
         * @see java.lang.Runnable#run()
         */
        @Override
        public void run() {
            crawl(url);
        }
        
        /**
         * @param crawlUrl
         */
        private void crawl(final URL crawlUrl) {
            if(maxUrls < counter && alreadyParsedUrls.add(crawlUrl.toString())) {
                final HtmlParser parser = new HtmlParser();
                final List<URL> allHyperlinksFromUrl = parser.getAllHyperlinksFromUrl(crawlUrl);
                counter++;
                System.out.println(counter + ".\t Crawl: " + crawlUrl + ", Hyperlinks found="
                        + allHyperlinksFromUrl.size());
                for(final URL url : allHyperlinksFromUrl) {
                    crawl(url);
                }
            }
        }
    }
    
    private class HtmlParser extends ParserCallback
    {
        private List<URL> hyperlinks;
        private String host;
        
        /**
         * @param url
         * @return a list with all hyperlinks from the delivered url
         */
        public List<URL> getAllHyperlinksFromUrl(final URL url) {
            host = url.getHost();
            hyperlinks = new ArrayList<URL>();
            InputStream in = null;
            InputStreamReader reader = null;
            try {
                in = url.openStream();
                reader = new InputStreamReader(in);
                
                new ParserDelegator().parse(reader, this, true);
            } catch(final MalformedURLException e) {
                // Ignore?!
            } catch(final IOException e) {
                // Ignore?!
            } finally {
                try {
                    if(reader != null)
                        reader.close();
                } catch(final IOException e) {
                    e.printStackTrace();
                }
                try {
                    if(in != null)
                        in.close();
                } catch(final IOException e) {
                    e.printStackTrace();
                }
            }
            return hyperlinks;
        }
        
        /*
         * (non-Javadoc)
         * 
         * @see
         * javax.swing.text.html.HTMLEditorKit.ParserCallback#handleStartTag(javax.swing.text.html
         * .HTML.Tag, javax.swing.text.MutableAttributeSet, int)
         */
        @Override
        public void handleStartTag(final Tag t, final MutableAttributeSet a, final int pos) {
            if(Tag.A == t) {
                final Object attributeHref = a.getAttribute(HTML.Attribute.HREF);
                if(attributeHref != null) {
                    String href = attributeHref.toString();
                    if(href.startsWith("/")) {
                        href = host + href;
                    }
                    
                    try {
                        hyperlinks.add(new URL(href));
                    } catch(final MalformedURLException e) {
                        // Ignore?!
                    }
                }
            }
        }
    }
    
    /**
     * @param args
     */
    public static void main(final String[] args) {
        final UrlCrawler crawler = new UrlCrawler();
        crawler.start("http://www.tutorials.de/", 50);
    }
}

Gruß

Fabio

**genodeftest** · 06.03.12 15:58

Der Crawler von Fabio berücksichtigt aber nur das Attribut HREF. Bilder, Stylesheets, Scripte, Objekte, Videos, … werden ignoriert.

**Fabio Hellmann** · 06.03.12 17:41

Ja das ist klar. Aber Bilder, Stylesheets, etc. noch mit einzubinden ist jetzt nicht mehr weiter schwer. Das ist schließlich nur ein Grundgerüst.

**aminskee** · 07.03.12 20:16

ich habe es doch gelöst hier ist die lösung.

Code java:

import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import javax.swing.text.html.*;
 
 
public class Aufgabe {
 
    /**
     * @param args
     */
    
    //Methode füllt eine List mit Urls auf
    public static List <String> addUrls(String urlLink){
            
        List<String>list=new ArrayList<String>();
        String line="";
 
        HTMLEditorKit editorKit = new HTMLEditorKit();
        HTMLDocument htmlDoc = new HTMLDocument();
        htmlDoc.putProperty("IgnoreCharsetDirective", Boolean.TRUE);
    
        try{
            editorKit.read(new URL(urlLink).openStream(), htmlDoc, 0);
        }catch(Exception e){
            e.getStackTrace();  
        }
 
        for(HTMLDocument.Iterator iter = htmlDoc.getIterator(HTML.Tag.A);iter.isValid();iter.next()){
           
            line=(String)(iter.getAttributes().getAttribute(HTML.Attribute.HREF));
            if((line!=null)&&(list.indexOf(line)==-1)){
            list.add(line);           
        }
        }
    return list;
    }
        
        
        
    //Metohde füllt die Ergebnisliste mit den gefundenen Listen von Urls   
    public static List<String> addList(String url,List<String>urlList){
        int i=0;
        int counter=0;
        urlList.addAll(addUrls(url));
           
        while(urlList.size()<=10000){
            int j=0;
           for(String e:addUrls(urlList.get(i))){
               
               System.out.println(counter+" : "+e);
               urlList.add(addUrls(urlList.get(i)).get(j));
               counter++;
            j++;
           } 
           
           i++;
        }
    return urlList;
    }
        
     
    
    
    public static void main(String[] args) {
        List <String> allLinks=new ArrayList<String>();
        addList("http://www.der-webdesigner.net",allLinks);
        int i=1;
             
        for(String e:allLinks){
            System.out.println(i+": "+e);
            i++;
        }
    }
}

**genodeftest** · 07.03.12 20:34

Kannst du den Code bitte in Java-Tags fassen ? (siehe meine Signatur)

tut orials.de	tut informieren	tut dir helfen	tut kooperieren
©2000-2013 tutorials.de Alle Rechte vorbehalten	» Impressum » Nutzungsregeln » Netiquette » Team » Redaktion	» Tutorials » Videotutorials » Showroom » Events & Contests » Chat » RSS-Feed	» der-webdesigner.net » DesignerInAction » Design Nation » Directorforum » Flashhilfe » PHP-Resource » PHPwelt » PSD-Tutorials » Terrashop

Themen-Optionen

Thema durchsuchen

Anzeige

Ähnliche Themen

C++ Crawler

Website Crawler

Caliper schlankes mini-Framework für Java Microbenchmarks

SEO und Crawler

mini mini Problemchen - zefix

Stichworte

E-Mail:
Abonnieren Abbestellen