# Headless-Browser (JavaScript-Rendering)

Verwenden Sie das JavaScript-Token, wenn der Inhalt, den Sie crawlen müssen, über JavaScript generiert wird, entweder weil es sich um eine mit JavaScript erstellte Seite handelt (React, Angular usw.) oder weil der Inhalt dynamisch im Browser generiert wird.

# Wie funktioniert es?

Wenn Sie eine Anfrage mit Ihrem JavaScript-Token an den Crawling API, intern lassen wir Ihre Anfrage auf unserer Headless-Browser-Infrastruktur laufen. Durch die Verwendung des JS-Tokens können Sie von weiteren Funktionen profitieren, wie z. B. dem Aufnehmen von Screenshots von Bildern und dem Umgehen von Blockierungen von Websites, die nur mit browserfähigen Crawlern funktionieren. Überprüfen Sie die Parameter Abschnitt mit der Liste der Funktionen, die Sie verwenden können und die nur beim JS-Crawling verfügbar sind.

# Ratenbegrenzung der JavaScript-API

Standardmäßig ist der Crawling API ist für das JavaScript-Crawling auf 20 Anfragen pro Sekunde (1.728 Mio. Anfragen/Tag) begrenzt. Wenn Sie eine höhere Ratenbegrenzung benötigen, Support kontaktieren (öffnet neues Fenster) mit Ihrem Anwendungsfall.

# Beispiel einer JavaScript-Anforderung

curl "https://api.crawlbase.com/?token=_JS_TOKEN_&url=https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499"

require 'net/http'

uri = URI('https://api.crawlbase.com')
uri.query = URI.encode_www_form({
  token: '_JS_TOKEN_',
  url: 'https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499'})

res = Net::HTTP.get_response(uri)
puts "Response HTTP Status Code: \#{res.code}"
puts "Response HTTP Header Original Status: \#{res['original_status']}"
puts "Response HTTP Response Body: \#{res.body}"

const https = require('https');

const url = encodeURIComponent('https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499');
const options = {
  hostname: 'api.crawlbase.com',
  path: '/?token=_JS_TOKEN_&url=' + url
};

https.request(options, (response) => {
  let body = '';
  response.on('data', chunk => body += chunk).on('end', () => console.log(body));
}).end();

$url = urlencode('https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499');

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=' . $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$response = curl_exec($ch);
curl_close($ch);

var_dump($response);

from urllib2 import urlopen
from urllib import quote_plus

url = quote_plus('https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499')

handler = urlopen('https://api.crawlbase.com/?token=_JS_TOKEN_&url=' + url)

print handler.read()

package main

import (
  "net/http"
  "fmt"
  "io/ioutil"
  "net/url"
)

func main() {
  url := url.QueryEscape("https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499")
  resp, _ := http.Get("https://api.crawlbase.com/?token=_JS_TOKEN_&url=" + url)

  defer resp.Body.Close()
  body, _ := ioutil.ReadAll(resp.Body)

  fmt.Println("response Body: ", string(body))

# JavaScript-Ausführung

Wenn Sie einen benutzerdefinierten JavaScript-Code auf den Seiten ausführen möchten, die Sie scrapen möchten, bevor wir Ihr HTML zurückgeben, bitte Support kontaktieren (öffnet neues Fenster) mit Ihrem Anwendungsfall.