LinkedIn-Scraping erschließt wertvolle Daten für Recruiting, Vertrieb und Marktforschung. Diese Anleitung zeigt Ihnen, wie Sie mit Python LinkedIn-Profile, Unternehmensseiten und Feeds extrahieren. Crawlbase Crawling API.

Inhaltsverzeichnis

Warum LinkedIn scrapen?

Die Datenextraktion von LinkedIn bietet erhebliche Vorteile:

Ein Bild, das die Gründe auflistet, warum das Scraping von LinkedIn-Jobs wichtig ist
  1. Talent AcquisitionAutomatisieren Sie die Kandidatensuche und finden Sie qualifizierte Fachkräfte schneller.
  2. Vertrieb & Leadgenerierung: Vertriebsteams können LinkedIn-Profile durchsuchen, um Leads zu sammeln, sie für die Verwendung durch Kaltakquise zu überwachen oder gezielte Outreach-Strategien.
  3. Marktanalyse: Wettbewerber, Branchentrends und Marktbenchmarks beobachten
  4. Arbeitsmarktanalyse: Einstellungsmuster, Gehaltstrends und gefragte Fähigkeiten verfolgen
  5. Wissenschaftliche Forschung: Datensätze zu beruflichen Netzwerken und Karriereverläufen sammeln.

Welche Daten können wir von LinkedIn extrahieren?

LinkedIn-Profile:

  • Personenbezogene Daten: Namen, Berufsbezeichnungen, aktuelle und frühere Positionen, Ausbildung, Fähigkeiten, Empfehlungen und Empfehlungen.
  • Kontaktdaten: E-Mails, Telefonnummern (sofern öffentlich verfügbar) und Social-Media-Profile.
  • Verlobung: Beiträge, Artikel und andere Inhalte, die vom Benutzer geteilt oder mit „Gefällt mir“ markiert wurden.

Firmenseiten:

  • Impressum: Name, Branche, Größe, Standort, Website und Unternehmensbeschreibung.
  • Stellenausschreibungen: Aktuelle Stellenangebote, Stellenbeschreibungen, Anforderungen und Bewerbungslinks.
  • Mitarbeiterinformation: Liste der Mitarbeiter, ihrer Rollen und Verbindungen innerhalb des Unternehmens.
  • Updates und Neuigkeiten: Auf ihrer Seite geteilte Unternehmensbeiträge, Artikel und Updates.

LinkedIn-Feeds:

  • Aktivitäten-Feed: Neueste Updates, Beiträge und Artikel von Benutzern und Unternehmen, die Sie interessieren.
  • Engagement Metrics: „Gefällt mir“-Angaben, Kommentare, Shares und das allgemeine Engagement der Beiträge.
  • Inhaltsanalyse: Arten der geteilten Inhalte, Trendthemen und Benutzerinteraktionsmuster.

Herausforderungen und Lösungen beim Web-Scraping

Das Scraping von LinkedIn kann wertvolle Daten liefern, bringt aber auch einige Herausforderungen mit sich.

Ein Bild, das die potenziellen Herausforderungen beim Scraping von LinkedIn zeigt, die unten aufgeführt sind.

Anti-Scraping-Maßnahmen

  • HerausforderungIP-Sperrung und CAPTCHAs
  • Lösung: Crawlbase bietet rotierende Proxys und CAPTCHA-Verarbeitung

Dynamischer Inhalt

  • HerausforderungJavaScript-gerenderte Seiten
  • LösungVerwenden Sie Headless-Browser oder CrawlbaseRendering-Engine
  • HerausforderungEinschränkungen der Nutzungsbedingungen von LinkedIn
  • LösungKonzentrieren Sie sich ausschließlich auf öffentliche Daten und respektieren Sie die Datenschutzgesetze.

Datenvolumen

  • HerausforderungVerarbeitung großer Datensätze
  • LösungAsynchrone Anfragen und strukturierte Speicherung
LinkedIn-Scraper mit intelligentem CTA-Banner

Anfangen mit Crawlbase

Um LinkedIn zu scrapen mit Crawlbase Crawling APISie müssen Ihre Python-Umgebung einrichten. Bevor Sie beginnen, lesen Sie bitte Folgendes: LinkedIn-Preise hier.

1. Installieren Sie Python:

Laden Sie Python herunter und installieren Sie es vom offiziellen Website. Stellen Sie sicher, dass Sie Python während der Installation zum PATH Ihres Systems hinzufügen.

2. Erstellen Sie eine virtuelle Umgebung:

Öffnen Sie Ihr Terminal oder Ihre Eingabeaufforderung und navigieren Sie zu Ihrem Projektverzeichnis. Erstellen Sie eine virtuelle Umgebung, indem Sie Folgendes ausführen:

1
python -m venv venv

Aktivieren Sie die virtuelle Umgebung:

  • Unter Windows:

    1
    .\venv\Scripts\activate

  • Unter macOS/Linux:

    1
    Quelle venv/bin/aktivieren

3. Installieren Crawlbase Bibliothek:

Installieren Sie bei aktivierter virtueller Umgebung die Crawlbase Bibliothek mit Pip:

1
pip installieren crawlbase

LinkedIn-Profile auslesen:

Beginnen Sie mit dem Importieren der erforderlichen Bibliotheken und dem Initialisieren der Crawlbase API mit Ihrem Zugriffstoken. Definieren Sie die URL des LinkedIn-Profils, das Sie scrapen möchten, und legen Sie die Scraping-Optionen fest.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
von Crawlbase importieren CrawlingAPI
importieren JSON

# Initialisieren Crawlbase API mit Ihrem Zugriffstoken
crawling_api = CrawlingAPI({ 'Zeichen': 'IHR_API_TOKEN' })

URL = „https://www.linkedin.com/in/kaitlyn-owen“

Optionen = {
    'Schaber': 'LinkedIn-Profil',
    'asynchron': "wahr"
}

# Funktion zum Stellen einer Anfrage mit Crawlbase API
def Crawlbase-Anfrage erstellen(URL):
    Antwort = crawling_api.get(URL, Optionen)
    if Antwort['Statuscode'] == 200:
        Rückkehr json.loads(Antwort['Körper'].dekodieren('lateinisch1'))
    sonst:
        drucken(„Die Seite konnte nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])
        Rückkehr Keine Präsentation

def scrape_profile(URL):
    versuchen:
        json_response = make_crawlbase_request(URL)
        if json_antwort:
            Rückkehr json_antwort
    ausgeschlossen Exception as e:
        drucken(f"Anforderung fehlgeschlagen: {e}")

    Rückkehr Keine Präsentation

if __name__ == '__Main__':
    scraped_data = scrape_profile(URL)
    drucken(json.dumps(scraped_data, Einzug=2))

Dieses Skript initialisiert die Crawlbase API, definiert die URL des zu scrapenden LinkedIn-Profils und verwendet die linkedin-profile Scraper. Es stellt eine asynchrone Anfrage zum Abrufen der Profildaten und druckt die JSON-Antwort.

Beispielausgabe:

1
2
3
{
  "loswerden": "1dd4453c6f6bd93baf1d7e03"
}

Daten abrufen von Crawlbase Cloud Storage:

Bei der Verwendung asynchroner Anfragen Crawlbase Cloud Storage speichert die Antwort und stellt eine Anforderungskennung (RID) bereit. Sie benötigen diese RID, um die Daten abzurufen.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
von Crawlbase importieren SpeicherAPI
importieren JSON

# Initialisieren Crawlbase Cloud Storage mit Ihrem Zugriffstoken
storage_api = SpeicherAPI({ 'Zeichen': 'IHR_API_TOKEN' })

RID = „Ihre_Anforderungskennung“

# Funktion zum Abrufen von Daten aus Crawlbase Lagerung
def Daten abrufen(zu befreien):
    Antwort = storage_api.get(rid)
    if Antwort['Statuscode'] == 200:
        Rückkehr json.loads(Antwort['Körper'].dekodieren('lateinisch1'))
    sonst:
        drucken(„Die Daten konnten nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])
        Rückkehr Keine Präsentation

if __name__ == '__Main__':
    abgerufene_Daten = abgerufene_Daten(RID)
    drucken(json.dumps(abgerufene_Daten, Einzug=2))

Dieses Skript ruft die gespeicherte Antwort mithilfe des RID ab und druckt die JSON-Daten.

Beispielausgabe:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
{
  "Zusammenfassung": [„Ich bin ein motivierter Profi, dem es ein Herzensanliegen ist, Chirurgen persönlich zu helfen …“],
  "Aktivitäten": [
    {
      „Titel“: „Mit Erlaubnis – 4 Jahre nach der Explantation eines infizierten Aortentransplantats, das in einer anderen örtlichen Einrichtung eingesetzt wurde. Golf spielen und das Leben genießen. Am besten …“,
      "Verknüpfung": „https://www.linkedin.com/posts/peter-rossi-md-facs-dfsvs-9393b934_aorta-aortaed-activity-7185799259269525504-DI5k?trk=public_profile“,
      "Bild": "https://media.licdn.com/dms/image/D5622AQFKrMD3lTsK3w/feedshare-shrink_2048_1536/0/1713228047686?e=2147483647&v=beta&t=eZ4Blo9-IEPoDaF7TgUQbm-gFtDmRGTaW1uZOqLWEM4",
      "Zuschreibungen": {
        „Titel“: „Gefällt Kaitlyn Owen“,
        "Verknüpfung": „https://www.linkedin.com/in/kaitlyn-owen?trk=public_profile_actor-name“
      }
    },
    {
      „Titel“: „Kaitlyn Owen“,
      "Position": "",
      "Verknüpfung": „https://www.linkedin.com/in/kaitlyn-owen-1a469575?trk=public_profile_samename-profile“,
      "Bild": null,
      "Lage": "Redmond, Washington"
    }
  ],
  "ähnlicheProfile": []
}

Auslesen von Unternehmensseiten

Verwenden Sie die linkedin-company Web-Scraper zum Sammeln von Organisationsdaten:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
von Crawlbase importieren CrawlingAPI
importieren JSON

# Initialisieren Crawlbase API mit Ihrem Zugriffstoken
crawling_api = CrawlingAPI({ 'Zeichen': 'IHR_API_TOKEN' })

URL = „https://www.linkedin.com/company/amazon“

Optionen = {
    'Schaber': „LinkedIn-Unternehmen“,
    'asynchron': "wahr"
}

# Funktion zum Stellen einer Anfrage mit Crawlbase API
def Crawlbase-Anfrage erstellen(URL):
    Antwort = crawling_api.get(URL, Optionen)
    if Antwort['Statuscode'] == 200:
        Rückkehr json.loads(Antwort['Körper'].dekodieren('lateinisch1'))
    sonst:
        drucken(„Die Seite konnte nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])
        Rückkehr Keine Präsentation

def scrape_company(URL):
    versuchen:
        json_response = make_crawlbase_request(URL)
        if json_antwort:
            Rückkehr json_antwort
    ausgeschlossen Exception as e:
        drucken(f"Anforderung fehlgeschlagen: {e}")

    Rückkehr Keine Präsentation

if __name__ == '__Main__':
    scraped_data = scrape_company(URL)
    drucken(json.dumps(scraped_data, Einzug=2))

Dieses Skript initialisiert die Crawlbase API, legt die URL der LinkedIn-Unternehmensseite fest, die Sie scrapen möchten, und gibt die linkedin-company Scraper. Das Skript stellt dann eine asynchrone Anfrage zum Abrufen der Unternehmensdaten und druckt die JSON-Antwort.

Beispielausgabe:

1
2
3
{
  "loswerden": "f270321bbebe203b43cebedd"
}

Daten abrufen von Crawlbase Cloud Storage

Wie beim Profil-Scraping geben asynchrone Anfragen eine rid. Sie können dies verwenden rid um die gespeicherten Daten abzurufen.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
von Crawlbase importieren SpeicherAPI
importieren JSON

# Initialisieren Crawlbase Cloud Storage mit Ihrem Zugriffstoken
storage_api = SpeicherAPI({ 'Zeichen': 'IHR_API_TOKEN' })

RID = „Ihre_Anforderungskennung“

# Funktion zum Abrufen von Daten aus Crawlbase Lagerung
def Daten abrufen(zu befreien):
    Antwort = storage_api.get(rid)
    if Antwort['Statuscode'] == 200:
        Rückkehr json.loads(Antwort['Körper'].dekodieren('lateinisch1'))
    sonst:
        drucken(„Die Daten konnten nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])
        Rückkehr Keine Präsentation

if __name__ == '__Main__':
    abgerufene_Daten = abgerufene_Daten(RID)
    drucken(json.dumps(abgerufene_Daten, Einzug=2))

Dieses Skript ruft die gespeicherten Unternehmensdaten mithilfe des RID ab und druckt sie aus.

Beispielausgabe:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
{
  „Titel“: "Amazonas",
  "Überschrift": "Software-Entwicklung",
  "Titelbild": "https://media.licdn.com/dms/image/D4D3DAQGri_YWxYb-GQ/image-scale_191_1128/0/1681945878609/amazon_cover?e=2147483647&v=beta&t=DEHImsFhQdlARMSTcY2AmdImxdLxIyvDncPmPQEpebY",
  "Firmenimage": "https://media.licdn.com/dms/image/C560BAQHTvZwCx4p2Qg/company-logo_200_200/0/1630640869849/amazon_logo?e=2147483647&v=beta&t=2vRB20XZOYNtXSr5GHAUUQXXII4lvgcotA2QTMcRHOI",
  "URL": „https://www.linkedin.com/company/amazon“,
  "Mitarbeiter": {
    "Anzahl der Mitarbeiter": 737833,
    "Verknüpfung": "https://www.linkedin.com/search/results/people/?facetCurrentCompany=%5B15218805%2C+2649984%2C+17411%2C+78392228%2C+208137%2C+61712%2C+2382910%2C+49318%2C+16551%2C+80073065%2C+47157%2C+21433%2C+71099%2C+860467%2C+12227%2C+167364%2C+4787585%2C+11091426%2C+451028%2C+111446%2C+14951%2C+46825%2C+2320329%2C+34924%2C+1586%5D"
  },
        {
        "Adresse": „Marcel-Breuer-Straße 12München, Bayern 80807, DE“,
        "Verknüpfung": „https://www.bing.com/maps?where=Marcel-Breuer-Stra%C3%9Fe+12+Munich+80807+Bavaria+DE&trk=org-locations_url“
      }
    ]
  },
  „Mitarbeiter im Unternehmen“: [
    {
      „Titel“: „Steven Hatch“,
      "Position": „Erfahrener Amazon Engineering Leader | Generative KI bei Amazon“,
      "Verknüpfung": „https://www.linkedin.com/in/hatch?trk=org-employees“,
      "Bild": "https://media.licdn.com/dms/image/D4E03AQG823Q38d3Igg/profile-displayphoto-shrink_100_100/0/1673281011530?e=2147483647&v=beta&t=sK2PKC8tMDWU5koa0DpKxZzhQ1Zofs1shi941xNscrQ",
      "Lage": ""
    },

LinkedIn-Feeds auslesen

Überwachen Sie Aktivitätsströme mit dem linkedin-feed Schaber:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
von Crawlbase importieren CrawlingAPI
importieren JSON

# Initialisieren Crawlbase API mit Ihrem Zugriffstoken
crawling_api = CrawlingAPI({ 'Zeichen': 'IHR_API_TOKEN' })

URL = „https://www.linkedin.com/feed/update/urn:li:activity:7022155503770251267“

Optionen = {
    'Schaber': „LinkedIn-Feed“,
    'asynchron': "wahr"
}

# Funktion zum Stellen einer Anfrage mit Crawlbase API
def Crawlbase-Anfrage erstellen(URL):
    Antwort = crawling_api.get(URL, Optionen)
    if Antwort['Statuscode'] == 200:
        Rückkehr json.loads(Antwort['Körper'].dekodieren('lateinisch1'))
    sonst:
        drucken(„Die Seite konnte nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])
        Rückkehr Keine Präsentation

def Scrape_Feed - Das ist eine tolle Sache!(URL):
    versuchen:
        json_response = make_crawlbase_request(URL)
        if json_antwort:
            Rückkehr json_antwort
    ausgeschlossen Exception as e:
        drucken(f"Anforderung fehlgeschlagen: {e}")

    Rückkehr Keine Präsentation

if __name__ == '__Main__':
    Scraped_Data = Scrape_Feed (URL)
    drucken(json.dumps(scraped_data, Einzug=2))

Beispielausgabe:

1
2
3
{
  "loswerden": "977b3381ab11f938d6522775"
}

Daten abrufen von Crawlbase Cloud Storage

Wie beim Scraping von Profil- und Firmenseiten geben asynchrone Anfragen eine rid. Sie können dies verwenden rid um die gespeicherten Daten abzurufen.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
von Crawlbase importieren SpeicherAPI
importieren JSON

# Initialisieren Crawlbase Cloud Storage mit Ihrem Zugriffstoken
storage_api = SpeicherAPI({ 'Zeichen': 'IHR_API_TOKEN' })

RID = „Ihre_Anforderungskennung“

# Funktion zum Abrufen von Daten aus Crawlbase Lagerung
def Daten abrufen(zu befreien):
    Antwort = storage_api.get(rid)
    if Antwort['Statuscode'] == 200:
        Rückkehr json.loads(Antwort['Körper'].dekodieren('lateinisch1'))
    sonst:
        drucken(„Die Daten konnten nicht abgerufen werden. Statuscode:“, Antwort['Statuscode'])
        Rückkehr Keine Präsentation

if __name__ == '__Main__':
    abgerufene_Daten = abgerufene_Daten(RID)
    drucken(json.dumps(abgerufene_Daten, Einzug=2))

Dieses Skript ruft die gespeicherten Feeddaten ab und druckt sie aus. rid.

Beispielausgabe:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
{
  "Feeds": [
    {
      "text": „#AlphabetInc baut 12,000 Stellen ab, teilte der Vorstandsvorsitzende in einem Mitarbeitermemo mit. Die Kürzungen sind die jüngsten Erschütterungen im #Technologiesektor und erfolgen nur wenige Tage, nachdem der Konkurrent Microsoft Corp angekündigt hatte, 10,000 Mitarbeiter zu entlassen. Vollständiger Bericht - https://lnkd.in/dfxXc2N4“,
      "Bilder": [
        "https://media.licdn.com/dms/image/C4D22AQHvTzTp5mnMcg/feedshare-shrink_2048_1536/0/1674212335928?e=2147483647&v=beta&t=Aq3WKkxF1Q5ZwGB6ax6OOWRtCW7Vlz8KDdpBvvK4K_0"
      ],
      "Videos": [],
      "Datum/Uhrzeit": „1y“,
      "Post-URL": „https://in.linkedin.com/company/hindustantimes?trk=public_post_feed-actor-image“,
      "Nutzername": „Hindustan-Zeiten“,
      "Reaktionsanzahl": 1177,
      "KommentareAnzahl": 13,
      "Links": [
        {
          "text": „#AlphabetInc“,
          "URL": "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Falphabetinc&trk=public_post-text"
        },
        {
          "text": "#Technologie",
          "URL": "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Ftechnology&trk=public_post-text"
        },

Steigern Sie Ihre Karriereziele mit Crawlbase

Das Scraping von LinkedIn-Daten kann wertvolle Erkenntnisse für verschiedene Anwendungen liefern, von der Arbeitsmarktanalyse bis zur Wettbewerbsforschung. Crawlbase Automatisieren Sie den Prozess der LinkedIn-Datenerfassung, sodass Sie sich auf die Analyse und Nutzung der Informationen konzentrieren können. Mit Crawlbaseist mächtig Crawling API und Python können Sie LinkedIn-Profile, Unternehmensseiten und Feeds effizient scrapen.

Wenn Sie Ihre Web-Scraping-Fähigkeiten erweitern möchten, sehen Sie sich unsere folgenden Anleitungen zum Scraping anderer wichtiger Websites an.

📜 So scrapen Sie Stellenanzeigen von Indeed
📜 So scrapen Sie E-Mails von LinkedIn
📜 Wie man Airbnb scrapt
📜 So scrapen Sie Realtor.com
📜 So scrapen Sie Expedia

Bei Fragen oder Anregungen steht Ihnen unser Support-Team steht Ihnen jederzeit zur Verfügung, um Sie bei Ihrem Web Scraping-Vorhaben zu unterstützen. Viel Spaß beim Scraping!

Häufig gestellte Fragen (FAQs)

Das Scraping von LinkedIn ist legal, solange Sie die Nutzungsbedingungen von LinkedIn nicht verletzen. Es ist wichtig, die Richtlinien von LinkedIn zu überprüfen und sicherzustellen, dass Ihre Scraping-Aktivitäten den rechtlichen und ethischen Richtlinien entsprechen. Beachten Sie stets die Datenschutzgesetze und ziehen Sie die Verwendung offiziell bereitgestellter APIs in Betracht, sofern diese verfügbar sind.

F: Wie scrapt man LinkedIn?

Um LinkedIn zu scrapen, können Sie verwenden Crawlbase Crawling API. Richten Sie zunächst Ihre Python-Umgebung ein und installieren Sie die Crawlbase Bibliothek. Wählen Sie den passenden Scraper für Ihre Anforderungen (Profil, Unternehmen oder Feed) und stellen Sie asynchrone Anfragen zum Sammeln von Daten. Rufen Sie die Daten mit dem Crawlbase Cloud Storage, das die Antwort für einen einfachen Zugriff speichert.

F: Welche Herausforderungen sind beim Scraping von LinkedIn mit sich?

Das Scraping von LinkedIn birgt mehrere Herausforderungen. LinkedIn verfügt über starke Anti-Scraping-Maßnahmen, die Ihre Aktivitäten blockieren können. Die dynamische Natur der LinkedIn-Inhalte erschwert die konsistente Datenextraktion. Darüber hinaus müssen Sie die Einhaltung rechtlicher und ethischer Standards sicherstellen, da Verstöße gegen die Nutzungsbedingungen von LinkedIn zu Kontosperrungen oder rechtlichen Schritten führen können. Verwenden Sie ein zuverlässiges Tool wie Crawlbase kann dazu beitragen, einige dieser Herausforderungen zu mildern, indem es robuste Scraping-Funktionen bereitstellt und Best Practices einhält.

F: Welcher Scraper eignet sich am besten für die Personalbeschaffung?

Der LinkedIn-Profil-Scraper eignet sich ideal für die Personalsuche und ermöglicht es Ihnen, Kandidateninformationen wie Berufserfahrung, Qualifikationen und Ausbildung zu extrahieren. Kombinieren Sie ihn mit dem Unternehmens-Scraper, um potenzielle Arbeitgeber zu recherchieren.

F: Kann ich mehrere Profile gleichzeitig abrufen?

Ja, verwenden Sie asynchrone Anfragen, um mehrere Profile effizient zu durchsuchen. Crawlbase unterstützt bis zu 20 Anfragen pro Sekunde, und die Storage API ermöglicht es Ihnen, alle Ergebnisse anhand ihrer eindeutigen Anfrage-IDs (rid) abzurufen.