
Scraping + crawling eccomerce
Publicado por Erick (1 intervención) el 21/03/2023 18:48:32
buen dia señores, es la primera vez en este foro, les platico soy un novato en el mundo de la programacion y me esoty apoyando con IA , a prueba y error. pero mi curiosidad llego a un limite al parecer, estoy intentando descargar la base de datos de los productos vendidos por www.costco.com.mx y que el resultado me lo muestre en un .csv
pero no he obtenido exito.
tengo algo asi el codigo=
import requests
from bs4 import BeautifulSoup
import pandas as pd
import csv
def obtener_datos_producto(url):
r = requests.get(url)
soup = BeautifulSoup(r.content, 'html.parser')
# Extrae información del producto
nombre = soup.find('h1', class_='product-title').text.strip()
precio = soup.find('span', class_='price').text.strip()
# Añade más características según sea necesario
producto = {
'Nombre': nombre,
'Precio': precio
# Añade más campos según sea necesario
}
return producto
url_base = 'https://www.costco.com.mx/'
categorias = [...] # Lista de categorías que deseas obtener
productos = []
for categoria in categorias:
url_categoria = url_base + categoria
# Realiza el crawling y el scraping para cada categoría
# Añade los productos a la lista de productos
# Guarda los datos en un archivo CSV
df = pd.DataFrame(productos)
df.to_csv('Resultado.csv', index=False, encoding='utf-8')
pero no he obtenido exito.
tengo algo asi el codigo=
import requests
from bs4 import BeautifulSoup
import pandas as pd
import csv
def obtener_datos_producto(url):
r = requests.get(url)
soup = BeautifulSoup(r.content, 'html.parser')
# Extrae información del producto
nombre = soup.find('h1', class_='product-title').text.strip()
precio = soup.find('span', class_='price').text.strip()
# Añade más características según sea necesario
producto = {
'Nombre': nombre,
'Precio': precio
# Añade más campos según sea necesario
}
return producto
url_base = 'https://www.costco.com.mx/'
categorias = [...] # Lista de categorías que deseas obtener
productos = []
for categoria in categorias:
url_categoria = url_base + categoria
# Realiza el crawling y el scraping para cada categoría
# Añade los productos a la lista de productos
# Guarda los datos en un archivo CSV
df = pd.DataFrame(productos)
df.to_csv('Resultado.csv', index=False, encoding='utf-8')
Valora esta pregunta


0