在Python爬虫中去除空格字符是数据清洗的常见需求，以下是系统化的解决方案：
一、基础字符串方法- strip()系列方法
text = " tHello Worldn "print(text.strip()) # 去除首尾空白字符（空格、制表符、换行符）print(text.lstrip()) # 仅去除左侧空白print(text.rstrip()) # 仅去除右侧空白- replace()方法
text = "Hello World"print(text.replace(" ", "")) # 删除所有空格 → "HelloWorld"print(text.replace(" ", "-")) # 替换空格 → "Hello---World"- split()+join()组合
text = " Python 爬虫 教程 "cleaned = " ".join(text.split()) # 标准化中间多个空格 → "Python 爬虫 教程"二、正则表达式方案import retext = " Pythont爬虫n教程 "# 匹配所有空白字符（包括tn等）并替换为单个空格cleaned = re.sub(r's+', ' ', text).strip()print(cleaned) # 输出："Python 爬虫 教程"# 特殊场景：仅删除中文文本中的空格chinese_text = "爬 虫 教 程"cleaned = re.sub(r'(?<=[u4e00-u9fff])s+(?=[u4e00-u9fff])', '', chinese_text)三、爬虫专用工具方法- BeautifulSoup处理
from bs4 import BeautifulSouphtml = "<div> 爬虫 数据 </div>"soup = BeautifulSoup(html, 'html.parser')text = soup.get_text(strip=True) # 自动去除标签内空白- pyquery处理
from pyquery import PyQuery as pqdoc = pq("<div> Python 爬虫 </div>")text = doc.text().strip()四、进阶处理技巧- 保留换行符的清洗
text = "Line1n Line2 nLine3"lines = [line.strip() for line in text.splitlines()]cleaned = "n".join(filter(None, lines)) # 去除空行- Unicode空白字符处理
import unicodedatatext = "Pythonu3000爬虫" # 包含全角空格cleaned = unicodedata.normalize("NFKC", text).replace("u3000", " ")五、性能优化建议- 对于大规模文本处理，优先使用字符串原生方法（比正则快3-5倍）
- 批量处理时使用生成器表达式：
texts = [" data1 ", " data2 "]cleaned = (s.strip() for s in texts) # 惰性计算六、完整爬虫示例import requestsfrom bs4 import BeautifulSoupimport redef clean_text(text): if not text: return "" # 1. 去除HTML标签 soup = BeautifulSoup(text, 'html.parser') text = soup.get_text(separator=' ', strip=True) # 2. 标准化空白字符 text = re.sub(r's+', ' ', text) # 3. 去除特殊空白字符 return text.strip()response = requests.get("https://example.com"
)raw_text = response.textprint(clean_text(raw_text))选择建议：
- 简单清洗：strip() + replace()
- 复杂HTML：BeautifulSoup + 正则组合
- 高性能需求：字符串方法优先
- 中文处理：注意全角/半角空格差异
这些方法可根据实际数据特点组合使用，例如先用BeautifulSoup提取文本，再用正则标准化空白，最后用strip()处理首尾。
