明明的博客呀
  • 首页
  • 归档
  • 分类
  • 标签
  • 关于
  •   
  •   

feapder爬虫框架之轻量AirSpider用法示例

安装精简版 1pip install feapder 浏览器渲染版: 1pip install "feapder[render]" 完整版: 1pip install "feapder[all]" 三个版本区别: 精简版:不支持浏览器渲染、不支持基于内存去重、不支持入库mongo 浏览器渲染版:不支持基于内存去重、不支持入库mongo 完整版:支
2024-03-27
爬虫
#爬虫

feapder爬虫框架之任务TaskSpider用法示例

安装精简版 1pip install feapder 浏览器渲染版: 1pip install "feapder[render]" 完整版: 1pip install "feapder[all]" 三个版本区别: 精简版:不支持浏览器渲染、不支持基于内存去重、不支持入库mongo 浏览器渲染版:不支持基于内存去重、不支持入库mongo 完整版:支
2024-03-27
爬虫
#爬虫

爬虫利器 pyppeteer 使用技巧

一、拦截器简单用法拦截器作用于单个Page,即浏览器中的一个标签页。每初始化一个Page都要添加一下拦截器。拦截器实际上是 通过给各种事件添加回调函数来实现的。 事件列表可参见:pyppeteer.page.Page.Events 常用拦截器: request:发出网络请求时触发 response:收到网络响应时触发 dialog:页面有弹窗时触发 使用request拦截器修改请求: 12
2022-08-22
爬虫
#爬虫

用pandas生成excel文件示例,并调整excel的格式或样式

用pandas生成excel 当我们有特殊的需求时,比如要修改excel的行宽列宽,还有字体样式等等 需求示例 代码实现123456789101112131415161718192021222324252627282930313233343536# -*- coding: utf-8 -*-import pandas as pdfrom datetime import datetime,
2022-06-27
python加油鸭
#pandas python 数据分析

Python 时间戳转换出错

当我们想将时间戳转换成特定格式的时间字符串,比如带有年月日,以下写法可能会出现报错 1datetime.strftime(datetime.fromtimestamp(1655481600), '%Y年%m月%d日 %H:%M:%S') UnicodeEncodeError: ‘locale’ codec can’t encode character ‘\u5e74
2022-06-20
python加油鸭
#python

Python try...except...时捕获异常时具体文件和行数

1234567891011121314def try_exception_test(): try: a = 0 b = 1/a print(b) except Exception as e: print(e) # 发生异常所在的文件 print(e.__traceback__.tb_frame.f_
2021-07-08
python加油鸭
#python debug

python 列表List转换成树形结构

原始数据:list中嵌套dict的数据格式 转换结果:数结构的数据,children字段嵌套的形式,适用于前端树形结构的渲染 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071
2021-06-22
python加油鸭
#python

关于MySQL的优化思路

SQL 优化步骤当面对一个需要优化的 SQL 时,我们有哪几种排查思路呢? 通过 show status 命令了解 SQL 执行次数首先,我们可以使用 show status 命令查看服务器状态信息。show status 命令会显示每个服务器变量 variable_name 和 value,状态变量是只读的。如果使用 SQL 命令,可以使用 like 或者 where 条件来限制结果。lik
2021-06-11
SQL
#mysql

Dockerfile 最佳实践(Dockerfile指令的使用及建议)

目录  Dockerfile 最佳实践 一般性的指南和建议 容器应该是短暂的 使用 .dockerignore 文件 使用多阶段构建 避免安装不必要的包 一个容器只运行一个进程 镜像层数尽可能少 将多行参数排序 构建缓存 Dockerfile 指令 FROM LABEL RUN CMD EXPOSE ENV ADD 和 COPY ENTRYPOINT VOLUME USER WORKDIR 官
2020-12-14
Docker
#docker linux

Jupyter NoteBook 的快捷键使用指南

Jupyter NoteBook 的快捷键使用指南  Jupyter Notebook 有两种键盘输入模式。即命令模式和编辑模式,这与 Vim 有些类似。在编辑模式下,可以往单元中键入代码或文本,此时单元格被绿色的框线包围,且命令模式下的快捷键不生效。在命令模式下,可以用快捷键命令运行单元格,移动单元格,切换单元格编辑状态等等,此时的单元格被灰色的框线包围,且编辑模式下的快捷键不生效。 从命令
2020-09-25
python加油鸭
#python markdown
1234…7

搜索

Hexo Fluid
总访问量 次 总访客数 人
京ICP证123456号 | police-icon 京公网安备12345678号