-
面试挑战:没有八股文的技術面是怎样的体验?
发布时间:2024-07-14 23:18又到了暑假毕业季了,说实话近一两年经济不景气,IT行业人力市场需求缩水,IT面试难度也大幅提升,今天分享一些IT求职者的面试经历,让还在面试求职的小伙伴get到一些云经验哈哈哈,希望能帮到大家
-
Python多线程和多进程(六) 线程池的坑和问题——内存溢出、任务共享线程池导致饥饿或死锁和拒绝策略不当阻塞
发布时间:2022-11-18 00:29前文阅读:Python多线程和多进程(五) 多线程管理——线程池 前面我们说了python多线程和线程池的优势和使用方法,并通过爬虫实例做演示。那么本
-
从IO模型到协程(七) asyncio协程+redis队列高并发批量下载文件
发布时间:2021-06-10 19:14公司内部的一个图片网站有一个支持批量下载的小需求,由于不同的图片存放在不同的oss远程服务器上,前端直接请求图片链接可能引发跨域问题,因此需要前端先请求后端接口,由后端下载资源后再输出给前端。为了图省
-
Mysql主从复制原理 + 快速部署主从节点
发布时间:2021-06-05 14:21主从复制应用场景主从服务器互为备份读写分离分担压力mysql主从复制支持不同形式,主要有如下形式:单向主从复制一主多从模式PS:该模式下,从节点建议不超过5台。从节点越多,同步延迟越久,而且写入数据的
-
爬虫进阶之Scrapy(十) scrapy引擎核心之twisted框架
发布时间:2021-02-18 11:26Scrapy是一个内置使用了Python的Twisted框架的抓取应用。Twisted是事件驱动的,它里面的大部分方法和api都是异步非阻塞的。现在我们抛开scrapy,假设我们自己开发一个爬虫,我们
-
爬虫进阶之Scrapy(九) 使用pybloom布隆过滤器优化scrapy_redis的去重策略
发布时间:2021-02-18 10:08Python实现BloomFilter(布隆过滤器) 有关布隆过滤器的原理和用途,可以看看这篇文章: 深入Redis之 redis布隆过滤器(十一) http
-
爬虫进阶之Scrapy(八) scrapy_redis模块实现分布式爬虫及原理分析
发布时间:2021-02-10 10:49Scrapy分布式爬虫的原理很简单,它依赖于scrapy的一个组件scrapy-redis。大致为: 将scrapy代码部署到多台工作机器(简称为服务器W),将redis服务部署到另一台服务器(
-
Go并发编程系列(八)互斥锁, 读写锁, 条件变量, Waitgroup, Once, 临时对象池Pool和原子操作
发布时间:2021-02-06 09:34一、互斥锁和读写锁关于锁相信大家都很熟悉了,因此这里不再对锁进行过多的描述,只是简单的带过一下。如果读者们想了解互斥锁和读写锁的基本使用和例子,可以看看这篇文章:《Go入门系列(十七) go并发之基于
-
Go并发编程系列(七)channel通道及其原理
发布时间:2021-02-05 13:54在Go语言中,channel通道用于多个goroutine间通信。 有关goroutine和channel的基本概念和使用在本人的《Go入门系列 go并
-
Go并发编程系列(六)go并发机制之goroutine调度和goroutine阻塞
发布时间:2021-02-05 12:07Go调度程序(Go调度器) Go调度器本质上也是一个结构体。Go调度器并不是运行在某个专用内核线程中的程序,调度程序会运行在若干已存在的M(或者说内核线程)之中。换句话说,运行时系统中几乎所有的