深入学习mongodb（三） mongdb聚合

如果你有数据存储在MongoDB中，你想做的可能就不仅仅是将数据提取出来那么简单了；你可能希望对数据进行分析并加以利用，因此本节介绍MongoDB提供的聚合工具。   聚合框架

深入学习mongodb（二） mongdb索引的数据结构和类型

  mongodb索引数据结构 在这里我希望能够与mysql索引的数据结构进行比较。 mongodb索引的数据结构是b树，而mysql索引的数据结构是b+树。 &nb

Redis为什么开始采用多线程

本文转载自“三太子敖丙”的Redis不是一直号称单线程效率也很高吗，为什么又采用多线程了？   Redis是目前广为人知的一个内存数据库，在各个场景中都有

深入学习mongdb（一） mongdb增删改查

更多增删改查操作可以参考官方文档 https://docs.mongoing.com/   插入数据 单条插入 db.foo.insert({"bar" :

深入学习mongdb（零） 分布式非关系型数据库mongdb简介

MongoDB是一款强大、灵活，且易于扩展的通用型数据库。mongodb的特性1.非关系型数据库MongoDB是一个面向文档（document-oriented）的非关系型数据库，而不是关系型数据库。

爬虫进阶之Scrapy（十） scrapy引擎核心之twisted框架

Scrapy是一个内置使用了Python的Twisted框架的抓取应用。Twisted是事件驱动的，它里面的大部分方法和api都是异步非阻塞的。现在我们抛开scrapy，假设我们自己开发一个爬虫，我们

爬虫进阶之Scrapy（九） 使用pybloom布隆过滤器优化scrapy_redis的去重策略

Python实现BloomFilter（布隆过滤器）   有关布隆过滤器的原理和用途，可以看看这篇文章： 深入Redis之 redis布隆过滤器（十一） http

爬虫进阶之Scrapy（八） scrapy_redis模块实现分布式爬虫及原理分析

Scrapy分布式爬虫的原理很简单，它依赖于scrapy的一个组件scrapy-redis。大致为： 将scrapy代码部署到多台工作机器（简称为服务器W），将redis服务部署到另一台服务器（

Go并发编程系列（八）互斥锁, 读写锁, 条件变量, Waitgroup, Once, 临时对象池Pool和原子操作

一、互斥锁和读写锁关于锁相信大家都很熟悉了，因此这里不再对锁进行过多的描述，只是简单的带过一下。如果读者们想了解互斥锁和读写锁的基本使用和例子，可以看看这篇文章：《Go入门系列（十七） go并发之基于

Go并发编程系列（七）channel通道及其原理

在Go语言中，channel通道用于多个goroutine间通信。   有关goroutine和channel的基本概念和使用在本人的《Go入门系列  go并

Go并发编程系列（六）go并发机制之goroutine调度和goroutine阻塞

Go调度程序（Go调度器） Go调度器本质上也是一个结构体。Go调度器并不是运行在某个专用内核线程中的程序，调度程序会运行在若干已存在的M（或者说内核线程）之中。换句话说，运行时系统中几乎所有的

Go并发编程系列（五） go并发机制之MPG模型

Go并发机制 在操作系统提供的内核线程之上，Go搭建了一个特有的两级线程模型。Go的独立控制流不是内核级线程而是goroutine协程。Go不推荐用共享内存的方式传递数据，而推荐使用channe

Go并发编程系列（四） 多线程基本概念与线程模型

多线程 一个进程至少会包含一个线程，因为其中至少会有一个控制流持续运行。因而，一个进程的第一个线程会随着这个进程的启动而创建，这个线程称为该进程的主线程。 当然，一个进程也可以包含多个线程

Go并发编程系列（三） 多进程编程与进程同步之Socket编程

socket socket，常译为套接字，也是一种IPC方法。但是与其他IPC方法不同的是，它可以通过网络连接让多个进程建立通信并相互传递数据，这使得通信双方是否在同一台计算机上变得无关紧要。

Go并发编程系列（二） 多进程编程与进程同步之Signal信号量

信号 signal操作系统信号（signal，以下简称信号）是IPC中唯一一种异步的通信方法，它的本质是用软件来模拟硬件的中断机制。信号用来通知某个进程有某个事件发生了。例如，在命令行终端按下某些快捷