日志数据是选择mysql 还是 mongodb和mysql的区别 还是 postgredb

来源：蜘蛛抓取(WebSpider) 时间：2017-02-02 07:38 标签： mongodb和mysql的区别

在业务开发中，我们常把数据持久化到数据库中。如果需要读取这些数据，除了直接从数据库中读取外，为了减轻数据库的访问压力以及提高访问速度，我们更多地引入缓存来对数据进行存取。读取数据的过程一般为：

图1：加入缓存的数据读取过程

对于分布式缓存，不同机器上存储不同对象的数据。为了实现这些缓存机器的负载均衡，可以使用式子1来定位对象缓存的存储机器：

其中，o为对象的名称，n为机器的数量，m为机器的编号，hash为一hash函数。图2中的负载均衡器（load balancer）正是使用式子1来将客户端对不同对象的请求分派到不同的机器上执行，例如，对于对象o，经过式子1的计算，得到m的值为3，那么所有对对象o的读取和存储的请求都被发往机器3执行。

图2：如何利用Hash取模实现负载均衡

式子1在大部分时候都可以工作得很好，然而，当机器需要扩容或者机器出现宕机的情况下，事情就比较棘手了。 
当机器扩容，需要增加一台缓存机器时，负载均衡器使用的式子变成：

当机器宕机，机器数量减少一台时，负载均衡器使用的式子变成：

我们以机器扩容的情况为例，说明简单的取模方法会导致什么问题。假设机器由3台变成4台，对象o1由式子1计算得到的m值为2，由式子2计算得到的m值却可能为0，1，2，3（一个 3t + 2的整数对4取模，其值可能为0，1，2，3，读者可以自行验证），大约有75%（3/4)的可能性出现缓存访问不命中的现象。随着机器集群规模的扩大，这个比例线性上升。当99台机器再加入1台机器时，不命中的概率是99%（99/100）。这样的结果显然是不能接受的，因为这会导致数据库访问的压力陡增，严重情况，还可能导致数据库宕机。

一致性hash算法正是为了解决此类问题的方法，它可以保证当机器增加或者减少时，对缓存访问命中的概率影响减至很小。下面我们来详细说一下一致性hash算法的具体过程。

一致性hash算法通过一个叫作一致性hash环的数据结构实现。这个环的起点是0，终点是2^32 - 1，并且起点与终点连接，环的中间的整数按逆时针分布，故这个环的整数分布范围是[0, 2^32-1]，如下图3所示：

假设现在我们有4个对象，分别为o1，o2，o3，o4，使用hash函数计算这4个对象的hash值（范围为0 ~ 2^32-1）:

把m1，m2，m3，m4这4个值放置到hash环上，得到如下图4：

图4：放置了对象的一致性Hash环

使用同样的hash函数，我们将机器也放置到hash环上。假设我们有三台缓存机器，分别为 c1，c2，c3，使用hash函数计算这3台机器的hash值：

把t1，t2，t3 这3个值放置到hash环上，得到如下图5：

图5：放置了机器的一致性Hash环

将对象和机器都放置到同一个hash环后，在hash环上顺时针查找距离这个对象的hash值最近的机器，即是这个对象所属的机器。 
例如，对于对象o2，顺序针找到最近的机器是c1，故机器c1会缓存对象o2。而机器c2则缓存o3，o4，机器c3则缓存对象o1。

图6：在一致性Hash环上为对象选择机器

对于线上的业务，增加或者减少一台机器的部署是常有的事情。 
例如，增加机器c4的部署并将机器c4加入到hash环的机器c3与c2之间。这时，只有机器c3与c4之间的对象需要重新分配新的机器。对于我们的例子，只有对象o4被重新分配到了c4，其他对象仍在原有机器上。如图7所示：

图7：增加机器后的一致性Hash环的结构

如上文前面所述，使用简单的求模方法，当新添加机器后会导致大部分缓存失效的情况，使用一致性hash算法后这种情况则会得到大大的改善。前面提到3台机器变成4台机器后，缓存命中率只有25%（不命中率75%）。而使用一致性hash算法，理想情况下缓存命中率则有75%，而且，随着机器规模的增加，命中率会进一步提高，99台机器增加一台后，命中率达到99%，这大大减轻了增加缓存机器带来的数据库访问的压力。

再例如，将机器c1下线（当然，也有可能是机器c1宕机），这时，只有原有被分配到机器c1对象需要被重新分配到新的机器。对于我们的例子，只有对象o2被重新分配到机器c3，其他对象仍在原有机器上。如图8所示：

图8：减少机器后的一致性Hash环的结构

上面提到的过程基本上就是一致性hash的基本原理了，不过还有一个小小的问题。新加入的机器c4只分担了机器c2的负载，机器c1与c3的负载并没有因为机器c4的加入而减少负载压力。如果4台机器的性能是一样的，那么这种结果并不是我们想要的。 
为此，我们引入虚拟节点来解决负载不均衡的问题。 
将每台物理机器虚拟为一组虚拟机器，将虚拟机器放置到hash环上，如果需要确定对象的机器，先确定对象的虚拟机器，再由虚拟机器确定物理机器。 
说得有点复杂，其实过程也很简单。

还是使用上面的例子，假如开始时存在缓存机器c1，c2，c3，对于每个缓存机器，都有3个虚拟节点对应，其一致性hash环结构如图9所示：

假设对于对象o1，其对应的虚拟节点为c11，而虚拟节点c11对象缓存机器c1，故对象o1被分配到机器c1中。

新加入缓存机器c4，其对应的虚拟节点为c41，c42，c43，将这三个虚拟节点添加到hash环中，得到的hash环结构如图10所示：

新加入的缓存机器c4对应一组虚拟节点c41，c42，c43，加入到hash环后，影响的虚拟节点包括c31，c22，c11（顺时针查找到第一个节点），而这3个虚拟节点分别对应机器c3，c2，c1。即新加入的一台机器，同时影响到原有的3台机器。理想情况下，新加入的机器平等地分担了原有机器的负载，这正是虚拟节点带来的好处。而且新加入机器c4后，只影响25%（1/4）对象分配，也就是说，命中率仍然有75%，这跟没有使用虚拟节点的一致性hash算法得到的结果是相同的。

一致性hash算法解决了分布式环境下机器增加或者减少时，简单的取模运算无法获取较高命中率的问题。通过虚拟节点的使用，一致性hash算法可以均匀分担机器的负载，使得这一算法更具现实的意义。正因如此，一致性hash算法被广泛应用于分布式系统中。

  1. 《大型网站技术架构——核心原理与安全分析》，李智慧著，电子工业出版社

今天继续研究Django 发现又有了新情况！解决方法奉上！

给定一个已按照升序排列 的有序数组，找到两个数使得它们相加之和等于目标数。

  • 返回的下标值（index1 和 index2）不是从零开始的。
  • 你可以假设每个输入只对应唯一的答案，而且你不可以重复使用相同的元素。 
 

 
 

      那么如果给定的数组是有序的会不会降低难度呢？如果是有序的数组，那么我们可以用首尾相加来处理，如果比target大，则将尾数左移，如果小了首尾右移，直到两个数相加刚好等于target, 这种方法的时间复杂度为（O（nlogn）。
 
 

      最后一种方法。在python里面有一个dict的和C++ 的map功能一样。首先，我们建立一个字典，d = {}，字典的key是数组的值number，value是相应的位置， 然后只要满足 number 和 target - number都在字典里面则找到答案。这种方法的时间复杂度是（O（n））。
 
 


 


 

 
 
 

 


    
  
  • 共有n个台阶，每次只能上1个台阶或者2个台阶，共有多少种方法爬完台阶。
  
    • 
  
  • 共有n页书，每次只能翻1页或者2页书，共有多少种方法翻完全书。
  
    • 



 


# f(n)为翻完全书的方法
 
# 迭代写法，或者叫循环写法
 
 
 


 
 

 



# 定义一个栈（FILO）
 


 
 

 

# 获取页面名为 wrapper的id标签的文本内容



 

 
 
 
 

 

 
 

 虽然是世界上最好的语言，但是他天生不是干这个的，而且对多线程、异步支持不够好，并发处理能力很弱。爬虫是工具性程序，对速度和效率要求比较高。
 
 

 
 

 的网络爬虫生态圈也很完善，是Python爬虫最大的对手。但是Java语言本身很笨重，代码量很大。
  重构成本比较高，任何修改都会导致代码的大量变动。爬虫经常需要修改部分采集代码。
 
 

 
 

 运行效率和性能几乎最强，但是学习成本很高，代码成型比较慢，是很慢。  能用C/C++做爬虫，只能说是能力的表现，但是不是正确的选择。
 
 


 

 语法优美、代码简洁、开发效率高、支持的模块多，相关的HTTP请求模块和HTML解析模块非常丰富。 还有强大的爬虫Scrapy框架，以及成熟高效的 scrapy-redis分布式策略。而且，调用其他接口也非常方便（胶水语言）
 
 

 在此对于各语言爬虫代码就不一一比较了...
 
 

 下面是一个爬取淘宝的案例
 
 


 
 
 
 

 

 



 

 
 
 

 

 #SQL语句：先编译后执行
 
 

 
 

 　　一组可编程的函数，是为了完成特定功能的SQL语句集，经编译创建并保存在数据库中，用户可通过指定存储过程的名字并给定参数(需要时)来调用执行。
 
 

 优点(为什么要用存储过程？)：
 
 

 　　①将重复性很高的一些操作，封装到一个存储过程中，简化了对这些SQL的调用
 
 

 　　②批量处理：SQL+循环，减少流量，也就是“跑批”
 
 

 　　③统一接口，确保数据的安全
 
 

 相对于oracle数据库来说，MySQL的存储过程相对功能较弱，使用较少。
 
 

 一、存储过程的创建和调用
 
 

 　　>存储过程就是具有名字的一段代码，用来完成一个特定的功能。
 
 

 　　>创建的存储过程保存在数据库的数据字典中。
 
 

 
 


 

 #创建数据库，备份数据表用于示例操作
 
 


 
 
 

 

 单例模式是应用开发过程中最简单同时也是最著名的一种创建型设计模式。单例模式提供了一个类只有一个特定类型的对象的机制。
 
 

 通常应用于场景为：日志记录、数据库操作等，程序运行时只能生成一个实例，避免对同一资源产生冲突的访问请求。
 
 

 
 

 （1）重写构造函数__new__方法
 
 


 
 
 

 

 是 请求header 的一部分，当浏览器（或者模拟浏览器行为）向web 服务器发送请求的时候，头信息里有包含 。比如我在 里有一个 链接，那么点击这个 ，它的header 信息里就有：
 
 

 
 

 由此可以看出来吧。它就是表示一个来源。看下图的一个请求的信息。
 
 

 
 
 



  这里有一个小问题要说明下。



 

 的正确英语拼法是referrer 。由于早期HTTP规范的拼写错误，为了保持向后兼容就将错就错了。其它网络技术的规范企图修正此问题，使用正确拼法，所以目前拼法不统一。还有它第一个字母是大写。
 
 

 里有一个链接，那么点击这个，它的header信息里就有：
 
 


 

 那么可以利用这个来防止盗链了，比如我只允许我自己的网站访问我自己的图片服务器，那我的域名是，那么图片服务器每次取到Referer来判断一下是不是我自己的域名，如果是就继续访问，不是就拦截。
 
 

 这是不是就达到防盗链的效果了？
 
 

 
 
 
 

 首先，我们对空的定义为，头部的内容为空，或者，一个请求中根本不包含头部。
 
 

 那么什么时候请求会不包含字段呢？根据Referer的定义，它的作用是指示一个请求是从哪里链接过来，那么当一个请求并不是由链接触发产生的，那么自然也就不需要指定这个请求的链接来源。
 
 

 比如，直接在浏览器的地址栏中输入一个资源的URL地址，那么这种请求是不会包含字段的，因为这是一个“凭空产生”的请求，并不是从一个地方链接过去的。
 
 



  那么在防盗链设置中，允许空Referer和不允许空Referer有什么区别？



 

 允许为空，意味着你允许比如浏览器直接访问，就是空。
 
 

 
 

 
 
 

 
 

 拒绝空的。比如我的的静态资源都是拒绝空的Referer 的。如下图，我访问我的一个图片。
 
 

 
 
 

 看到了吧，直接拒绝访问了，如果有同学在测试我网站的静态资源的时候，记住强制刷新Ctrl + F5 ，因为浏览器有缓存，可能你开始还是可以访问的。
 
 

 当然。这个你不能完全依赖来做一些事情，因为这个最容易伪造来源。
 
 

 每个语言，都可以，比如来模拟一个请求。并且伪造来源。
 
 


 

 


 

 Cookies是服务器在本地机器上存储的小段文本并随每一个请求发送至同一个服务器。IETF RFC 2965 HTTP State Management Mechanism 是通用cookie规范。网络服务器用HTTP头向客户端发送cookies，在客户终端，浏览器解析这些cookies并将它们保存为一个本地文件，它会自动将同一服务器的任何请求缚上这些cookies 。
 
 

 具体来说cookie机制采用的是在客户端保持状态的方案。它是在用户端的会话状态的存贮机制，他需要用户打开客户端的cookie支持。cookie的作用就是为了解决HTTP协议无状态的缺陷所作的努力。
 
正统的cookie分发是通过扩展HTTP协议来实现的，服务器通过在HTTP的响应头中加上一行特殊的指示以提示浏览器按照指示生成相应的cookie。然而纯粹的客户端脚本如JavaScript也可以生成cookie。而cookie的使用是由浏览器按照一定的原则在后台自动发送给服务器的。浏览器检查所有存储的cookie，如果某个cookie所声明的作用范围大于等于将要请求的资源所在的位置，则把该cookie附在请求资源的HTTP请求头上发送给服务器。
 

 cookie的内容主要包括：名字，值，过期时间，路径和域。路径与域一起构成cookie的作用范围。若不设置过期时间，则表示这个cookie的生命期为浏览器会话期间，关闭浏览器窗口，cookie就消失。这种生命期为浏览器会话期的cookie被称为会话cookie。会话cookie一般不存储在硬盘上而是保存在内存里，当然这种行为并不是规范规定的。若设置了过期时间，浏览器就会把cookie保存到硬盘上，关闭后再次打开浏览器，这些cookie仍然有效直到超过设定的过期时间。存储在硬盘上的cookie可以在不同的浏览器进程间共享，比如两个IE窗口。而对于保存在内存里的cookie，不同的浏览器有不同的处理方式。
 
 

 而session机制采用的是一种在服务器端保持状态的解决方案。同时我们也看到，由于采用服务器端保持状态的方案在客户端也需要保存一个标识，所以session机制可能需要借助于cookie机制来达到保存标识的目的。而session提供了方便管理全局变量的方式 。
 
 

 session是针对每一个用户的，变量的值保存在服务器上，用一个sessionID来区分是哪个用户session变量,这个值是通过用户的浏览器在访问的时候返回给服务器，当客户禁用cookie时，这个值也可能设置为由get来返回给服务器。
 
 

 就安全性来说：当你访问一个使用session 的站点，同时在自己机子上建立一个cookie，建议在服务器端的session机制更安全些，因为它不会任意读取客户存储的信息。
 
 

 
 

 
session机制是一种服务器端的机制，服务器使用一种类似于散列表的结构（也可能就是使用散列表）来保存信息。
 
 

 当程序需要为某个客户端的请求创建一个session时，服务器首先检查这个客户端的请求里是否已包含了一个session标识（称为session id），如果已包含则说明以前已经为此客户端创建过session，服务器就按照session id把这个session检索出来使用（检索不到，会新建一个），如果客户端请求不包含session
 id，则为此客户端创建一个session并且生成一个与此session相关联的session id，session id的值应该是一个既不会重复，又不容易被找到规律以仿造的字符串，这个session id将被在本次响应中返回给客户端保存。
 
 

 保存这个session id的方式可以采用cookie，这样在交互过程中浏览器可以自动的按照规则把这个标识发挥给服务器。一般这个cookie的名字都是类似于SEEESIONID。但cookie可以被人为的禁止，则必须有其他机制以便在cookie被禁止时仍然能够把session id传递回服务器。
 
经常被使用的一种技术叫做URL重写，就是把session id直接附加在URL路径的后面。还有一种技术叫做表单隐藏字段。就是服务器会自动修改表单，添加一个隐藏字段，以便在表单提交时能够把session id传递回服务器。
 

 Cookie与Session都能够进行会话跟踪，但是完成的原理不太一样。普通状况下二者均能够满足需求，但有时分不能够运用Cookie，有时分不能够运用Session。下面经过比拟阐明二者的特性以及适用的场所。
 
 

 
 

 Cookie中只能保管ASCII字符串，假如需求存取Unicode字符或者二进制数据，需求先进行编码。Cookie中也不能直接存取Java对象。若要存储略微复杂的信息，运用Cookie是比拟艰难的。
 
而Session中能够存取任何类型的数据，包括而不限于String、Integer、List、Map等。Session中也能够直接保管Java Bean乃至任何Java类，对象等，运用起来十分便当。能够把Session看做是一个Java容器类。
 

 
 

 Cookie存储在客户端阅读器中，对客户端是可见的，客户端的一些程序可能会窥探、复制以至修正Cookie中的内容。而Session存储在服务器上，对客户端是透明的，不存在敏感信息泄露的风险。
 
假如选用Cookie，比较好的方法是，敏感的信息如账号密码等尽量不要写到Cookie中。最好是像Google、Baidu那样将Cookie信息加密，提交到服务器后再进行解密，保证Cookie中的信息只要本人能读得懂。而假如选择Session就省事多了，反正是放在服务器上，Session里任何隐私都能够有效的保护。
”，则以“./GoAheadNeverTurnBack/article/details/
 
 
 

 
 
 

 
 
 

 

 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。
 
 


 

 Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。
 
 


 

 ：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近，其区别是：List中的元素可以是不同的数据类型，而Array和Series中则只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。
 
 

 
 

 
 
 

 

 概念：  二分查找又称折半查找，优点是比较次数少，查找速度快，平均性能好，占用系统内存较少;其是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功;否则利用中间位置将表分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步查找前一子表，否则进一步查找后一子表。重复以上过程，直到找到满足条件的，使查找成功，或直到子表不存在为止，此时查找不成功。
 
 

 注意：二分查找只适用于有序列表！
 
 


 
 
 

 

 Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。
 
 

 
 


    
  
  • Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
  
    • 
  
  • Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
  
    • 



 


 


 


    
  
  • 原子 – Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。
  
    • 



 

 
 

 
 

 
 

 
 
 

 

 
 
 



                            

                                                    

                                

  

  

    

    

  

  

    但是，在测试前，有些东西要改。
  

  

    1)把数据量减小到10万
  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 mongodb和mysql的区别 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐