ITeye博客

olylakers的博客

olylakers · 共 30 篇文章

在redis使用过程遇到的一些问题的总结

tpn(taobao push notification)在使用redis计算消息未读数的过程中,遇到了一系列的问题,下面把这个过程整理了一下,也让大家了解这个纠结的过程,供大家以后使用redis或者做类似的功能时进行参考 redis在tpn里面主要是用于计算移动千牛(Android、IOS)上的消息未读数。tpn的未读消息数是基于bizId维度的,即同一个bizId(每条消息的业务id,如果商品id、订单id等),即使有多条消息,未读数也只能算1。因此在接收消息,计算移动千牛未读数的过程中,就需要对bizId去重,这个去重的功能就是通过redis来实现的。随着消息量的不断上涨,这个基于re…

2014-07-07 21:20 · Redis研究 · 工作总结 · 评论(2)

一个“诡异”的NumberFormatException

前几天线上一个功能莫名其妙没有正常执行,而且奇怪的这个功能模块以及很久没有改动了,而且一直运行的好好的,从没出问题,今天排查看日志,发现是程序在进行一段内存排序时,抛NumberFormatException了。 Exception in thread "main" java.lang.NumberFormatException: For input string: "30d" 这我就纠结了,因为内存排序是通过把从数据库去取出来的String转化成BigDecimal来进行排序的,而且NumberFormatException就是抛在这句代码上: BigDecimal bg = new Bi…

2012-06-12 23:34 · 工作总结 · 评论(1)

由一个UndeclaredThrowableException带来的思考

前段时间在调试项目中某个功能的时候,由于是在测试环境中,所以在通过RPC框架调用某个远程服务获取相关信息的时候,抛出了一个UndeclaredThrowableException。JDK的java doc是这么解释UndeclaredThrowableException的:如果代理实例的调用处理程序的 invoke 方法抛出一个经过检查的异常(不可分配给 RuntimeException 或 Error 的 Throwable),且该异常不可分配给该方法的throws子局声明的任何异常类,则由代理实例上的方法调用抛出此异常。 明白了什么是UndeclaredThrowableExceptio…

2012-05-16 22:06 · Java综合 · 评论(1)

Redis数据结构分析

Redis有 内存数据库的赞誉,其支持一下几种数据结构: 1. String 2. Hashes 3. List 4. Set 本文从源代码角度来分析各种数据结构在 Redis 内部是如何存储和读取的。 在介绍各种数据结构之前,首先来介绍下 redisObject 这个 Struct , String , Hash , List 和 Set 在 Redis 内部都是以 redisObject 来存储的 /* A redis object, that is a type able to hold a string / list / set */ /* The actual Redis Obje…

2011-12-25 21:00 · Redis研究 · 评论(0)

Redis代码阅读3--Redis网络监听(3)

是介绍Redis网络监听的最后一篇文章,着重分析定时时间处理函数serverCron,这个函数其实已经和网络监听没多大关系了,当时因为其绑定在Redis自定义的事件库的定时事件上,所以放到一起来讲。serverCron的这个函数对Redis的正常运行来说很重要,对于Redis的使用者来说,最重要的就是能够迅速直观地看到Redis的当前的运行状况(keys,sizes,memory等),serverCron就能够使用户得知这些信息,此外,serverCron这个方法定时周期地运行,还承担了AOF Write,VM Swap,BGSAVE,Rehash的操作,使得Redis的运行更加平稳。还是来…

2011-12-01 17:26 · Redis研究 · 评论(0)

Redis代码阅读3--Redis网络监听(2)

这篇文章接上一篇,主要介绍Redis网络监听流程的各个步骤。 aeCreateEventLoop :创建用于循环监听的 eventLoop , Redis 支持主流的三种事件触发机制: select ,epoll, kqueue, 可以通过在 config.h 里面配置 HAVE_EPOLL/ HAVE_KQUEUE 来根据不同的操作系统选择合适的机制:调用 ae_epoll.c/ae_select.c/ae_kqueue.c中的 aeApiCreate;创建 eventLoop 的时候没有指定 beforesleep ,在开始循环监听前将函数 beforeSleep 绑定到 eventLo…

2011-12-01 17:25 · Redis研究 · 评论(0)

Redis代码阅读3--Redis网络监听(1)

接下来的三篇文章将对Redis的网络监听流程及涉及到事件库和各个主要方法进行介绍。 在介绍 redis的网络监听流程和事件库之前,我们先设想一下,如果我们不采用 libevent 等流行的开源库进行基于事件的网络监听,而是自己去实现一套基于事件的库去进行网络监听,需要考虑些什么,然后我们带着这些问题去分析 Redis是如果通过少量的代码来完成这个工作的。 在我认为,需要考虑的问题有以下一些(限于水平,暂时只能想到这些 ): 1. 采用何种 事件触发机制 ,是 epoll, select, kquque,抑或 3种都支持 2. 支持那些事件? 3. 如何管理各种事件(数据结构 —响应,查找)?…

2011-12-01 17:24 · Redis研究 · 评论(0)

Redis代码阅读1--Redis启动原理

前面写了一篇文章简单介绍Redis的list结构。再写完之后,我觉得有必要熟悉Redis的启动过程和如何读取Redis的命令,因此本文将通过分析代码来介绍Redis的启动过程,通过查看Redis 的启动脚本,得知Redis的启动时从Redis.c的main方法开始的。Redis启动可以分为以下几个步骤: 初始化Redis服务器全局配置 重置服务器Save参数(具体下文详解)和加载配置文件 初始化服务器 加载数据库 开始网络监听 一,初始化Redis服务器全局配置。这一步骤主要是主要是根据Redis.h中设置的Static值来初始化Redis服务器配置,这里设置是Redis服务器的默认配置。如…

2011-11-21 23:03 · Redis研究 · 评论(0)

Mysql InnoDB的数据库的简易恢复

因为我们项目组和别的项目组共享一台测试机,昨天别的组的一个兄弟在升级mysql的时候把我们测试用的mysql给remove掉了,因此今天捣鼓了一下如何恢复和备份mysql,按惯例,记下来,以便以后查看。 使用过mysql的都知道,在mysql中建立任何一张数据表,在其数据目录对应的数据库目录下都有对应的.frm文件,.frm文件时用来保存每个数据库表的元数据(meta)信息,包括表结构的定义等,.frm文件跟数据库存储的引擎无关,也就是任何存储引擎的数据表都必须有.frm文件,命名方式为数据表名.frm,如user.frm,.frm文件可以用来在数据库崩溃时恢复表结构。 这次我们遇到的情况是…

2011-11-06 20:32 · Mysql · 评论(0)

ScheduledThreadPoolExecutor的scheduleAtFixedRate方法探究

ScheduledThreadPoolExecutor除了具有ThreadPoolExecutor的所有功能外,还可以延迟执行任务或者周期性的执行某个任务。scheduleWithFixedDelay和scheduleAtFixedRate就是用来完成这个功能的。平常使用scheduleAtFixedRate这个方法时并没有多想,但是这几天在实现一个功能的时候,需要考虑scheduleAtFixedRate所执行的task是否会影响任务的周期性,比如scheduleAtFixedRate(command,5,10,TimeUnit.SECONDS),那么这个command的执行会不会影响这个…

2011-10-31 23:04 · Java Concurrent · Java综合 · 评论(3)

Redis代码阅读2--Redis数据结构之链表

Redis 是一个开源的高性能key-value数据库,其很大程度上弥补了memeched这类key-value存储的不足(除了支持String外,还支持Hash,Set,sorted set, List),在部分场合对关系型数据库也起到了很好的补充作用。因为Redis的代码量并不多,因为我逐步阅读了其源代码,以期能对其有深入的理解。首先介绍Redis支持的各种数据结构。 Redis中的链表是双向链表,这一点可以由 adlist.h 中代码得出: typedef struct listNode { struct listNode *prev; struct listNode *next; v…

2011-10-26 23:42 · Redis研究 · 评论(0)

Linux下mysql的卸载和安装

工作中要在一台centos系统的机器上装mysql,而且这个机器上以前装过mysql了,所有还要把以前的装得mysql删除,然后再新装。由于以前没在linux上装过mysql,折腾了好一会才整好。因此记录下来,以备以后需要时查看。 第一,删除机器上已装的mysql. 查找以前是否有安装过mysql rpm -qa|grep -i mysql 删除mysql: rpm -ev 包名,如 rpm -e mysql-4.1.12-3.RHEL4.1 删除老版本mysql的开发头文件和库: rpm -fr /usr/lib/mysql rm -fr /usr/lib/mysql rm -fr /us…

2011-09-23 22:26 · Linux · 评论(0)

把秒数转化为:小时:分:秒

今天在工作中有这么一个小功能需要实现,在DB里面,经过转码的video的duration是按秒来统计的,但是我们在页面显示的时候,一般都是这与显示的:小时:分:秒,04:34:45。所以就需要把秒转化为这个格式。代码很简单,这里记录下,以便以后查看 public static String getDuration(int durationSeconds){ int hours = durationSeconds /(60*60); int leftSeconds = durationSeconds % (60*60); int minutes = leftSeconds / 60; int …

2011-09-16 16:52 · Java综合 · 评论(0)

如何处理网络异常的浅见

虽然说网络连接在大多数情况下,都是正常的,但大家在互联网上冲浪的时候,肯定都遇到过网络不正常的情况,比如大家在上XX网站的时候,经常会被提示:该网站暂不可用/该访问被拒绝/找不到该网站等等,你懂得。因此,网络是不可靠的,我们在网络编程的时候,也要时刻记住,网络是不可能一直正常的,在实现任何涉及网络连接的功能时,都必须考虑到如何处理各种网络异常。比如,有两个业务系统A和B,A需要调用B的某个服务,那么我们在设计和实现这个功能的时候,就不能认为系统A总是能够成功连接上系统B,并且还能成功从系统B返回其所需要的数据。合理的思维流程应该是这样的:我们把系统A调用系统B的服务这一过程细分为以下几个阶段…

2011-09-16 08:58 · Java综合 · 评论(0)

异常处理经验小结之二:利用Spring AOP将check exception 转化为unchecked exception

对于Exception的处理,究竟是采用check exception还是unchecked exception,众说纷纭,业绩很多大牛都有不同的意见,本文的关注点不在这个话题上,而是着重于,当我们程序中,需要把各种check exception转化为自定义的和业务逻辑相关的Runtime exceptionn的时候,如何利用Spring AOP来简化这一转化过程。 在实际工作中,如果我们也想像Spring Jdbctemplate一样,把check exception转化为Runtime exception的话,笨一点的办法就是在每次抛出check exception的地方都将其捕获,然后…

2011-08-14 13:00 · Java综合 · 评论(2)