您正在查看: Surou 发布的文章

以太坊一个区块可以包含多少交易

今天在做以太坊开发时,突然想到一个问题,以太坊一个区块包含的交易个数由什么决定?

如果交易池中有足够的交易,一个区块最多可容纳多少交易?

带着这个问题,我阅读了一下go-ethereum中关于挖矿的源代码,找到了答案。

先抛出结论:

影响一个区块交易个数的因素有两个:

  1. 交易池中的交易个数。这个很好理解,交易池的交易个数直接决定了一个矿工可以打包多少交易到区块中。
  2. 区块允许的GasLimit。GasLimit又由父块GasLimit、GasFloor和GasCeil共同决定(1.8版本以前只受父块GasLimit影响),当交易的gas总计大于GasLimit时,交易将不在打包的区块中。
    其中gasFloor和gasCeil是在geth的中mine的两个配置项。详见文档:https://geth.ethereum.org/docs/interface/command-line-options

结论主要从"go-ethereum/miner/worker.go"源文件中得出。worker相当于一个挖矿工人,负责具体的挖矿工作流程。在worker对象中有一个“commitNewWork”方法,是创建一个新的区块,其中计算了该区块的GasLimit和需要处理的交易池中的交易。相关代码如下:

func (w *worker) commitNewWork(interrupt *int32, noempty bool, timestamp int64) {
    // 创建区块头
    header := &types.Header{
        ParentHash: parent.Hash(),
        Number:     num.Add(num, common.Big1),
        // 计算GasLimit
        GasLimit:   core.CalcGasLimit(parent, w.config.GasFloor, w.config.GasCeil),
        Extra:      w.extra,
        Time:       uint64(timestamp),
    }

    // 从交易池中读取交易
    pending, err := w.eth.TxPool().Pending()
    if err != nil {
        log.Error("Failed to fetch pending transactions", "err", err)
        return
    }

    // Short circuit if there is no available pending transactions
    if len(pending) == 0 {
        w.updateSnapshot()
        return
    }

    // Split the pending transactions into locals and remotes
    localTxs, remoteTxs := make(map[common.Address]types.Transactions), pending
    for _, account := range w.eth.TxPool().Locals() {
        if txs := remoteTxs[account]; len(txs) > 0 {
            delete(remoteTxs, account)
            localTxs[account] = txs
        }
    }

    if len(localTxs) > 0 {
        txs := types.NewTransactionsByPriceAndNonce(w.current.signer, localTxs)
        if w.commitTransactions(txs, w.coinbase, interrupt) {
            return
        }
    }

    if len(remoteTxs) > 0 {
        txs := types.NewTransactionsByPriceAndNonce(w.current.signer, remoteTxs)
        if w.commitTransactions(txs, w.coinbase, interrupt) {
            return
        }
    }
}

“commitNewWork”方法中获取到交易池中的交易后将交易提交给了“commitTransactions”方法对交易进行验证。

func (w *worker) commitTransactions(txs *types.TransactionsByPriceAndNonce, coinbase common.Address, interrupt *int32) bool {
    // 将区块头中的GasLimit赋值给gasPool
    if w.current.gasPool == nil {
        w.current.gasPool = new(core.GasPool).AddGas(w.current.header.GasLimit)
    }

    // 循环判断所有交易
    for {
        // gasPool中的gas小于21000是跳出循环
        if w.current.gasPool.Gas() < params.TxGas {
            log.Trace("Not enough gas for further transactions", "have", w.current.gasPool, "want", params.TxGas)
            break
        }

        // 按照交易gas从大到小的顺序获取下一个交易
        tx := txs.Peek()

        // 没有交易后跳出循环
        if tx == nil {
            break
        }
        // 提交交易
        logs, err := w.commitTransaction(tx, coinbase)
    }
}

将交易提交给“commitTransaction”方法后,回调用

receipt, _, err := core.ApplyTransaction(w.config, w.chain, &coinbase, w.current.gasPool, w.current.state, w.current.header, tx, &w.current.header.GasUsed, vm.Config{})

在ApplyTransaction方法中会将gasPool中的gas值减去该笔交易的gas,当gasPool的gas值小于21000时,剩下的交易将不在打包的该区块中。

回头在来看一下区块中的GasLimit是怎么计算的。

core.CalcGasLimit(parent, w.config.GasFloor, w.config.GasCeil)方法在“go-ethereum/core/block_validator.go”,代码如下:

// CalcGasLimit computes the gas limit of the next block after parent. It aims
// to keep the baseline gas above the provided floor, and increase it towards the
// ceil if the blocks are full. If the ceil is exceeded, it will always decrease
// the gas allowance.
func CalcGasLimit(parent *types.Block, gasFloor, gasCeil uint64) uint64 {
    // contrib = (parentGasUsed * 3 / 2) / 1024
    contrib := (parent.GasUsed() + parent.GasUsed()/2) / params.GasLimitBoundDivisor

    // decay = parentGasLimit / 1024 -1
    decay := parent.GasLimit()/params.GasLimitBoundDivisor - 1

    /*
        strategy: gasLimit of block-to-mine is set based on parent's
        gasUsed value.  if parentGasUsed > parentGasLimit * (2/3) then we
        increase it, otherwise lower it (or leave it unchanged if it's right
        at that usage) the amount increased/decreased depends on how far away
        from parentGasLimit * (2/3) parentGasUsed is.
    */
    limit := parent.GasLimit() - decay + contrib
    if limit < params.MinGasLimit {
        limit = params.MinGasLimit
    }
    // If we're outside our allowed gas range, we try to hone towards them
    if limit < gasFloor {
        limit = parent.GasLimit() + decay
        if limit > gasFloor {
            limit = gasFloor
        }
    } else if limit > gasCeil {
        limit = parent.GasLimit() - decay
        if limit < gasCeil {
            limit = gasCeil
        }
    }
    return limit
}

计算GasLimit的策略很有意思,受父块的GasLimit、挖矿的gas上限gasCeil和gas下限gasFloor三者共同决定。

当父块的交易里的gas总和大于父块GasLimit的2/3时,则增加当前块的GasLimit,反之减少当前块的GasLimit,同时,保证GasLimit的范围在gasFloor和gasCeil之间。

转载:https://www.jianshu.com/p/3588fd52ec0a

Golang 拉取 Github 私有库的姿势

  1. 设置 GOPRIVATE ,当你设置后, go get 命令在碰到该仓库时,将会不走 Go Proxy 从而进行直连
    go env -w GOPRIVATE=github.com/bcskill
  2. 使用 Github Token
    git config --global url."https://$UserName :$Token@github.com".insteadOf "https://github.com"

    申请 Token 地址如下: https://github.com/settings/tokens

附加
修改ubuntu/centos默认编辑器为vim
一、直接在终端输入

echo export EDITOR=/usr/bin/vim >> ~/.bashrc

二、使用系统管理工具update-alternatives

update-alternatives --config editor
  选择       路径              优先级  状态
------------------------------------------------------------
* 0            /bin/nano            40        自动模式
  1            /bin/ed             -100       手动模式
  2            /bin/nano            40        手动模式
  3            /usr/bin/vim.basic   30        手动模式
  4            /usr/bin/vim.tiny    10        手动模式

选择3

参考
https://www.xhyonline.com/?p=1575
https://www.cnblogs.com/kaishirenshi/p/12194312.html

Windows10 WSL 迁移

 wsl --export Ubuntu-18.04 D:/export.tar
 wsl --unregister Ubuntu-18.04
 wsl --import Ubuntu-18.04 d:\Linux\Ubuntu-18.04 d:\export.tar --version 2
 ubuntu1804 config --default-user surou

如果出现系统找不到指定的文件

wsl.exe --list --all (列出所有的linux系统(可能之前注册了没有取消注册))
wsl.exe --unregister (上面所列出的名字)

然后再次安装

发送钉钉消息 Shell 脚本

需求背景

生产环境定时监控凌晨跑批生成文件,并获取业务汇总信息发送到运维钉钉群。

主要原因还是懒得半夜监控~

变更记录

  • Version 0.0.1 2020/06/08
  • 发送钉钉消息,支持 text,markdown 两种类型消息

选项

sh send-ding.sh [options] <value> ...

    * -a <value>                 钉钉机器人 Webhook 地址的 access_token
    * -t <value>                 消息类型:text,markdown
    & -T <value>                 title,首屏会话透出的展示内容;消息类型(-t)为:markdown 时
    * -c <value>                 消息内容,content或者text
    & -m <value>                 被@人的手机号(在 content 里添加@人的手机号),多个参数用逗号隔开;如:138xxxx6666,182xxxx8888;与是否@所有人(-A)互斥,仅能选择一种方式
    & -A                         是否@所有人,即 isAtAll 参数设置为 ture;与被@人手机号(-m)互斥,仅能选择一种方式
      -v, --version              版本信息
      --help                     帮助信息

    * 表示必输,& 表示条件必输,其余为可选

示例

1. 发送 text 消息类型,并@指定人
sh send-ding.sh -a xxx -t text -c "我就是我, 是不一样的烟火" -m "138xxxx6666,182xxxx8888"

2. 发送 markdown 消息类型,并@所有人
sh send-ding.sh -a xxx -t markdown -T "markdown 测试标题" -c "# 我就是我, 是不一样的烟火" -A

使用场景

定时监控跑批结果文件生成,发送汇总信息
由于跑批任务大概在凌晨 2:15 分左右完成,故设置 2:20 开始检测,每 30 分钟(可调整)钉钉告警一次未获取到,之后一直检测,直到检测到文件生成。

crontab 定时任务设置

$ crontab -e
20 2 * * * sh /ops-scripts/checkPreSettle.sh

定时监控文件并反馈汇总信息脚本 checkPreSettle.sh:

#!/bin/bash
# 定时检查预对账文件,并输出汇总信息

# 昨天日期
DAY=$(date -d yesterday +%Y%m%d)
# 文件路径
PRE_SETTLE_PATH="/data/${DAY}"
# 预对账文件
PRE_SETTLE="${PRE_SETTLE_PATH}/${DAY}_pre_settle.csv"
# 预对账 md5 文件
PRE_SETTLE_MD5="${PRE_SETTLE_PATH}/${DAY}_pre_settle.md5"

# 检测次数,即 60*30/60秒=30分钟
COUNT=60
# 间隔扫描时间
SLEEP_TIME=30
# HOSTNAME
HOSTNAME=${HOSTNAME}
# IP
IP=$(ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}')

# send-ding.sh
SEND_DING_SH="/ops-scripts/send-ding.sh"

# 开始时间
START_TIME=$(date "+%Y-%m-%d %H:%M:%S")

# ACCESS_TOKEN
ACCESS_TOKEN=xxxxxxx
# 钉钉消息标题
TILE="预对账汇总信息\n"

# 计数
i=1
# 循环检查文件是否存在,SLEEP_TIME 秒检查一次,总共检查 COUNT*SLEEP_TIME 秒
while [ $i -le ${COUNT} ];do
    if [ -f "${PRE_SETTLE}" ] && [ -f "${PRE_SETTLE}" ]; then
        amd5=$(md5sum "${PRE_SETTLE}" | awk '{print $1}')
        xmd5=$(cat "${PRE_SETTLE_MD5}")
        if [ "X${amd5}" = "X${xmd5}" ]; then
            # 获取文件最后一行
            result=$(sed -n '$p' "${PRE_SETTLE}")
            # 发送钉钉
            sh "${SEND_DING_SH}" -a "${ACCESS_TOKEN}" -t markdown -T "${TILE}" -c "# 【SUCCESS】预对账汇总信息(条数,结算总金额):${result}\n #### **HOSTNAME**:${HOSTNAME} \n#### **IP**:${IP} \n#### **文件路径**:${PRE_SETTLE}\n  #### **当前时间**:$(date "+%Y-%m-%d %H:%M:%S")\n" -A
            exit 0
        fi
    fi

    # 继续计数
    (( i++ ))
    # 间隔 SLEEP_TIME 秒
    sleep ${SLEEP_TIME}
done

# 检测 SLEEP_TIME * COUNT 秒后,仍然没有检查到,则告警
sh "${SEND_DING_SH}" -a "${ACCESS_TOKEN}" -t markdown -T "${TILE}" -c "# 【FAIL】经过 ${COUNT}*${SLEEP_TIME} 秒后,仍然未检查到预对账文件:${PRE_SETTLE}\n #### **HOSTNAME**:${HOSTNAME} \n#### **IP**:${IP} \n #### **开始检查时间**:${START_TIME}\n #### **结束检查时间**:$(date "+%Y-%m-%d %H:%M:%S")\n ## **说明**:会持续检查(间隔时间:${COUNT}*${SLEEP_TIME} 秒),直到检查到预对账文件生成!!!" -A

# 继续调起
sh "$0"

脚本

#!/bin/bash
#================================================================
# HEADER
#================================================================
#    Filename         send-ding.sh
#    Revision         0.0.1
#    Date             2020/06/08
#    Author           jiangliheng
#    Email            jiang_liheng@163.com
#    Website          https://jiangliheng.github.io/
#    Description      发送钉钉消息
#    Copyright        Copyright (c) jiangliheng
#    License          GNU General Public License
#
#================================================================
#
#  Version 0.0.1 2020/06/08
#     发送钉钉消息,支持 text,markdown 两种类型消息
#
#================================================================
#%名称(NAME)
#%       ${SCRIPT_NAME} - 发送钉钉消息
#%
#%概要(SYNOPSIS)
#%       sh ${SCRIPT_NAME} [options] <value> ...
#%
#%描述(DESCRIPTION)
#%       发送钉钉消息
#%
#%选项(OPTIONS)
#%     * -a <value>                 钉钉机器人 Webhook 地址的 access_token
#%     * -t <value>                 消息类型:text,markdown
#%     & -T <value>                 title,首屏会话透出的展示内容;消息类型(-t)为:markdown 时
#%     * -c <value>                 消息内容,content或者text
#%     & -m <value>                 被@人的手机号(在 content 里添加@人的手机号),多个参数用逗号隔开;如:138xxxx6666,182xxxx8888;与是否@所有人(-A)互斥,仅能选择一种方式
#%     & -A                         是否@所有人,即 isAtAll 参数设置为 ture;与被@人手机号(-m)互斥,仅能选择一种方式
#%       -v, --version              版本信息
#%       --help                     帮助信息
#%
#%     * 表示必输,& 表示条件必输,其余为可选
#%
#%示例(EXAMPLES)
#%
#%       1. 发送 text 消息类型,并@指定人
#%       sh ${SCRIPT_NAME} -a xxx -t text -c "我就是我, 是不一样的烟火" -m "138xxxx6666,182xxxx8888"
#%
#%       2. 发送 markdown 消息类型,并@所有人
#%       sh ${SCRIPT_NAME} -a xxx -t markdown -T "markdown 测试标题" -c "# 我就是我, 是不一样的烟火" -A
#%
#================================================================
# END_OF_HEADER
#================================================================

# header 总行数
SCRIPT_HEADSIZE=$(head -200 "${0}" |grep -n "^# END_OF_HEADER" | cut -f1 -d:)
# 脚本名称
SCRIPT_NAME="$(basename "${0}")"
# 版本
VERSION="0.0.1"

# usage
function usage() {
  head -"${SCRIPT_HEADSIZE:-99}" "${0}" \
  | grep -e "^#%" \
  | sed -e "s/^#%//g" -e "s/\${SCRIPT_NAME}/${SCRIPT_NAME}/g" -e "s/\${VERSION}/${VERSION}/g"
}

# 发送 ding 消息
function sendDingMessage() {
  curl -s "${1}" -H 'Content-Type: application/json' -d "${2}"
}

# 检查参数输入合法性
function checkParameters() {
  # -a,-t,-c 参数必输校验
  if [ -z "${ACCESS_TOKEN}" ] || [ -z "${MSG_TYPE}" ] || [ -z "${CONTENT}" ]
  then
    printf "Parameter [-a,-t,-c] is required!\n"
    exit 1
  fi

  # -t 为:markdown 时,检验参数 -T 必输
  if [ "X${MSG_TYPE}" = "Xmarkdown" ] && [ -z "${TITLE}" ]
  then
    printf "When [-t] is 'markdown', you must enter the parameter [-T]!\n"
    exit 1
  fi

  # -A 和 -m 互斥,仅能选择一种方式
  if [ "X${IS_AT_ALL}" = "Xtrue" ] && [ -n "${MOBILES}" ]
  then
    printf "Only one of the parameters [-A] and [-m] can be entered!\n"
    exit 1
  fi
}

# markdown 消息内容
function markdownMessage() {
  # 标题
  title=${1}
  # 消息内容
  text=${2}
  # @ 方式
  at=${3}

  # 判断是@所有人,还是指定人
  if [ -z "${at}" ]; then
    atJson=""
  elif [ "X${at}" = "Xtrue" ]; then
    atJson='"at": {
        "isAtAll": true }'
  else
    # 判断是否多个手机号
    result=$(echo "${at}" | grep ",")

    # N 个手机号
    if [ "X${result}" != "X" ]; then
      # 转换为手机号数组
      mobileArray=(${at//,/ })
      # 循环遍历数组,组织 json 格式字符串
      for mobile in "${mobileArray[@]}"
      do
         mobiles="${mobile}",${mobiles}
         # @ 指定人
         atMobiles="@${mobile}",${atMobiles}
      done

    # 1 个手机号
    else
      mobiles="${at}"
      # @ 指定人
      atMobiles="@${at}"
    fi

    # @ json内容
    atJson='"at": {
        "atMobiles": [
            '${mobiles/%,/}'
        ]
    }'

    # 内容信息添加 @指定人
    text="${text}\n${atMobiles/%,/}"
  fi

  message='{
       "msgtype": "markdown",
       "markdown": {
           "title":"'${title}'",
           "text": "'${text}'"},
        '${atJson}'
   }'

   echo "${message}"
}

# text 消息内容
function textMessage() {
  # 消息内容
  text=${1}
  # @ 方式
  at=${2}

  # 判断是@所有人,还是指定人
  if [ -z "${at}" ]; then
    atJson=""
  elif [ "X${at}" = "Xtrue" ]; then
    atJson='"at": {
        "isAtAll": true }'
  else
    # 判断是否多个手机号
    result=$(echo "${at}" | grep ",")

    # N 个手机号
    if [ "X${result}" != "X" ]; then
      # 转换为手机号数组
      mobileArray=(${at//,/ })
      # 循环遍历数组,组织 json 格式字符串
      for mobile in "${mobileArray[@]}"
      do
         mobiles="${mobile}",${mobiles}
         # @ 指定人
         atMobiles="@${mobile}",${atMobiles}
      done

    # 1 个手机号
    else
      mobiles="${at}"
      # @ 指定人
      atMobiles="@${at}"
    fi

    # @ json内容
    atJson='"at": {
        "atMobiles": [
            '${mobiles/%,/}'
        ]
    }'

    # 内容信息添加 @指定人
    text="${text}\n${atMobiles/%,/}"
  fi

  message='{
       "msgtype": "text",
       "text": {
           "content": "'${text}'"},
        '${atJson}'
   }'

   echo "${message}"
}

# 主方法
function main() {

  # 检查参数输入合法性
  checkParameters

  # 判断发送消息类型
  case ${MSG_TYPE} in
    markdown)
      # 判断 @ 方式
      if [ -n "${MOBILES}" ]; then
        DING_MESSAGE=$(markdownMessage "${TITLE}" "${CONTENT}" "${MOBILES}")
      elif [ -n "${IS_AT_ALL}" ]; then
        DING_MESSAGE=$(markdownMessage "${TITLE}" "${CONTENT}" "${IS_AT_ALL}")
      else
        DING_MESSAGE=$(markdownMessage "${TITLE}" "${CONTENT}")
      fi
      ;;
    text)
      if [ -n "${MOBILES}" ]; then
        DING_MESSAGE=$(textMessage "${CONTENT}" "${MOBILES}")
      elif [ -n "${IS_AT_ALL}" ]; then
        DING_MESSAGE=$(textMessage "${CONTENT}" "${IS_AT_ALL}")
      else
        DING_MESSAGE=$(textMessage "${CONTENT}")
      fi
      ;;
    *)
      printf "Unsupported message type, currently only [text, markdown] are supported!"
      exit 1
      ;;
  esac

  sendDingMessage "${DING_URL}" "${DING_MESSAGE}"
}

# 判断参数个数
if [ $# -eq 0 ];
then
  usage
  exit 1
fi

# getopt 命令行参数
if ! ARGS=$(getopt -o vAa:t:T:c:m: --long help,version -n "${SCRIPT_NAME}" -- "$@")
then
  # 无效选项,则退出
  exit 1
fi

# 命令行参数格式化
eval set -- "${ARGS}"

while [ -n "$1" ]
do
  case "$1" in
    -a)
      # Webhook access_token
      ACCESS_TOKEN=$2
      # 钉钉机器人 url 地址
      DING_URL="https://oapi.dingtalk.com/robot/send?access_token=${ACCESS_TOKEN}"
      shift 2
      ;;

    -t)
      MSG_TYPE=$2
      shift 2
      ;;

    -T)
      TITLE=$2
      shift 2
      ;;

    -c)
      CONTENT=$2
      shift 2
      ;;

    -m)
      MOBILES=$2
      shift 2
      ;;

    -A)
      IS_AT_ALL=true
      shift 2
      ;;

    -v|--version)
      printf "%s version %s\n" "${SCRIPT_NAME}" "${VERSION}"
      exit 1
      ;;

    --help)
      usage
      exit 1
      ;;

    --)
      shift
      break
      ;;

    *)
      printf "%s is not an option!" "$1"
      exit 1
      ;;

  esac
done

main

转载自:https://jiangliheng.github.io/2020/06/10/ops-send-ding/